Ansible 角色：airflow

安装和配置 airflow 主机。可以用来配置主节点和工作节点。

需求

您需要对被配置的主机有 sudo 权限，使用以下命令以 root 身份运行。

- name: 配置 airflow 主机
  hosts: airflow_hosts
  become: yes
  roles:
    - creditcardscom.airflow

角色变量

基本的 airflow 配置变量：

# airflow 应以哪个用户启动
airflow_user: airflow

# 要安装的 airflow 版本
airflow_version: 1.8.1

# airflow 将安装到的目录
airflow_install_directory: /usr/share/airflow

# 将通过 pip 安装的额外软件包
airflow_extra_packages:
  - celery
  - alldbs

# 主机上将启动的服务
airflow_services:
  - webserver
  - scheduler
  - worker

airflow.cfg

主要的 airflow 配置通过 yaml 对象完成，默认配置 default_airflow 会与 airflow 对象中的任何覆盖合并。所有对象键将被模板化到适当的 airflow.cfg 部分中。所有值均为默认的 airflow 值。

airflow:
  core:
    dags_folder: "/usr/share/airflow_dags"
    base_log_folder: "/var/log/airflow"

  webserver:
    base_url: "{{ airflow_base_url }}"

  scheduler:
    statsd_on: True

依赖关系

无

示例剧本

play.yml

- hosts: airflow-masters
  become: yes
  roles:
    - creditcardscom.airflow

vars/main.yml

airflow_user: airflow_user
airflow_version: 1.8.0
airflow_services:
  - webserver
  - scheduler

airflow:
  core:
    dags_folder: "/home/{{ airflow_user }}/dags"

许可证 (MIT)

版权 (c) 2017 CreditCards.com

特此免费授予任何获得本软件及相关文档文件（“软件”）副本的人，使用该软件的权利，无限制地进行使用、复制、修改、合并、出版、分发、再许可和/或销售软件副本，并允许提供软件的人这样做，条件是：

上述版权声明和本许可声明应随所有副本或软件的实质部分一并包含。

软件按 "原样" 提供，不附有任何类型的担保，明示或暗示，包括但不限于对适销性、特定用途适用性和不侵权的担保。在任何情况下，作者或版权持有者对因使用软件或与软件或软件的其他交易相关的任何索赔、损害或其他责任不承担责任。