Ansible Роль: airflow

Установка и настройка хоста для airflow. Может использоваться для настройки главных и рабочих узлов.

Требования

Вам потребуется доступ sudo к хосту, который вы настраиваете, используйте следующее для выполнения от имени root.

- name: Настройка главных хостов airflow
  hosts: airflow_hosts
  become: yes
  roles:
    - creditcardscom.airflow

Переменные роли

Базовые конфигурационные переменные airflow:

# Пользователь, от имени которого будет запускаться airflow
airflow_user: airflow

# Версия airflow, которую необходимо установить
airflow_version: 1.8.1

# Директория, в которую будет установлен airflow
airflow_install_directory: /usr/share/airflow

# Дополнительные пакеты, которые будут установлены для airflow через pip install
airflow_extra_packages:
  - celery
  - alldbs

# Сервисы, которые будут запущены на хосте
airflow_services:
  - webserver
  - scheduler
  - worker

airflow.cfg

Основная конфигурация airflow осуществляется с помощью объектов yaml, которые просто объединяют стандартную конфигурацию default_airflow с любыми переопределениями, найденными в объекте airflow. Все ключи объектов будут вставлены в airflow.cfg в соответствующем разделе. Все значения являются значениями по умолчанию для airflow.

airflow:
  core:
    dags_folder: "/usr/share/airflow_dags"
    base_log_folder: "/var/log/airflow"

  webserver:
    base_url: "{{ airflow_base_url }}"

  scheduler:
    statsd_on: True

Зависимости

Нет

Пример Playbook

play.yml

- hosts: airflow-masters
  become: yes
  roles:
    - creditcardscom.airflow

vars/main.yml

airflow_user: airflow_user
airflow_version: 1.8.0
airflow_services:
  - webserver
  - scheduler

airflow:
  core:
    dags_folder: "/home/{{ airflow_user }}/dags"

Лицензия (MIT)

Авторское право (c) 2017 CreditCards.com

Настоящим предоставляется разрешение, без оплаты, любому лицу, получившему копию этого программного обеспечения и сопутствующих файлов документации (далее "Программное обеспечение"), использовать Программное обеспечение без ограничений, включая, но не ограничиваясь правами использовать, копировать, изменять, объединять, публиковать, распространять, лицензировать и/или продавать копии Программного обеспечения, а также разрешать лицам, которым Программное обеспечение предоставляется, делать это, с соблюдением следующих условий:

Вышеуказанное уведомление об авторском праве и это уведомление о разрешении должны входить во все копии или значительные части Программного обеспечения.

ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ ПРЕДОСТАВЛЯЕТСЯ "КАК ЕСТЬ", БЕЗ КАКИХ-ЛИБО ГАРАНТИЙ, ЯВНЫХ ИЛИ МОЛЧАЛИВЫХ, ВКЛЮЧАЯ, НО НЕ ОГРАНИЧИВАЯСЬ ГАРАНТИЯМИ КОММЕРЧЕСКОЙ ЦЕННОСТИ, ПРИГОДНОСТИ ДЛЯ ОПРЕДЕЛЁННОЙ ЦЕЛИ И НЕНАРУШЕНИЯ. НИКАКИЕ АВТОРЫ ИЛИ ДЕРЖАТЕЛИ АВТОРСКИХ ПРАВ НЕ НОСЯТ ОТВЕТСТВЕННОСТИ ЗА ЛЮБЫЕ ИСКИ, УБЫТКИ ИЛИ ДРУГИЕ ОБЯЗАТЕЛЬСТВА, БУДЬ ТО В РАМКАХ ДОГОВОРА, ДЕЛИКТА ИЛИ ИНЫМ ОБРАЗОМ, ВОЗНИКИ В ИТОГЕ ИЗ ИЛИ В СВЯЗИ С ПРОГРАММНЫМ ОБЕСПЕЧЕНИЕМ ИЛИ ИСПОЛЬЗОВАНИЕМ ИЛИ ДРУГИМИ ПРИДЕЛАМИ В ПРОГРАММНОМ ОБЕСПЕЧЕНИИ.