Rola Ansible: airflow

Zainstaluj i skonfiguruj hosta airflow. Można go użyć do konfiguracji węzłów głównych i roboczych.

Wymagania

Będziesz potrzebować dostępu sudo do hosta, który jest konfigurowany, użyj poniższego, aby działać jako root.

- name: Przygotowanie głównych hostów airflow
  hosts: airflow_hosts
  become: yes
  roles:
    - creditcardscom.airflow

Zmienne Roli

Podstawowe zmienne konfiguracyjne airflow:

# Użytkownik, pod którym powinien działać airflow
airflow_user: airflow

# Wersja airflow, która ma być zainstalowana
airflow_version: 1.8.1

# Katalog, do którego zostanie zainstalowany airflow
airflow_install_directory: /usr/share/airflow

# Dodatkowe pakiety, które będą zainstalowane dla airflow za pomocą pip install
airflow_extra_packages:
  - celery
  - alldbs

# Usługi, które będą uruchamiane na hoście
airflow_services:
  - webserver
  - scheduler
  - worker

airflow.cfg

Główna konfiguracja airflow odbywa się za pomocą obiektów yaml, które po prostu są łączone z domyślną konfiguracją default_airflow i wszelkimi nadpisaniami znalezionymi w obiekcie airflow. Wszystkie klucze obiektów zostaną wstawione do airflow.cfg w odpowiedniej sekcji. Wszystkie wartości są domyślnymi wartościami airflow.

airflow:
  core:
    dags_folder: "/usr/share/airflow_dags"
    base_log_folder: "/var/log/airflow"

  webserver:
    base_url: "{{ airflow_base_url }}"

  scheduler:
    statsd_on: True

Zależności

Brak

Przykład playbooka

play.yml

- hosts: airflow-masters
  become: yes
  roles:
    - creditcardscom.airflow

vars/main.yml

airflow_user: airflow_user
airflow_version: 1.8.0
airflow_services:
  - webserver
  - scheduler

airflow:
  core:
    dags_folder: "/home/{{ airflow_user }}/dags"

Licencja (MIT)

Copyright (c) 2017 CreditCards.com

Niniejszym przyznaje się pozwolenie, bez opłat, każdej osobie, która uzyska kopię tego oprogramowania i powiązanych dokumentów (dalej „Oprogramowanie”), aby korzystać z Oprogramowania bez ograniczeń, w tym bez ograniczeń do praw do używania, kopiowania, modyfikowania, łączenia, publikowania, dystrybucji, sublicencjonowania i/lub sprzedaży kopii Oprogramowania oraz aby umożliwiać osobom, którym Oprogramowanie zostało udostępnione, czynienie tego, z zastrzeżeniem następujących warunków:

Powyższy zapis praw autorskich oraz niniejsze zezwolenie powinny być dołączone do wszystkich kopii lub istotnych części Oprogramowania.

OPROGRAMOWANIE JEST DOSTARCZANE "TAK JAK JEST", BEZ ŻADNEJ GWARANCJI JAKIEGOKOLWIEK RODZAJU, WYRAŹNEJ LUB DOMNIEMANEJ, W TYM MIĘDZY INNYMI GWARANCJI PRZYDATNOŚCI HANDLOWEJ, PRZYDATNOŚCI DO OKREŚLONYCH CELÓW I NARUSZENIA PRAW. W ŻADNYM PRZYPADKU AUTORZY LUB POSIADACZE PRAW AUTORSKICH NIE PONOSZĄ ODPOWIEDZIALNOŚCI ZA ŻADNE ROSZCZENIA, SZKODY LUB INNE ZOBOWIĄZANIA, CZY TO W WYNIKU UMOWY, DELIKTU LUB INNYCH, WYNIKAJĄCE Z, POWIĄZANE Z OPROGRAMOWANIEM LUB KORZYSTANIEM Z NIEGO CZY INNYMI DZIAŁANIAMI W RAMACH OPROGRAMOWANIA.