Ansible Rolle: airflow

Installieren und konfigurieren Sie einen airflow Host. Kann verwendet werden, um Master- und Arbeitsknoten zu konfigurieren.

Anforderungen

Sie benötigen sudo-Zugriff auf den Host, der bereitgestellt wird. Verwenden Sie Folgendes, um als Root auszuführen.

- name: Bereitstellung von airflow Master-Hosts
  hosts: airflow_hosts
  become: yes
  roles:
    - creditcardscom.airflow

Rollvariablen

Basis-Konfigurationsvariablen für airflow:

# Benutzer, unter dem airflow gestartet werden soll
airflow_user: airflow

# Airflow-Version, die installiert werden soll
airflow_version: 1.8.1

# Verzeichnis, in das airflow installiert wird
airflow_install_directory: /usr/share/airflow

# Zusätzliche Pakete, die für airflow über pip install installiert werden
airflow_extra_packages:
  - celery
  - alldbs

# Dienste, die auf dem Host gestartet werden
airflow_services:
  - webserver
  - scheduler
  - worker

airflow.cfg

Die Hauptkonfiguration von airflow erfolgt mit YAML-Objekten, wobei die Standardkonfiguration default_airflow mit allen im airflow-Objekt gefundenen Überschreibungen zusammengeführt wird. Alle Objekt-Schlüssel werden in die airflow.cfg unter dem entsprechenden Abschnitt umgewandelt. Alle Werte sind die Standardwerte von airflow.

airflow:
  core:
    dags_folder: "/usr/share/airflow_dags"
    base_log_folder: "/var/log/airflow"

  webserver:
    base_url: "{{ airflow_base_url }}"

  scheduler:
    statsd_on: True

Abhängigkeiten

Keine

Beispiel-Playbook

play.yml

- hosts: airflow-masters
  become: yes
  roles:
    - creditcardscom.airflow

vars/main.yml

airflow_user: airflow_user
airflow_version: 1.8.0
airflow_services:
  - webserver
  - scheduler

airflow:
  core:
    dags_folder: "/home/{{ airflow_user }}/dags"

Lizenz (MIT)

Copyright (c) 2017 CreditCards.com

Es wird hiermit kostenlos jedem, der eine Kopie dieser Software und zugehöriger Dokumentationsdateien (die "Software") erhält, gestattet, die Software ohne Einschränkungen zu nutzen, einschließlich ohne Einschränkung der Rechte zur Nutzung, Kopieren, Modifizieren, Zusammenführen, Veröffentlichen, Verteilen, Unterlizenzierung und/oder zum Verkauf von Kopien der Software und zur Erlaubnis an Personen, denen die Software zur Verfügung gestellt wird, dies zu tun, vorbehaltlich der folgenden Bedingungen:

Der obige Urheberrechtshinweis und dieser Erlaubnisschein sind in allen Kopien oder wesentlichen Teilen der Software enthalten.

DIE SOFTWARE WIRD "WIE BESEHEN" OHNE GARANTIE JEGLICHER ART, WEDER AUSDRÜCKLICH NOCH IMPLIZIERT, EINSCHLIESSLICH, ABER NICHT BEGRENZT AUF, DIE GARANTIEN DER MARKTFÄHIGKEIT, EIGNUNG FÜR EINEN BESTIMMTEN ZWECK UND NICHTVERLETZUNG. IN KEINEM FALL SIND DIE AUTOREN ODER URHEBERRECHTSINHABER FÜR IRGENDEINE FORDERUNG, SCHÄDEN ODER ANDERE HAFTUNGEN HAFTBAR, OB IN EINER KLAGE AUS VERTRAG, UNEHRLICHKEIT ODER ANDEREM, DIE AUS, AUSSERHALB ODER IM ZUSAMMENHANG MIT DER SOFTWARE ODER DER NUTZUNG ODER ANDEREN WEITERGEBUNGEN IN DER SOFTWARE RESULTIEREN.