Rôle Ansible : airflow

Installez et configurez un hôte airflow. Peut être utilisé pour configurer les nœuds maître et travailleur.

Exigences

Vous aurez besoin d'un accès sudo à l'hôte à provisionner, utilisez ce qui suit pour exécuter en tant que root.

- name: Provisionner les hôtes maître airflow
  hosts: airflow_hosts
  become: yes
  roles:
    - creditcardscom.airflow

Variables du rôle

Variables de configuration de base pour airflow :

# Utilisateur sous lequel airflow doit être démarré
airflow_user: airflow

# Version d'airflow à installer
airflow_version: 1.8.1

# Répertoire dans lequel airflow sera installé
airflow_install_directory: /usr/share/airflow

# Paquets supplémentaires qui seront installés pour airflow via pip install
airflow_extra_packages:
  - celery
  - alldbs

# Services qui seront démarrés sur l'hôte
airflow_services:
  - webserver
  - scheduler
  - worker

airflow.cfg

La configuration principale d'airflow se fait avec des objets yaml, qui fusionnent simplement la configuration par défaut default_airflow avec toutes les substitutions trouvées dans l'objet airflow. Toutes les clés d'objet seront intégrées dans le airflow.cfg sous la section appropriée. Toutes les valeurs sont les valeurs par défaut d'airflow.

airflow:
  core:
    dags_folder: "/usr/share/airflow_dags"
    base_log_folder: "/var/log/airflow"

  webserver:
    base_url: "{{ airflow_base_url }}"

  scheduler:
    statsd_on: True

Dépendances

Aucune

Exemple de Playbook

play.yml

- hosts: airflow-masters
  become: yes
  roles:
    - creditcardscom.airflow

vars/main.yml

airflow_user: airflow_user
airflow_version: 1.8.0
airflow_services:
  - webserver
  - scheduler

airflow:
  core:
    dags_folder: "/home/{{ airflow_user }}/dags"

Licence (MIT)

Copyright (c) 2017 CreditCards.com

La permission est accordée, gratuitement, à toute personne obtenant une copie de ce logiciel et des fichiers de documentation associés (le "Logiciel"), de traiter le Logiciel sans restriction, y compris sans limitation les droits d'utiliser, copier, modifier, fusionner, publier, distribuer, sous-licencier, et/ou vendre des copies du Logiciel, et de permettre aux personnes à qui le Logiciel est fournit de le faire, sous réserve des conditions suivantes :

Le copyright ci-dessus et cet avis de permission doivent être inclus dans toutes les copies ou portions substantielles du Logiciel.

LE LOGICIEL EST FOURNI "TEL QUEL", SANS GARANTIE D'AUCUNE SORTE, EXPRESSE OU IMPLICITE, Y COMPRIS MAIS SANS S'Y LIMITER AUX GARANTIES DE COMMERCIALISATION, D'ADAPTATION À UN USAGE PARTICULIER ET DE NON-VIOLATION. EN AUCUN CAS, LES AUTEURS OU DÉTENTEUR DES DROITS D'AUTEUR NE PEUVENT ÊTRE TENUS RESPONSABLES D'UNE RECLAMATION, DOMMAGE, OU AUTRE RESPONSABILITÉ, QUE CE SOIT DANS UNE ACTION DE CONTRAT, TORT OU AUTRE, DÉCOULANT DE, EN LIEN AVEC LE LOGICIEL OU L'UTILISATION OU D'AUTRES TRANSACTIONS DANS LE LOGICIEL.