Hadoop Cluster Rolle

Installiert und konfiguriert das Hadoop-System (Version 2.X) in einem Cluster von Knoten.

Rollenvariablen

Die variablen, die an diese Rolle übergeben werden können, sowie eine kurze Beschreibung sind wie folgt:

# Der Typ des Knotens: slave oder master oder resourcemanager oder nodemanager oder datanode oder namenode 
hadoop_type_of_node: slave
# Hadoop Basisverzeichnis zur Installation der Software
hadoop_home: /opt/hadoop-2.X
# Liste von Servern zum Herunterladen des Hadoop-Codes
hadoop_mirrors: [ "http://mirror.cc.columbia.edu/pub/software/apache/hadoop/core/stable/",
        "http://ftp.osuosl.org/pub/apache/hadoop/core/stable/",
        "http://apache.rediris.es/hadoop/core/stable/",
        "http://apache.uvigo.es/hadoop/common/stable/" ]
# Zu installierende Hadoop-Version
hadoop_version: latest
# Ein Wörterbuch mit einer Reihe von Eigenschaften für die core-site.xml
hdfs_props: {}
# Ein Wörterbuch mit einer Reihe von Eigenschaften für die yarn-site.xml
yarn_props: {}
# Liste der Slave-Knoten
hadoop_slave_nodes: "{{ groups['all']|map('extract', hostvars,'ansible_hostname')|list }}"

Beispiel-Playbook

Dies ist ein Beispiel, wie man das Cluster installiert:

In den "Worker Nodes"

  roles:
    - { role: 'grycap.hadoop', hadoop_master: 'MASTER_NODE_NAME_OR_IP' }

In der "Manager Node"

  roles:
    - { role: 'grycap.hadoop', hadoop_master: 'MASTER_NODE_NAME_OR_IP', hadoop_type_of_node: 'master'}

Beitrag zur Rolle

Um den Code sauber zu halten, wurde das Pushen von Änderungen in den Master-Branch deaktiviert. Wenn Sie beitragen möchten, müssen Sie einen Branch erstellen, Ihre Änderungen hochladen und dann eine Pull-Request erstellen.
Danke