Роль кластера Hadoop

Устанавливает и настраивает систему Hadoop (версия 2.X) в кластере узлов.

Переменные роли

Переменные, которые можно задать для этой роли, и их краткие описания:

# Тип узла: slave (рабочий) или master (главный) или resourcemanager (менеджер ресурсов) или nodemanager (менеджер узлов) или datanode (узел данных) или namenode (узел имен)
hadoop_type_of_node: slave
# Базовый каталог Hadoop для установки программного обеспечения
hadoop_home: /opt/hadoop-2.X
# Список серверов для загрузки кода Hadoop
hadoop_mirrors: [ "http://mirror.cc.columbia.edu/pub/software/apache/hadoop/core/stable/",
        "http://ftp.osuosl.org/pub/apache/hadoop/core/stable/",
        "http://apache.rediris.es/hadoop/core/stable/",
        "http://apache.uvigo.es/hadoop/common/stable/" ]
# Версия Hadoop для установки
hadoop_version: latest
# Словарь с набором свойств для установки в core-site.xml
hdfs_props: {}
# Словарь с набором свойств для установки в yarn-site.xml
yarn_props: {}
# Список рабочих узлов
hadoop_slave_nodes: "{{ groups['all']|map('extract', hostvars,'ansible_hostname')|list }}"

Пример плейбука

Вот пример того, как установить кластер:

На "Рабочих узлах"

  roles:
    - { role: 'grycap.hadoop', hadoop_master: 'ИМЯ_ИЛИ_IP_ГЛАВНОГО_УЗЛА' }

На "Управляющем узле"

  roles:
    - { role: 'grycap.hadoop', hadoop_master: 'ИМЯ_ИЛИ_IP_ГЛАВНОГО_УЗЛА', hadoop_type_of_node: 'master'}

Вклад в роль

Чтобы поддерживать код в чистоте, отправка изменений в главную ветку отключена. Если вы хотите внести вклад, вам нужно создать новую ветку, загрузить свои изменения и затем создать запрос на слияние.
Спасибо!