hdfs_modules

Эта роль Ansible содержит набор модулей, предназначенных для работы с файлами и каталогами в HDFS (распределенная файловая система Hadoop).

• hdfs_file: эквивалент модуля files/file в Ansible, но для HDFS. Документация здесь

• hdfs_info: эквивалент модуля files/info в Ansible, но для HDFS. Документация здесь

• hdfs_cmd: эквивалент модуля commands/command в Ansible, но для HDFS. Документация здесь

Требования

Этим модулям необходим пакет python-requests на удаленном узле.

Чтобы получить доступ к кластеру с защитой Kerberos, также требуется python-requests-kerberos.

Пример Playbook

- hosts: edge_node1
  roles:
  - hdfs_modules
  tasks:
  # Создать каталог, если он не существует.
  # Если он уже существует, изменить владельца, группу и режим, если необходимо.
  - hdfs_file: hdfs_path=/user/joe/some_directory owner=joe group=users mode=0755 state=directory

  # Как скопировать файл из файловой системы целевого хоста в HDFS
  - hdfs_cmd: cmd="sudo -u joe hdfs dfs -put /etc/services /user/joe/services" hdfs_creates=/user/joe/passwd1 uses_shell=True

  # И изменить владельца, группу и режим для файла
  - hdfs_file: hdfs_path=/user/joe/passwd1 owner=joe group=users mode=0644

  # Но лучше использовать hdfs_put для этого копирования
  - hdfs_put: src=/etc/services hdfs_dest=/usr/joe/services  owner=joe group=users mode=0644

  # Можно также скопировать папку рекурсивно
  - hdfs_put: src=/etc/hadoop/conf/ hdfs_dest=/usr/joe/some_directory hdfs_user=joe

Лицензия

GNU GPL

Нажмите на Ссылку, чтобы увидеть полный текст.