hdfs_modules
hdfs_modules
Эта роль Ansible содержит набор модулей, предназначенных для работы с файлами и каталогами в HDFS (распределенная файловая система Hadoop).
hdfs_file: эквивалент модуля files/file в Ansible, но для HDFS. Документация здесь
hdfs_info: эквивалент модуля files/info в Ansible, но для HDFS. Документация здесь
hdfs_cmd: эквивалент модуля commands/command в Ansible, но для HDFS. Документация здесь
Требования
Этим модулям необходим пакет python-requests на удаленном узле.
Чтобы получить доступ к кластеру с защитой Kerberos, также требуется python-requests-kerberos.
Пример Playbook
- hosts: edge_node1
roles:
- hdfs_modules
tasks:
# Создать каталог, если он не существует.
# Если он уже существует, изменить владельца, группу и режим, если необходимо.
- hdfs_file: hdfs_path=/user/joe/some_directory owner=joe group=users mode=0755 state=directory
# Как скопировать файл из файловой системы целевого хоста в HDFS
- hdfs_cmd: cmd="sudo -u joe hdfs dfs -put /etc/services /user/joe/services" hdfs_creates=/user/joe/passwd1 uses_shell=True
# И изменить владельца, группу и режим для файла
- hdfs_file: hdfs_path=/user/joe/passwd1 owner=joe group=users mode=0644
# Но лучше использовать hdfs_put для этого копирования
- hdfs_put: src=/etc/services hdfs_dest=/usr/joe/services owner=joe group=users mode=0644
# Можно также скопировать папку рекурсивно
- hdfs_put: src=/etc/hadoop/conf/ hdfs_dest=/usr/joe/some_directory hdfs_user=joe
Лицензия
GNU GPL
Нажмите на Ссылку, чтобы увидеть полный текст.
Установить
ansible-galaxy install BROADSoftware/hdfs_modules
Лицензия
gpl-3.0
Загрузки
810
Владелец