hdfs_moduły

Ten ansible role zawiera zestaw modułów do manipulacji plikami i katalogami w HDFS (Hadoop Distributed File System).

• hdfs_file: Odpowiednik modułu files/file w ansible, ale dla HDFS. Dokumentacja w tym miejscu

• hdfs_info: Odpowiednik modułu files/info w ansible, ale dla HDFS. Dokumentacja w tym miejscu

• hdfs_cmd: Odpowiednik modułu commands/command w ansible, ale dla HDFS. Dokumentacja w tym miejscu

Wymagania

Te moduły wymagają obecności pakietu python-requests na zdalnym węźle.

Aby uzyskać dostęp do klastrów chronionych przez Kerberosa, wymagany jest również pakiet python-requests-kerberos.

Przykład Playbooka

- hosts: edge_node1
  roles:
    - hdfs_modules
  tasks:
    # Utwórz katalog, jeśli nie istnieje.
    # Jeśli już istnieje, dostosuj właściciela, grupę i tryb, jeśli są inne.
    - hdfs_file: hdfs_path=/user/joe/some_directory owner=joe group=users mode=0755 state=directory

    # Jak skopiować plik z systemu plików docelowego hosta do HDFS
    - hdfs_cmd: cmd="sudo -u joe hdfs dfs -put /etc/services /user/joe/services" hdfs_creates=/user/joe/passwd1 uses_shell=True

    # I dostosuj właściciela, grupę i tryb dla pliku
    - hdfs_file: hdfs_path=/user/joe/passwd1 owner=joe group=users mode=0644

    # Ale lepiej użyć hdfs_put do tego kopiowania
    - hdfs_put: src=/etc/services hdfs_dest=/usr/joe/services owner=joe group=users mode=0644

    # Można również skopiować folder rekurencyjnie
    - hdfs_put: src=/etc/hadoop/conf/ hdfs_dest=/usr/joe/some_directory hdfs_user=joe

Licencja

GNU GPL

Kliknij Link, aby zobaczyć pełny tekst.