wtanaka.apache-kafka

Installe Apache Kafka. Gardez-le à jour via monit.

Exigences :

• Installation de Java, par exemple avec https://galaxy.ansible.com/wtanaka/oracle-java/
• Installation de Zookeeper, par exemple avec https://galaxy.ansible.com/wtanaka/zookeeper/

Exemple de Playbook

Il suffit d'inclure le rôle pour réaliser une installation par défaut simple.

- hosts: servers
  roles:
     - role: wtanaka.apache-kafka

Vous pouvez configurer le rôle dans le playbook :

- hosts: servers
  roles:
     - role: wtanaka.apache-kafka
       # Ne supporte pas les caractères de quote simples intégrés
       kafka_env_variables:
         KAFKA_HEAP_OPTS: "-Xmx512m -Xms512m"

Ou en utilisant des variables dans un fichier host_vars ou group_vars approprié.

L'ensemble complet des options de configuration disponibles est visible dans defaults/main.yml

  kafka_version: "0.10.0.1"
  kafka_scala_version: "2.11"
  kafka_mirror: 'http://archive.apache.org/dist/kafka'
  kafka_install_chdir: "/opt"
  kafka_user: "kafka"
  kafka_monit_conf_dir: "/etc/monit/conf.d"
  kafka_init_wrapper_prefix: "kafka-"
  kafka_pid_prefix: "/var/run/kafka-"
  kafka_config_prefix: "server-"
  kafka_log_prefix: "/var/log/kafka-"
  # kafka_delete_topic_enable: "false"

  # kafka_brokers est une liste de brokers à exécuter sur la machine.
  # En général, vous exécutez un seul broker. Chaque broker doit spécifier
  # soit :
  #
  # Un broker_id
  #
  # Un file_basename et un log_dirs -- cela générera automatiquement
  # un broker id dans Kafka 0.9+
  kafka_brokers:
  - broker_id: 0
    listeners: "PLAINTEXT://:9092"
  - listeners: "PLAINTEXT://:9093"
    file_basename: kafka-9093
    log_dirs: /var/lib/kafka/broker-9093
  kafka_config_contents:
    # Le nombre de threads traitant les requêtes réseau
    num.network.threads: 3
    # Le nombre de threads effectuant des entrées/sorties disque
    num.io.threads: 8
    # Le tampon d'envoi (SO_SNDBUF) utilisé par le serveur socket
    socket.send.buffer.bytes: 102400
    # Le tampon de réception (SO_RCVBUF) utilisé par le serveur socket
    socket.receive.buffer.bytes: 102400
    # La taille maximale d'une requête que le serveur socket acceptera
    # (protection contre OOM)
    socket.request.max.bytes: 104857600
    # Le nombre par défaut de partitions de journal par sujet. Des partitions
    # supplémentaires permettent un plus grand parallélisme pour la consommation,
    # mais cela entraînera également plus de fichiers à travers les brokers.
    num.partitions: 1
    # Le nombre de threads par répertoire de données à utiliser pour la
    # récupération du journal au démarrage et l'enregistrement à l'arrêt. Ceci
    # est recommandé d'augmenter pour les installations avec des répertoires de 
    # données situés dans un tableau RAID.
    num.recovery.threads.per.data.dir: 1
    # L'âge minimum d'un fichier de journal pour être éligible à la suppression
    log.retention.hours: 168
    # La taille maximale d'un fichier de segment de journal. Lorsque cette taille est atteinte, un nouveau segment de journal sera créé.
    log.segment.bytes: 1073741824
    # L'intervalle auquel les segments de journal sont vérifiés pour voir s'ils peuvent être supprimés en fonction
    # des politiques de rétention
    log.retention.check.interval.ms: 300000
    # Chaîne de connexion Zookeeper (voir la documentation de Zookeeper pour plus de détails).
    # Ce sont des paires host:port séparées par des virgules, chacune correspondant à un
    # serveur zk. par exemple "127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002".
    # Vous pouvez également ajouter une chaîne chroot optionnelle aux URL pour spécifier le
    # répertoire racine pour tous les znodes Kafka.
    zookeeper.connect: "localhost:2181"
    # Délai d'attente en ms pour se connecter à Zookeeper
    zookeeper.connection.timeout.ms: "6000"
  kafka_more_config: {}
  # Définissez des variables d'environnement ici, comme KAFKA_HEAP_OPTS ou
  # KAFKA_JVM_PERFORMANCE_OPTS, etc. Ne prend pas en charge les caractères
  # de quote simples intégrés "'".
  kafka_env_variables:
    KAFKA_HEAP_OPTS: "-Xmx1G -Xms1G"

kafka_monit_enabled

Par défaut : true

Définissez ceci sur false pour désactiver l'installation d'un fichier .conf de monit et éviter de définir le service monit sur démarré.

kafka_user

Par défaut : kafka

L'utilisateur du système d'exploitation sous lequel le processus Kafka s'exécutera. Ce rôle veillera également à ce que cet utilisateur existe sur le système d'exploitation.

Licence

GPLv2

Informations sur l'auteur

http://wtanaka.com/