wtanaka.apache-kafka

Устанавливает Apache Kafka. Поддерживайте его работоспособность с помощью monit.

Необходимости:

• Установите Java, например, с помощью https://galaxy.ansible.com/wtanaka/oracle-java/
• Установите Zookeeper, например, с помощью https://galaxy.ansible.com/wtanaka/zookeeper/

Пример плейбука

Просто включив роль, вы установите простую стандартную установку:

- hosts: servers
  roles:
     - role: wtanaka.apache-kafka

Вы можете настроить роль в плейбуке:

- hosts: servers
  roles:
     - role: wtanaka.apache-kafka
       # Не поддерживает встроенные одиночные кавычки
       kafka_env_variables:
         KAFKA_HEAP_OPTS: "-Xmx512m -Xms512m"

Или используйте переменные в соответствующем файле host_vars или group_vars.

Полный набор доступных параметров конфигурации можно найти в defaults/main.yml

  kafka_version: "0.10.0.1"
  kafka_scala_version: "2.11"
  kafka_mirror: 'http://archive.apache.org/dist/kafka'
  kafka_install_chdir: "/opt"
  kafka_user: "kafka"
  kafka_monit_conf_dir: "/etc/monit/conf.d"
  kafka_init_wrapper_prefix: "kafka-"
  kafka_pid_prefix: "/var/run/kafka-"
  kafka_config_prefix: "server-"
  kafka_log_prefix: "/var/log/kafka-"
  # kafka_delete_topic_enable: "false"

  # kafka_brokers - это список брокеров для запуска на машине.
  # Обычно вы запускаете один брокер. Каждый брокер должен указывать
  # либо:
  #
  # A broker_id
  #
  # A file_basename и a log_dirs — это автоматически
  # сгенерирует id брокера в Kafka 0.9+
  kafka_brokers:
  - broker_id: 0
    listeners: "PLAINTEXT://:9092"
  - listeners: "PLAINTEXT://:9093"
    file_basename: kafka-9093
    log_dirs: /var/lib/kafka/broker-9093
  kafka_config_contents:
    # Количество потоков, обрабатывающих сетевые запросы
    num.network.threads: 3
    # Количество потоков, выполняющих операции ввода-вывода
    num.io.threads: 8
    # Буфер отправки (SO_SNDBUF), используемый сервером сокетов
    socket.send.buffer.bytes: 102400
    # Буфер приема (SO_RCVBUF), используемый сервером сокетов
    socket.receive.buffer.bytes: 102400
    # Максимальный размер запроса, который сервер сокетов примет
    # (защита от OOM)
    socket.request.max.bytes: 104857600
    # Стандартное количество лог-разделов на тему. Большее количество разделов
    # позволяет увеличить параллельность при обработке, но это также
    # приведет к количеству файлов на брокерах.
    num.partitions: 1
    # Количество потоков на каждый каталог данных, используемое для восстановления логов
    # при старте и сброса при завершении. Рекомендуется увеличить это значение для установок
    # с каталогами данных, расположенными в RAID-массиве.
    num.recovery.threads.per.data.dir: 1
    # Минимальный возраст файла лога, чтобы иметь право на удаление
    log.retention.hours: 168
    # Максимальный размер файла сегмента лога. Когда этот размер будет достигнут, будет создан новый сегмент лога.
    log.segment.bytes: 1073741824
    # Интервал, через который проверяются сегменты логов, чтобы увидеть, могут ли они быть удалены согласно
    # политике хранения
    log.retention.check.interval.ms: 300000
    # Строка соединения с Zookeeper (см. документацию Zookeeper для подробностей).
    # Это пары host:port, разделенные запятой, каждая из которых соответствует серверу zk.
    # Например: "127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002".
    # Вы также можете добавить необязательную строку chroot к URL-адресам, чтобы указать
    # корневой каталог для всех znodes Kafka.
    zookeeper.connect: "localhost:2181"
    # Тайм-аут в мс для подключения к zookeeper
    zookeeper.connection.timeout.ms: "6000"
  kafka_more_config: {}
  # Установите переменные окружения здесь, такие как KAFKA_HEAP_OPTS или
  # KAFKA_JVM_PERFORMANCE_OPTS и т. д. Не поддерживает встроенные одиночные
  # кавычки "'" .
  kafka_env_variables:
    KAFKA_HEAP_OPTS: "-Xmx1G -Xms1G"

kafka_monit_enabled

По умолчанию: true

Установите это значение в false, чтобы отключить установку конфигурационного файла monit и избежать запуска службы monit.

kafka_user

По умолчанию: kafka

Пользователь операционной системы, от имени которого будет запускаться процесс kafka. Эта роль также обеспечит наличие этого пользователя в операционной системе.

Лицензия

GPLv2

Информация об авторе

http://wtanaka.com/