amazon_cloudwatch_agent

Ansible Роль: christiangda.amazon_cloudwatch_agent

Эта роль устанавливает AWS CloudWatch Agent.

Лучший способ установить эту роль - использовать команду ansible-galaxy install christiangda.amazon_cloudwatch_agent, репозиторий Ansible Galaxy - christiangda.amazon_cloudwatch_agent.

Код репозитория: https://github.com/christiangda/ansible-role-amazon-cloudwatch-agent.

Особенности:

Работает на AWS EC2 инстансах/На локальных инстансах.
Поддерживает различные версии Python, Ansible и операционных систем (см. матрицу непрерывной интеграции для деталей).
Загружает и устанавливает CloudWatch Agent из дистрибутивного пакета AWS.
Перезагружает службу при изменении конфигурации.
Предоставляет файл конфигурации агента по умолчанию (минимальная конфигурация, не рекомендуется).
Поворот лог-файлов CloudWatch Agent.
Позволяет загрузить ваш собственный JSON файл / YAML файл или INLINE-конфигурацию для агента, метрик и логов.
Поддерживает архитектуры amd64 и arm64.

Заметки:

Версия 2.x.y несовместима с версией 1.x.y.
Начиная с версии 2.x.y эта роль больше не устанавливает EPEL репозиторий по умолчанию, теперь вам нужно позаботиться об этом. Я рекомендую мою ansible роль christiangda.epel_repo вместо этого.
Начиная с версии 2.x.y эта роль больше не создает профиль AWS CLI (конфигурация и учетные данные). Вам нужно позаботиться об этом, я рекомендую мои ansible роли christiangda.awscli и christiangda.awscli_configure. Смотри примеры ниже (когда cwa_agent_mode: "onPremise").
Автоматически устанавливает пакет collectd OS, когда распознает использование Получение пользовательских метрик с помощью collectd в конфигурационном файле. В зависимости от OS пакет collectd может потребовать EPEL Репозиторий.
Пользователям RedHat: важно иметь действующую подписку, чтобы избежать проблем с установкой зависимостей пакетов.

Дополнительные сведения см. в VERSION.md.

Требования

Эта роль работает на дистрибутивах RedHat, CentOS, Amazon Linux, Debian и Ubuntu.

RedHat:
- 7
- 8
CentOS:
- 7
- 8
- stream8
Rocky Linux:
- 8
- 9
Amazon Linux:
- 2
Ubuntu:
- 14.04 (*)
- 16.04 (*)
- 18.*
- 20.*
- 21.*
- 22.*
Debian:
- Stretch (9)
- buster (10)
- bullseye (11)
- Bookworm (12)

Чтобы увидеть матрицу совместимости версий Python и Ansible, см. матрица сборки Travis-CI.

Переменные роли

Переменная	Значение по умолчанию
cwa_conf_json_file_content	"" --> Пусто
cwa_agent_mode	"ec2"
cwa_aws_region	""
cwa_use_credentials	false
cwa_profile	"AmazonCloudWatchAgent"
cwa_agent_profile_path	/root
cwa_http_proxy	"" --> Пусто
cwa_https_proxy	"" --> Пусто
cwa_no_proxy	"169.254.169.254"
cwa_logrotate_file_size	"10M"
cwa_logrotate_files	5
cwa_debug	false

Более подробная информация: смотрите файл defaults/main.yaml.

Зависимости

В случае семейства ОС RedHat/Centos может потребоваться EPEL Репозиторий.
Если вы установите cwa_agent_mode: "onPremise" потребуется настройка AWS CLI Profile.
Если вы Получаете пользовательские метрики с помощью collectd, пакет collectd будет установлен автоматически и в зависимости от OS может потребоваться EPEL Репозиторий.

Пример Playbook

Когда cwa_agent_mode: "onPremise"

# Вы должны использовать ansible-vault для его настройки
# Пример:
# ansible-vault encrypt_string --ask-vault-pass --name 'cwa_access_key' 'AKIAIOSFODNN7EXAMPLE'
# ansible-vault encrypt_string --ask-vault-pass --name 'cwa_secret_key' 'wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY'

- hosts: servers
    gather_facts: True
    roles:
      - role: christiangda.epel_repo # Если у вас не установлен EPEL Репозиторий
        when: >
          ansible_os_family == 'RedHat' and (
            ansible_distribution == 'CentOS' or
            ansible_distribution == 'RedHat' or
            ansible_distribution == 'Amazon'
          )
      - role: christiangda.awscli_configure # Если у вас не настроены AWS CLI Профили
        vars:
          awscliconf_path: '/root'
          awscliconf_files:
            credentials:
              - AmazonCloudWatchAgent:
                  aws_access_key_id: !vault |
                    $ANSIBLE_VAULT;1.1;AES256
                    30376338613338326663373366303234623665633339303338613463313564633832363237306137
                    3362643039616631323339383332306536333962346133310a383265376665316235653261616136
                    61306566623531356263346439633761633830323636646236373736353530396134636536666532
                    3939636433636364310a316639366139366566623337623536346661633339343766323936346336
                    65333035366635396138656132643262626438333961326266396466626464643766
                  aws_secret_access_key: !vault |
                    $ANSIBLE_VAULT;1.1;AES256
                    65643230613939303737336632346432393234616437383532386139616364316233333933643735
                    6633636261383163323362623562323333323533336564310a323030343431366135343035326635
                    33623161376634643939636464306139386662303034616531346632303039643238373834616266
                    3064623232373233610a346432646565396235316631626137653731376365333531323866626665
                    62656638623330643539653763636364363738653932653831316238633939356462653636633463
                    6130613761633565616533633332376565373062396565396261
            config:
              - profile AmazonCloudWatchAgent:
                  region: "eu-west-1"
      - role: christiangda.amazon_cloudwatch_agent # Используя минимальную конфигурацию агента, предоставленную ролью
          vars:
              cwa_agent_mode: "onPremise"
              cwa_aws_region: "eu-west-1"
              cwa_profile: "AmazonCloudWatchAgent"

Когда cwa_agent_mode: "ec2"

Чтение конфигурационного файла из JSON-файла

---
- hosts: servers
    gather_facts: True
    roles:
      - role: christiangda.amazon_cloudwatch_agent # Используя JSON-файл, предоставленный вами по адресу `files/CloudWatch.json`, относительно этого playbook
          vars:
              cwa_agent_mode: "ec2"
              cwa_conf_json_file_content: "{{ lookup('file', 'files/CloudWatch.json') | from_json }}"

---
- hosts: servers
    gather_facts: True
    roles:
      - role: christiangda.epel_repo
        when: >
          ansible_os_family == 'RedHat' and (
            ansible_distribution == 'CentOS' or
            ansible_distribution == 'RedHat' or
            ansible_distribution == 'Amazon'
          )
      - role: christiangda.awscli_configure
        vars:
          awscliconf_path: '/root'
          awscliconf_files:
            credentials:
              - AmazonCloudWatchAgent:
                  aws_access_key_id: 'AKIAIOSFODNN7EXAMPLE'
                  aws_secret_access_key: 'wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY'
      - role: christiangda.amazon_cloudwatch_agent # Используя минимальную конфигурацию агента, предоставленную ролью
          vars:
              cwa_agent_mode: "ec2"

Чтение конфигурационного файла из YAML-файла

---
- hosts: servers
    gather_facts: True
    roles:
      - role: christiangda.amazon_cloudwatch_agent # Используя YAML-файл, предоставленный вами по адресу `files/CloudWatch.yaml`, относительно этого playbook
          vars:
              cwa_agent_mode: "ec2"
              cwa_conf_json_file_content: "{{ lookup('file', 'files/CloudWatch.yaml') | from_yaml }}"

Используя INLINE YAML конфигурационный файл

---
- hosts: centos7, centos6, ubuntu1804, ubuntu1810, debian8, debian9, amzn2
  become: True
  roles:
    - role: christiangda.epel_repo # Если у вас не установлен EPEL Репозиторий
        when: >
          ansible_os_family == 'RedHat' and (
            ansible_distribution == 'CentOS' or
            ansible_distribution == 'RedHat' or
            ansible_distribution == 'Amazon'
          )
      - role: christiangda.awscli_configure # Если у вас не настроены AWS CLI П Profiles
        vars:
          awscliconf_path: '/root'
          awscliconf_files:
            credentials:
              - AmazonCloudWatchAgent:
                  aws_access_key_id: !vault |
                    $ANSIBLE_VAULT;1.1;AES256
                    30376338613338326663373366303234623665633339303338613463313564633832363237306137
                    3362643039616631323339383332306536333962346133310a383265376665316235653261616136
                    61306566623531356263346439633761633830323636646236373736353530396134636536666532
                    3939636433636364310a316639366139366566623337623536346661633339343766323936346336
                    65333035366635396138656132643262626438333961326266396466626464643766
                  aws_secret_access_key: !vault |
                    $ANSIBLE_VAULT;1.1;AES256
                    65643230613939303737336632346432393234616437383532386139616364316233333933643735
                    6633636261383163323362623562323333323533336564310a323030343431366135343035326635
                    33623161376634643939636464306139386662303034616531346632303039643238373834616266
                    3064623232373233610a346432646565396235316631626137653731376365333531323866626665
                    62656638623330643539653763636364363738653932653831316238633939356462653636633463
                    6130613761633565616533633332376565373062396565396261
            config:
              - profile AmazonCloudWatchAgent:
                  region: "eu-west-1"
    - role: christiangda.amazon_cloudwatch_agent # Используя ONLINE YAML конфигурацию для вашего агента
      vars:
        cwa_agent_mode: onPremise
        cwa_aws_region: "eu-west-1"
        cwa_profile: "AmazonCloudWatchAgent"
        cwa_conf_json_file_content:
          agent:
            metrics_collection_interval: 60
            region: es-west-1
            logfile: "/opt/aws/amazon-cloudwatch-agent/logs/amazon-cloudwatch-agent.log"
            debug: false
          metrics:
            metrics_collected:
              cpu:
                resources:
                  - "*"
                measurement:
                  - name: cpu_usage_idle
                    rename: CPU_USAGE_IDLE
                    unit: Percent
                  - name: cpu_usage_nice
                    unit: Percent
                  - cpu_usage_guest
                totalcpu: false
                metrics_collection_interval: 10
                append_dimensions:
                  test: test1
                  date: "2017-10-01"
              netstat:
                measurement:
                  - tcp_established
                  - tcp_syn_sent
                  - tcp_close
                metrics_collection_interval: 60
              processes:
                measurement:
                  - running
                  - sleeping
                  - dead
            append_dimensions:
              ImageId: "${aws:ImageId}"
              InstanceId: "${aws:InstanceId}"
              InstanceType: "${aws:InstanceType}"
              AutoScalingGroupName: "${aws:AutoScalingGroupName}"
            aggregation_dimensions:
              - - AutoScalingGroupName
              - - InstanceId
                - InstanceType
              - []
          logs:
            logs_collected:
              files:
                collect_list:
                  - file_path: "/opt/aws/amazon-cloudwatch-agent/logs/amazon-cloudwatch-agent.log"
                    log_group_name: amazon-cloudwatch-agent.log
                    log_stream_name: amazon-cloudwatch-agent.log
                    timezone: UTC
                  - file_path: "/opt/aws/amazon-cloudwatch-agent/logs/test.log"
                    log_group_name: test.log
                    log_stream_name: test.log
                    timezone: Local
            log_stream_name: my_log_stream_name
            force_flush_interval: 15

Минимальная конфигурация на экземпляре AWS EC2

---
- hosts: all
    gather_facts: True
    become: true
    become_user: root
    become_method: sudo
    remote_user: ec2-user
    roles:
    - role: christiangda.amazon_cloudwatch_agent # Предположим, вы на "EC2 экземпляре" и используете конфигурацию агента по умолчанию из роли.

Пример файла инвентаризации (inventory)

[all]
10.14.x.y
10.14.v.z

[amazon-1]
10.14.x.y

[amazon-2]
10.14.v.z

Как использовать это

ansible-playbook my-playbook.yml \
    --inventory inventory \
    --private-key [~/путь к вашему ключу.pem] \
    --become \
    --become-user=ec2-user \
    --user ec2-user

Разработка / Участие в проекте

Эта роль протестирована с использованием Molecule и была разработана с использованием П виртуальных окружений Python.

Кроме того, мы используем две основные ветки git:

master
develop

Если вы хотите внести вклад в этот проект, вам необходимо:

Сделать форк проекта.
Подготовить ваше окружение.
Исправить проблему в ветке develop.
Выполнить molecule test.
Создать запрос на слияние (Pull Request) в официальную проектную ветку develop.

Ссылки

Подготовьте ваше окружение

Python 3

mkdir ansible-roles
cd ansible-roles/

python3 -m venv venv
source venv/bin/activate
pip install pip --upgrade
pip install ansible
pip install molecule
pip install 'molecule[docker]'
pip install 'molecule[podman]'
pip install 'molecule[lint]'
pip install molecule-vagrant
pip install python-vagrant
pip install selinux
pip install docker
pip install pytest
pip install pytest-mock
pip install pylint
pip install rope
pip install autopep8
pip install yamllint
pip install flake8
pip install ansible-lint

Клонирование репозитория роли (из вашего форка) и создание символической ссылки

ПРИМЕЧАНИЕ: сначала сделайте форк основного репозитория.

git clone https://github.com/<ваш_пользователь_github>/ansible-role-amazon-cloudwatch-agent.git
ln -s ansible-role-amazon-cloudwatch-agent christiangda.amazon_cloudwatch_agent
cd christiangda.amazon_cloudwatch_agent

Выполнение теста молекулы

Доступные сценарии:

default --> --driver-name docker
podman --> --driver-name podman
vagrant --> --driver-name vagrant

Сценарий default

Шаг за шагом

molecule create [--scenario-name default]
molecule converge [--scenario-name default]
molecule verify [--scenario-name default]
molecule destroy [--scenario-name default]

или

Все в одном

molecule test [--scenario-name default]

Сценарий podman

Шаг за шагом

molecule create --scenario-name podman
molecule converge --scenario-name podman
molecule verify --scenario-name podman
molecule destroy --scenario-name podman

или

Все в одном

molecule test --scenario-name podman

Сценарий vagrant

Шаг за шагом

molecule create --scenario-name vagrant
molecule converge --scenario-name vagrant
molecule verify --scenario-name vagrant
molecule destroy --scenario-name vagrant

или

Все в одном

molecule test --scenario-name vagrant

Кроме того, если вы хотите протестировать это с помощью ВМ, у меня есть очень хороший проект ansible-playground, который использует Vagrant и VirtualBox, попробуйте!