AlexeySetevoi.clickhouse

ansible-clickhouse

Prosta rola do wdrażania i zarządzania serwerem ClickHouse. Wszelkie zgłoszenia błędów i prośby o zmiany są mile widziane.

Zmienne Roli

Możesz określić konkretna wersję (lub * dla najnowszej). Należy pamiętać, że obniżenie wersji nie jest obsługiwane.

clickhouse_version: "19.11.3.11"

Możesz zarządzać portami nasłuchu:

clickhouse_http_port: 8123
clickhouse_tcp_port: 9000
clickhouse_interserver_http: 9009

Możesz dodać dodatkowe adresy IP dla nasłuchu:

clickhouse_listen_host_custom:
  - "192.168.0.1"

Możesz zarządzać TTL dla logów zapytań:

clickhouse_query_log_ttl: 'event_date + INTERVAL 7 DAY DELETE'

Możesz zarządzać TTL dla logów zapytań wątków:

clickhouse_query_thread_log_ttl: 'event_date + INTERVAL 7 DAY DELETE'

Możesz również określić bezpośrednio adresy IP, np. aby nasłuchiwać na wszystkich adresach ipv4 i ipv6:

clickhouse_listen_host:
  - "::"

Możesz tworzyć niestandardowe profile:

clickhouse_profiles_custom:
 my_custom_profile:
   max_memory_usage: 10000000000
   use_uncompressed_cache: 0
   load_balancing: random
   my_super_param: 9000

Zwykły k-v. Przekształcone na xml:

<profiles>
    <!-- Profile ustawień. -->
    <!-- Domyślne profile. -->
        <default>
            <max_memory_usage>10000000000</max_memory_usage>
            <load_balancing>random</load_balancing>
            <use_uncompressed_cache>0</use_uncompressed_cache>
        </default>
        <readonly>
            <readonly>1</readonly>
        </readonly>
        <!-- Koniec domyślnych profili. -->
        <!-- Niestandardowe profile. -->
        <my_custom_profile>
            <max_memory_usage>10000000000</max_memory_usage>
            <load_balancing>random</load_balancing>
            <use_uncompressed_cache>0</use_uncompressed_cache>
            <my_super_param>9000</my_super_param>
        </my_custom_profile>
        <!-- Koniec niestandardowych profili. -->
</profiles>

Możesz tworzyć niestandardowych użytkowników:

clickhouse_users_custom:
      - { name: "testuser",
          password_sha256_hex: "f2ca1bb6c7e907d06dafe4687e579fce76b37e4e93b7605022da52e6ccc26fd2",
          networks: "{{ clickhouse_networks_default }}",
          profile: "default",
          quota: "default",
          dbs: [ testu1 ] ,
          comment: "Klasyczny użytkownik z zwykłym hasłem"}
      - { name: "testuser2",
          password: "testplpassword",
          networks: "{{ clickhouse_networks_default }}",
          profile: "default",
          quota: "default",
          dbs: [ testu2 ] ,
          comment: "Klasyczny użytkownik z hasłem w formacie hex"}
      - { name: "testuser3",
          password: "testplpassword",
          networks: { 192.168.0.0/24, 10.0.0.0/8 },
          profile: "default",
          quota: "default",
          dbs: [ testu1,testu2,testu3 ] ,
          comment: "Klasyczny użytkownik z wieloma bazami i zezwolonym dostępem z wielu sieci"}
      - { name: "testuser4",
          ldap_server: "example_ldap_server",
          networks: { 192.168.0.0/24, 10.0.0.0/8 },
          profile: "default",
          quota: "default",
          dbs: [ testu1,testu2,testu3 ] ,
          comment: "Zewnętrzna autoryzacja przy użyciu definicji ldap_server"}

Możesz zarządzać własnymi przydziałami:

clickhouse_quotas_custom:
 - { name: "my_custom_quota", intervals: "{{ clickhouse_quotas_intervals_default }}",comment: "Domyślny przydział - tylko liczenie" }

Obiekt przydziału to prosta mapa:

 - { duration: 3600, queries: 0, errors: 0,result_rows: 0,read_rows: 0,execution_time: 0 }

Możesz tworzyć jakieś bazy danych: domyślny stan bazy danych - obecna

clickhouse_dbs_custom:
      - { name: testu1 }
      - { name: testu2 }
      - { name: testu3 }
      - { name: testu4, state: absent }
      - { name: testu5, state: present }
      - { name: testu6, state: absent, cluster: testu6 }
      - { name: testu7, state: present, cluster: testu7 }
      - { name: testu8, state: absent, cluster: testu8, engine: Lazy(3600) }
      - { name: testu9, state: present, cluster: testu9, engine: Lazy(3600) }

Możesz tworzyć słowniki przez odbc:

clickhouse_dicts:
          test1:
            name: test_dict
            odbc_source:
              connection_string: "DSN=testdb"
              source_table: "dict_source"
            lifetime:
              min: 300
              max: 360
            layout: hashed
            structure:
              key: "testIntKey"
              attributes:
                - { name: testAttrName, type: UInt32, null_value: 0 }
          test2:
            name: test_dict
            odbc_source:
              connection_string: "DSN=testdb"
              source_table: "dict_source"
            lifetime:
              min: 300
              max: 360
            layout: complex_key_hashed
            structure:
              key:
                attributes:
                  - { name: testAttrComplexName, type: String }
              attributes:
                - { name: testAttrName, type: String, null_value: "" }

Flaga do usunięcia ClickHouse z hosta (domyślnie wyłączona):

clickhouse_remove: no

Możesz zarządzać konfiguracją Kafka:

# global configuration
clickhouse_kafka_config:
  auto_offset_reset: smallest
  debug: cgrp
# topic-level configuration
clickhouse_kafka_topics_config:
  topic1:
    retry_backoff_ms: 250
    fetch_min_bytes: 100000
  topic2:
    retry_backoff_ms: 300
    fetch_min_bytes: 120000

Możesz zarządzać konfiguracją serwera LDAP:

clickhouse_ldap_servers:
  example_ldap_server:
    host: "ldaps.example.com"
    port: "636"
    bind_dn: "EXAMPLENET\\{user_name}"
    verification_cooldown: "300"
    enable_tls: "yes"
    tls_require_cert: "demand"

Możesz również zarządzać zapisem użytkowników zewnętrznych LDAP:

clickhouse_ldap_user_directories:
  - server: "example_ldap_server"
    roles:
      - "ldap_user"
    role_mapping:
      base_dn: "ou=groups,dc=example,dc=com"
      attribute: "CN"
      scope: "subtree"
      search_filter: "(&& (objectClass=group)(member={user_dn}))"
      prefix: "clickhouse_

Możesz zarządzać konfiguracją Merge Tree. Lista dostępnych parametrów znajduje się w ustawieniach tabel MergeTree:

clickhouse_merge_tree_config:
  max_suspicious_broken_parts: 5
  parts_to_throw_insert: 600

Przykładowy Playbook

Włączenie przykładu użycia twojej roli (np. z przekazanymi zmiennymi) jest pomocne dla użytkowników:

  - hosts: clickhouse_cluster
    remote_user: root
    vars:
      clickhouse_users_custom:
          - { name: "testuser",
              password_sha256_hex: "f2ca1bb6c7e907d06dafe4687e579fce76b37e4e93b7605022da52e6ccc26fd2",
              networks: "{{ clickhouse_networks_default }}",
              profile: "default",
              quota: "default",
              dbs: [ testu1 ] ,
              comment: "Klasyczny użytkownik z zwykłym hasłem"}
          - { name: "testuser2",
              password: "testplpassword",
              networks: "{{ clickhouse_networks_default }}",
              profile: "default",
              quota: "default",
              dbs: [ testu2 ] ,
              comment: "Klasyczny użytkownik z hasłem w formacie hex"}
          - { name: "testuser3",
              password: "testplpassword",
              networks: { 192.168.0.0/24, 10.0.0.0/8 },
              profile: "default",
              quota: "default",
              dbs: [ testu1,testu2,testu3 ] ,
              comment: "Klasyczny użytkownik z wieloma bazami i zezwolonym dostępem z wielu sieci"}
      clickhouse_query_log_ttl: 'event_date + INTERVAL 7  DELETE'
      clickhouse_query_thread_log_ttl: 'event_date + INTERVAL 7  DELETE'
      clickhouse_dicts:
          test1:
            name: test_dict
            odbc_source:
              connection_string: "DSN=testdb"
              source_table: "dict_source"
            lifetime:
              min: 300
              max: 360
            layout: hashed
            structure:
              key: "testIntKey"
              attributes:
                - { name: testAttrName, type: UInt32, null_value: 0 }
          test2:
            name: test_dict
            odbc_source:
              connection_string: "DSN=testdb"
              source_table: "dict_source"
            lifetime:
              min: 300
              max: 360
            layout: complex_key_hashed
            structure:
              key:
                attributes:
                  - { name: testAttrComplexName, type: String }
              attributes:
                - { name: testAttrName, type: String, null_value: "" }
      clickhouse_dbs_custom:
         - { name: testu1 }
         - { name: testu2, state:present }
         - { name: testu3, state:absent }
      clickhouse_clusters:
        your_cluster_name:
          shard_1:
              - { host: "db_host_1", port: 9000 }
              - { host: "db_host_2", port: 9000 }
          shard_2:
              - { host: "db_host_3", port: 9000 }
              - { host: "db_host_4", port: 9000 }       
      clickhouse_zookeeper_nodes:
        - { host: "zoo_host_1", port: 2181 }
        - { host: "zoo_host_2", port: 2181 }
        - { host: "zoo_host_3", port: 2181 }
    roles:
      - ansible-clickhouse

Aby wygenerować makra: w pliku host_vars\db_host_1.yml

clickhouse_macros:
  layer: 01
  shard: "your_shard_name"
  replica: "db_host_1"

Zabezpieczenie klastra. Możesz skonfigurować klaster z dodatkowymi ustawieniami, które włączają:

Port HTTPS
Port TCP z szyfrowaniem TLS
HTTPS dla replikacji danych
Poświadczenia dla replikacji danych
Weryfikację sekretów dla zapytań rozproszonych
ACL Zookeepera

- hosts: clickhouse_cluster
  become: true
  roles:
    - ansible-clickhouse
  vars:
    clickhouse_https_port: 8443
    clickhouse_tcp_secure_port: 9440
    clickhouse_interserver_https: 9010
    clickhouse_interserver_http_credentials:
      user: "internal"
      password: "supersecretstring"
    clickhouse_distributed_secret: "supersecretstring2"
    clickhouse_zookeeper_identity:
      user: "zoo_user"
      password: "secretzoostring"
    clickhouse_ssl_server:
      certificate_file: "/etc/clickhouse-server/server.crt"
      private_key_file: "/etc/clickhouse-server/server.key"
      dh_params_file: "/etc/clickhouse-server/dhparam.pem"
      verification_mode: "none"
      load_default_ca_file: "true"
      cache_sessions: "true"
      disable_protocols: "sslv2,sslv3"
      prefer_server_ciphers: "true"
    clickhouse_clusters:
      your_cluster_name:
        shard_1:
          - host: "db_host_1"
            port: 9440
            secure: true
          - host: "db_host_2"
            port: 9440
            secure: true
        shard_2:
          - host: "db_host_3"
            port: 9440
            secure: true
          - host: "db_host_4"
            port: 9440
            secure: true
    clickhouse_zookeeper_nodes:
      - host: "zoo_host_1"
        port: 2181
      - host: "zoo_host_2"
        port: 2181
      - host: "zoo_host_3"
        port: 2181

Możesz osobno wywoływać etapy (z playbooka, zewnętrznej roli itp.):

Tag	Działanie
install	Tylko instalacja pakietów
config_sys	Tylko konfiguracja ustawień systemu (users.xml i config.xml)
config_db	Tylko dodanie i usunięcie baz danych
config_sys	Tylko regenerowanie słowników
config	config_sys + config_db