AlexeySetevoi.clickhouse
ansible-clickhouse
Rôle simple pour le déploiement et la gestion de clickhouse-server. Tout problème et toute requête de tirage sont les bienvenus.
Variables de rôle
F : Vous pouvez spécifier une version particulière (ou * pour la dernière). Veuillez noter que le retour en arrière n'est pas pris en charge.
clickhouse_version: "19.11.3.11"
F : Vous pouvez gérer les ports d'écoute
clickhouse_http_port: 8123
clickhouse_tcp_port: 9000
clickhouse_interserver_http: 9009
F : Vous pouvez ajouter des adresses IP d'écoute en plus des valeurs par défaut :
clickhouse_listen_host_custom:
- "192.168.0.1"
F : Vous pouvez gérer le TTL du journal des requêtes :
clickhouse_query_log_ttl: 'event_date + INTERVAL 7 DAY DELETE'
F : Vous pouvez gérer le TTL du journal des threads de requêtes :
clickhouse_query_thread_log_ttl: 'event_date + INTERVAL 7 DAY DELETE'
F : Ou vous pouvez spécifier directement des adresses IP, par exemple, écouter sur toutes les adresses IPv4 et IPv6 :
clickhouse_listen_host:
- "::"
F : Vous pouvez créer des profils personnalisés
clickhouse_profiles_custom:
my_custom_profile:
max_memory_usage: 10000000000
use_uncompressed_cache: 0
load_balancing: random
my_super_param: 9000
Autoriser toute clé-valeur simple. Transformer en XML
<profiles>
<!-- Profils de paramètres. -->
<!-- Profils par défaut. -->
<default>
<max_memory_usage>10000000000</max_memory_usage>
<load_balancing>random</load_balancing>
<use_uncompressed_cache>0</use_uncompressed_cache>
</default>
<readonly>
<readonly>1</readonly>
</readonly>
<!-- Fin des profils par défaut. -->
<!-- Profils personnalisés. -->
<my_custom_profile>
<max_memory_usage>10000000000</max_memory_usage>
<load_balancing>random</load_balancing>
<use_uncompressed_cache>0</use_uncompressed_cache>
<my_super_param>9000</my_super_param>
</my_custom_profile>
<!-- Fin des profils personnalisés. -->
</profiles>
F : Vous pouvez créer des utilisateurs personnalisés :
clickhouse_users_custom:
- { name: "testuser",
password_sha256_hex: "f2ca1bb6c7e907d06dafe4687e579fce76b37e4e93b7605022da52e6ccc26fd2",
networks: "{{ clickhouse_networks_default }}",
profile: "default",
quota: "default",
dbs: [ testu1 ] ,
comment: "utilisateur classique avec mot de passe simple"}
- { name: "testuser2",
password: "testplpassword",
networks: "{{ clickhouse_networks_default }}",
profile: "default",
quota: "default",
dbs: [ testu2 ] ,
comment: "utilisateur classique avec mot de passe hexadécimal"}
- { name: "testuser3",
password: "testplpassword",
networks: { 192.168.0.0/24, 10.0.0.0/8 },
profile: "default",
quota: "default",
dbs: [ testu1,testu2,testu3 ] ,
comment: "utilisateur classique avec plusieurs bases de données et plusieurs réseaux personnalisés autorisés"}
- { name: "testuser4",
ldap_server: "example_ldap_server",
networks: { 192.168.0.0/24, 10.0.0.0/8 },
profile: "default",
quota: "default",
dbs: [ testu1,testu2,testu3 ] ,
comment: "authentification externe utilisant la définition du serveur ldap"}
F : Vous pouvez gérer vos propres quotas :
clickhouse_quotas_custom:
- { name: "my_custom_quota", intervals: "{{ clickhouse_quotas_intervals_default }}",comment: "Quota par défaut - compter seulement" }
L'objet quota est un dictionnaire simple :
- { duration: 3600, queries: 0, errors: 0,result_rows: 0,read_rows: 0,execution_time: 0 }
F : Vous pouvez créer n'importe quelle base de données : État de la base de données par défaut - présent
clickhouse_dbs_custom:
- { name: testu1 }
- { name: testu2 }
- { name: testu3 }
- { name: testu4, state: absent }
- { name: testu5, state: present }
- { name: testu6, state: absent, cluster: testu6 }
- { name: testu7, state: present, cluster: testu7 }
- { name: testu8, state: absent, cluster: testu8, engine: Lazy(3600) }
- { name: testu9, state: present, cluster: testu9, engine: Lazy(3600) }
F : Vous pouvez créer un dictionnaire via ODBC
clickhouse_dicts:
test1:
name: test_dict
odbc_source:
connection_string: "DSN=testdb"
source_table: "dict_source"
lifetime:
min: 300
max: 360
layout: hashed
structure:
key: "testIntKey"
attributes:
- { name: testAttrName, type: UInt32, null_value: 0 }
test2:
name: test_dict
odbc_source:
connection_string: "DSN=testdb"
source_table: "dict_source"
lifetime:
min: 300
max: 360
layout: complex_key_hashed
structure:
key:
attributes:
- { name: testAttrComplexName, type: String }
attributes:
- { name: testAttrName, type: String, null_value: "" }
F : Drapeau pour supprimer ClickHouse de l'hôte (désactivé par défaut)
clickhouse_remove: no
F : Vous pouvez gérer la configuration Kafka
# configuration globale
clickhouse_kafka_config:
auto_offset_reset: smallest
debug: cgrp
# configuration au niveau du sujet
clickhouse_kafka_topics_config:
topic1:
retry_backoff_ms: 250
fetch_min_bytes: 100000
topic2:
retry_backoff_ms: 300
fetch_min_bytes: 120000
F : Vous pouvez gérer la configuration du serveur LDAP
clickhouse_ldap_servers:
# Débogage avec ldapwhoami -H '<host>' -D '<bind_dn>' -w <password>
example_ldap_server:
host: "ldaps.example.com"
port: "636"
bind_dn: "EXAMPLENET\\{user_name}"
verification_cooldown: "300"
enable_tls: "yes"
tls_require_cert: "demand"
F : Vous pouvez gérer le répertoire d'utilisateurs externes LDAP
# Guide utile sur https://altinity.com/blog/integrating-clickhouse-with-ldap-part-two
clickhouse_ldap_user_directories:
- server: "example_ldap_server"
roles:
- "ldap_user"
role_mapping:
base_dn: "ou=groups,dc=example,dc=com"
attribute: "CN"
scope: "subtree"
search_filter: "(&(objectClass=group)(member={user_dn}))"
prefix: "clickhouse_
F : Vous pouvez gérer la configuration de Merge Tree. Pour la liste des paramètres disponibles, consultez les paramètres des tables MergeTree.
clickhouse_merge_tree_config:
max_suspicious_broken_parts: 5
parts_to_throw_insert: 600
Exemple de Playbook
Inclure un exemple d'utilisation de votre rôle (par exemple, avec des variables passées en tant que paramètres) est toujours utile pour les utilisateurs :
- hosts: clickhouse_cluster
remote_user: root
vars:
clickhouse_users_custom:
- { name: "testuser",
password_sha256_hex: "f2ca1bb6c7e907d06dafe4687e579fce76b37e4e93b7605022da52e6ccc26fd2",
networks: "{{ clickhouse_networks_default }}",
profile: "default",
quota: "default",
dbs: [ testu1 ] ,
comment: "utilisateur classique avec mot de passe simple"}
- { name: "testuser2",
password: "testplpassword",
networks: "{{ clickhouse_networks_default }}",
profile: "default",
quota: "default",
dbs: [ testu2 ] ,
comment: "utilisateur classique avec mot de passe hexadécimal"}
- { name: "testuser3",
password: "testplpassword",
networks: { 192.168.0.0/24, 10.0.0.0/8 },
profile: "default",
quota: "default",
dbs: [ testu1,testu2,testu3 ] ,
comment: "utilisateur classique avec plusieurs bases de données et plusieurs réseaux personnalisés autorisés"}
clickhouse_query_log_ttl: 'event_date + INTERVAL 7 DELETE'
clickhouse_query_thread_log_ttl: 'event_date + INTERVAL 7 DELETE'
clickhouse_dicts:
test1:
name: test_dict
odbc_source:
connection_string: "DSN=testdb"
source_table: "dict_source"
lifetime:
min: 300
max: 360
layout: hashed
structure:
key: "testIntKey"
attributes:
- { name: testAttrName, type: UInt32, null_value: 0 }
test2:
name: test_dict
odbc_source:
connection_string: "DSN=testdb"
source_table: "dict_source"
lifetime:
min: 300
max: 360
layout: complex_key_hashed
structure:
key:
attributes:
- { name: testAttrComplexName, type: String }
attributes:
- { name: testAttrName, type: String, null_value: "" }
clickhouse_dbs_custom:
- { name: testu1 }
- { name: testu2, state:present }
- { name: testu3, state:absent }
clickhouse_clusters:
your_cluster_name:
shard_1:
- { host: "db_host_1", port: 9000 }
- { host: "db_host_2", port: 9000 }
shard_2:
- { host: "db_host_3", port: 9000 }
- { host: "db_host_4", port: 9000 }
clickhouse_zookeeper_nodes:
- { host: "zoo_host_1", port: 2181 }
- { host: "zoo_host_2", port: 2181 }
- { host: "zoo_host_3", port: 2181 }
roles:
- ansible-clickhouse
Pour générer des macros : dans le fichier host_vars\db_host_1.yml
clickhouse_macros:
layer: 01
shard: "your_shard_name"
replica: "db_host_1"
Pour renforcer la sécurité du cluster. Vous pouvez configurer le cluster avec des paramètres supplémentaires qui permettent
- Port HTTPS
- Port TCP crypté TLS
- HTTPS pour la réplication de données
- Identifiants pour la réplication de données
- Validation secrète pour les requêtes distribuées
- ACL ZooKeeper
- hosts: clickhouse_cluster
become: true
roles:
- ansible-clickhouse
vars:
# HTTPS au lieu du HTTP normal
clickhouse_https_port: 8443
# Chiffrement TLS pour le protocole TCP natif (nécessite `clickhouse-client --secure`)
clickhouse_tcp_secure_port: 9440
# Chiffrement TLS entre les nœuds du cluster
clickhouse_interserver_https: 9010
# Identifiants utilisés pour authentifier les nœuds lors de la réplication des données
clickhouse_interserver_http_credentials:
user: "internal"
password: "supersecretstring"
# Secret utilisé pour valider les nœuds du cluster pour les requêtes distribuées
clickhouse_distributed_secret: "supersecretstring2"
# Protéger par mot de passe les chemins zookeeper utilisés par ClickHouse
clickhouse_zookeeper_identity:
user: "zoo_user"
password: "secretzoostring"
# Paramètres OpenSSL
clickhouse_ssl_server:
certificate_file: "/etc/clickhouse-server/server.crt"
private_key_file: "/etc/clickhouse-server/server.key"
dh_params_file: "/etc/clickhouse-server/dhparam.pem"
verification_mode: "none"
load_default_ca_file: "true"
cache_sessions: "true"
disable_protocols: "sslv2,sslv3"
prefer_server_ciphers: "true"
clickhouse_clusters:
your_cluster_name:
shard_1:
- host: "db_host_1"
port: 9440
secure: true
- host: "db_host_2"
port: 9440
secure: true
shard_2:
- host: "db_host_3"
port: 9440
secure: true
- host: "db_host_4"
port: 9440
secure: true
clickhouse_zookeeper_nodes:
- host: "zoo_host_1"
port: 2181
- host: "zoo_host_2"
port: 2181
- host: "zoo_host_3"
port: 2181
F : Vous pouvez appeler séparément des étapes (depuis le playbook, le rôle externe, etc.) :
| Tag | Action |
|---|---|
| install | Installation uniquement des paquets |
| config_sys | Configuration uniquement des fichiers de système (users.xml et config.xml) |
| config_db | Ajout et suppression de bases de données uniquement |
| config_sys | Regénérer uniquement les dictionnaires |
| config | config_sys + config_db |
Licence
BSD
Informations sur l'auteur
ClickHouse par ClickHouse, Inc..
Rôle par AlexeySetevoi.
Chers contributeurs, merci.
Installer
ansible-galaxy install AlexeySetevoi.clickhouseLicence
Unknown
Téléchargements
4.3k
Propriétaire