AlexeySetevoi.clickhouse
ansible-clickhouse
Rol simple para el despliegue y gestión de clickhouse-server. Cualquier problema y solicitud de extracción son bienvenidos.
Variables del Rol
F: Puedes especificar una versión particular (o * para la última). Ten en cuenta que no se admite la degradación.
clickhouse_version: "19.11.3.11"
F: Puedes gestionar los puertos de escucha
clickhouse_http_port: 8123
clickhouse_tcp_port: 9000
clickhouse_interserver_http: 9009
F: Puedes añadir direcciones IP de escucha además de los valores predeterminados:
clickhouse_listen_host_custom:
- "192.168.0.1"
F: puedes gestionar ttl query_log:
clickhouse_query_log_ttl: 'event_date + INTERVAL 7 DAY DELETE'
F: puedes gestionar ttl query_thread_log:
clickhouse_query_thread_log_ttl: 'event_date + INTERVAL 7 DAY DELETE'
F: O puedes especificar direcciones IP directamente, por ejemplo, para escuchar en todas las direcciones ipv4 e ipv6:
clickhouse_listen_host:
- "::"
F: Puedes crear perfiles personalizados
clickhouse_profiles_custom:
my_custom_profile:
max_memory_usage: 10000000000
use_uncompressed_cache: 0
load_balancing: random
my_super_param: 9000
Permite cualquier par clave-valor. Transformar a xml
<profiles>
<!-- Perfiles de configuraciones. -->
<!-- Perfiles predeterminados. -->
<default>
<max_memory_usage>10000000000</max_memory_usage>
<load_balancing>random</load_balancing>
<use_uncompressed_cache>0</use_uncompressed_cache>
</default>
<readonly>
<readonly>1</readonly>
</readonly>
<!-- Fin de perfiles predeterminados. -->
<!-- Perfiles personalizados. -->
<my_custom_profile>
<max_memory_usage>10000000000</max_memory_usage>
<load_balancing>random</load_balancing>
<use_uncompressed_cache>0</use_uncompressed_cache>
<my_super_param>9000</my_super_param>
</my_custom_profile>
<!-- Fin de perfiles personalizados. -->
</profiles>
F: Puedes crear usuarios personalizados:
clickhouse_users_custom:
- { name: "testuser",
password_sha256_hex: "f2ca1bb6c7e907d06dafe4687e579fce76b37e4e93b7605022da52e6ccc26fd2",
networks: "{{ clickhouse_networks_default }}",
profile: "default",
quota: "default",
dbs: [ testu1 ] ,
comment: "usuario clásico con contraseña simple"}
- { name: "testuser2",
password: "testplpassword",
networks: "{{ clickhouse_networks_default }}",
profile: "default",
quota: "default",
dbs: [ testu2 ] ,
comment: "usuario clásico con contraseña en hex"}
- { name: "testuser3",
password: "testplpassword",
networks: { 192.168.0.0/24, 10.0.0.0/8 },
profile: "default",
quota: "default",
dbs: [ testu1,testu2,testu3 ] ,
comment: "usuario clásico con múltiples bases de datos y contraseña de red personalizada permitida"}
- { name: "testuser4",
ldap_server: "example_ldap_server",
networks: { 192.168.0.0/24, 10.0.0.0/8 },
profile: "default",
quota: "default",
dbs: [ testu1,testu2,testu3 ] ,
comment: "autenticación externa usando la definición ldap_server"}
F: Puedes gestionar tus propias cuotas:
clickhouse_quotas_custom:
- { name: "my_custom_quota", intervals: "{{ clickhouse_quotas_intervals_default }}",comment: "Cuota predeterminada - contar solo" }
El objeto cuota es un diccionario simple:
- { duration: 3600, queries: 0, errors: 0,result_rows: 0,read_rows: 0,execution_time: 0 }
F: Puedes crear cualquier base de datos: estado predeterminado de la base de datos - presente
clickhouse_dbs_custom:
- { name: testu1 }
- { name: testu2 }
- { name: testu3 }
- { name: testu4, state: absent }
- { name: testu5, state: present }
- { name: testu6, state: absent, cluster: testu6 }
- { name: testu7, state: present, cluster: testu7 }
- { name: testu8, state: absent, cluster: testu8, engine: Lazy(3600) }
- { name: testu9, state: present, cluster: testu9, engine: Lazy(3600) }
F: Puedes crear un diccionario a través de odbc
clickhouse_dicts:
test1:
name: test_dict
odbc_source:
connection_string: "DSN=testdb"
source_table: "dict_source"
lifetime:
min: 300
max: 360
layout: hashed
structure:
key: "testIntKey"
attributes:
- { name: testAttrName, type: UInt32, null_value: 0 }
test2:
name: test_dict
odbc_source:
connection_string: "DSN=testdb"
source_table: "dict_source"
lifetime:
min: 300
max: 360
layout: complex_key_hashed
structure:
key:
attributes:
- { name: testAttrComplexName, type: String }
attributes:
- { name: testAttrName, type: String, null_value: "" }
F: Opción para eliminar clickhouse del host (desactivada por defecto)
clickhouse_remove: no
F: Puedes gestionar la configuración de Kafka
# configuración global
clickhouse_kafka_config:
auto_offset_reset: smallest
debug: cgrp
# configuración a nivel de tema
clickhouse_kafka_topics_config:
topic1:
retry_backoff_ms: 250
fetch_min_bytes: 100000
topic2:
retry_backoff_ms: 300
fetch_min_bytes: 120000
F: Puedes gestionar la configuración del servidor LDAP
clickhouse_ldap_servers:
# Depuración con ldapwhoami -H '<host>' -D '<bind_dn>' -w <password>
example_ldap_server:
host: "ldaps.example.com"
port: "636"
bind_dn: "EXAMPLENET\\{user_name}"
verification_cooldown: "300"
enable_tls: "yes"
tls_require_cert: "demand"
F: Puedes gestionar el Directorio de Usuarios Externos LDAP
# Guía útil en https://altinity.com/blog/integrating-clickhouse-with-ldap-part-two
clickhouse_ldap_user_directories:
- server: "example_ldap_server"
roles:
- "ldap_user"
role_mapping:
base_dn: "ou=groups,dc=example,dc=com"
attribute: "CN"
scope: "subtree"
search_filter: "(&(objectClass=group)(member={user_dn}))"
prefix: "clickhouse_
F: Puedes gestionar la configuración de Merge Tree. Para la lista de parámetros disponibles, consulta Configuraciones de tablas MergeTree.
clickhouse_merge_tree_config:
max_suspicious_broken_parts: 5
parts_to_throw_insert: 600
Ejemplo de Playbook
Incluir un ejemplo de cómo usar tu rol (por ejemplo, con variables pasadas como parámetros) siempre es útil para los usuarios:
- hosts: clickhouse_cluster
remote_user: root
vars:
clickhouse_users_custom:
- { name: "testuser",
password_sha256_hex: "f2ca1bb6c7e907d06dafe4687e579fce76b37e4e93b7605022da52e6ccc26fd2",
networks: "{{ clickhouse_networks_default }}",
profile: "default",
quota: "default",
dbs: [ testu1 ] ,
comment: "usuario clásico con contraseña simple"}
- { name: "testuser2",
password: "testplpassword",
networks: "{{ clickhouse_networks_default }}",
profile: "default",
quota: "default",
dbs: [ testu2 ] ,
comment: "usuario clásico con contraseña en hex"}
- { name: "testuser3",
password: "testplpassword",
networks: { 192.168.0.0/24, 10.0.0.0/8 },
profile: "default",
quota: "default",
dbs: [ testu1,testu2,testu3 ] ,
comment: "usuario clásico con múltiples bases de datos y contraseña de red personalizada permitida"}
clickhouse_query_log_ttl: 'event_date + INTERVAL 7 DELETE'
clickhouse_query_thread_log_ttl: 'event_date + INTERVAL 7 DELETE'
clickhouse_dicts:
test1:
name: test_dict
odbc_source:
connection_string: "DSN=testdb"
source_table: "dict_source"
lifetime:
min: 300
max: 360
layout: hashed
structure:
key: "testIntKey"
attributes:
- { name: testAttrName, type: UInt32, null_value: 0 }
test2:
name: test_dict
odbc_source:
connection_string: "DSN=testdb"
source_table: "dict_source"
lifetime:
min: 300
max: 360
layout: complex_key_hashed
structure:
key:
attributes:
- { name: testAttrComplexName, type: String }
attributes:
- { name: testAttrName, type: String, null_value: "" }
clickhouse_dbs_custom:
- { name: testu1 }
- { name: testu2, state:present }
- { name: testu3, state:absent }
clickhouse_clusters:
your_cluster_name:
shard_1:
- { host: "db_host_1", port: 9000 }
- { host: "db_host_2", port: 9000 }
shard_2:
- { host: "db_host_3", port: 9000 }
- { host: "db_host_4", port: 9000 }
clickhouse_zookeeper_nodes:
- { host: "zoo_host_1", port: 2181 }
- { host: "zoo_host_2", port: 2181 }
- { host: "zoo_host_3", port: 2181 }
roles:
- ansible-clickhouse
Para generar macros: en el archivo host_vars\db_host_1.yml
clickhouse_macros:
layer: 01
shard: "your_shard_name"
replica: "db_host_1"
Asegura el cluster. Puedes configurar el cluster con configuraciones adicionales que permiten
- Puerto HTTPS
- Puerto TCP Encriptado con TLS
- HTTPS para replicación de datos
- Credenciales para replicación de datos
- Validación secreta para consultas distribuidas
- ACL de ZooKeeper
- hosts: clickhouse_cluster
become: true
roles:
- ansible-clickhouse
vars:
# HTTPS en lugar de HTTP normal
clickhouse_https_port: 8443
# Encriptación TLS para el protocolo TCP nativo (necesita `clickhouse-client --secure`)
clickhouse_tcp_secure_port: 9440
# Encriptación TLS entre nodos en el cluster
clickhouse_interserver_https: 9010
# Credenciales usadas para autenticar nodos durante la replicación de datos
clickhouse_interserver_http_credentials:
user: "internal"
password: "supersecretstring"
# Secreto usado para validar nodos en el cluster para consultas distribuidas
clickhouse_distributed_secret: "supersecretstring2"
# Protege con contraseña las rutas de zookeeper usadas por ClickHouse
clickhouse_zookeeper_identity:
user: "zoo_user"
password: "secretzoostring"
# Configuraciones de OpenSSL
clickhouse_ssl_server:
certificate_file: "/etc/clickhouse-server/server.crt"
private_key_file: "/etc/clickhouse-server/server.key"
dh_params_file: "/etc/clickhouse-server/dhparam.pem"
verification_mode: "none"
load_default_ca_file: "true"
cache_sessions: "true"
disable_protocols: "sslv2,sslv3"
prefer_server_ciphers: "true"
clickhouse_clusters:
your_cluster_name:
shard_1:
- host: "db_host_1"
port: 9440
secure: true
- host: "db_host_2"
port: 9440
secure: true
shard_2:
- host: "db_host_3"
port: 9440
secure: true
- host: "db_host_4"
port: 9440
secure: true
clickhouse_zookeeper_nodes:
- host: "zoo_host_1"
port: 2181
- host: "zoo_host_2"
port: 2181
- host: "zoo_host_3"
port: 2181
F: Puedes llamar a etapas separadas (desde el playbook, rol externo, etc.):
| Etiqueta | Acción |
|---|---|
| install | Solo instalación de paquetes |
| config_sys | Solo configuración de configuraciones del sistema (users.xml y config.xml) |
| config_db | Solo agregar y eliminar bases de datos |
| config_sys | Solo regenerar diccionarios |
| config | config_sys + config_db |
Licencia
BSD
Información del Autor
ClickHouse por ClickHouse, Inc..
Rol por AlexeySetevoi.
Queridos contribuyentes, gracias.
Instalar
ansible-galaxy install AlexeySetevoi.clickhouseLicencia
Unknown
Descargas
4.3k
Propietario