AlexeySetevoi.clickhouse
ansible-clickhouse
Einfache Rolle für das Bereitstellen und Verwalten von Clickhouse-Servern. Bei Fragen und Vorschlägen sind die Nutzer herzlich eingeladen.
Rollenvariablen
F: Sie können eine bestimmte Version angeben (oder * für die neueste). Bitte beachten Sie, dass ein Downgrade nicht unterstützt wird.
clickhouse_version: "19.11.3.11"
F: Sie können die Listenports verwalten.
clickhouse_http_port: 8123
clickhouse_tcp_port: 9000
clickhouse_interserver_http: 9009
F: Sie können zusätzliche IP-Adressen hinzufügen:
clickhouse_listen_host_custom:
- "192.168.0.1"
F: Sie können die TTL für das Protokoll der Abfragen verwalten:
clickhouse_query_log_ttl: 'event_date + INTERVAL 7 DAY DELETE'
F: Sie können die TTL für die Threads der Abfragen verwalten:
clickhouse_query_thread_log_ttl: 'event_date + INTERVAL 7 DAY DELETE'
F: Oder Sie können IPs direkt angeben, z.B. um auf alle ipv4- und ipv6-Adressen zu hören:
clickhouse_listen_host:
- "::"
F: Sie können benutzerdefinierte Profile erstellen:
clickhouse_profiles_custom:
my_custom_profile:
max_memory_usage: 10000000000
use_uncompressed_cache: 0
load_balancing: random
my_super_param: 9000
Erlaubt beliebige einfache Schlüssel-Wert-Paare. Umwandlung in XML:
<profiles>
<!-- Profileinstellungen. -->
<!-- Standardprofile. -->
<default>
<max_memory_usage>10000000000</max_memory_usage>
<load_balancing>random</load_balancing>
<use_uncompressed_cache>0</use_uncompressed_cache>
</default>
<readonly>
<readonly>1</readonly>
</readonly>
<!-- Ende der Standardprofile. -->
<!-- Benutzerdefinierte Profile. -->
<my_custom_profile>
<max_memory_usage>10000000000</max_memory_usage>
<load_balancing>random</load_balancing>
<use_uncompressed_cache>0</use_uncompressed_cache>
<my_super_param>9000</my_super_param>
</my_custom_profile>
<!-- Ende benutzerdefinierter Profile. -->
</profiles>
F: Sie können benutzerdefinierte Benutzer erstellen:
clickhouse_users_custom:
- { name: "testuser",
password_sha256_hex: "f2ca1bb6c7e907d06dafe4687e579fce76b37e4e93b7605022da52e6ccc26fd2",
networks: "{{ clickhouse_networks_default }}",
profile: "default",
quota: "default",
dbs: [ testu1 ] ,
comment: "klassischer Benutzer mit einfachem Passwort"}
- { name: "testuser2",
password: "testplpassword",
networks: "{{ clickhouse_networks_default }}",
profile: "default",
quota: "default",
dbs: [ testu2 ] ,
comment: "klassischer Benutzer mit hex-passwort"}
- { name: "testuser3",
password: "testplpassword",
networks: { 192.168.0.0/24, 10.0.0.0/8 },
profile: "default",
quota: "default",
dbs: [ testu1,testu2,testu3 ] ,
comment: "klassischer Benutzer mit mehreren Datenbanken und mehreren benutzerdefinierten Netzwerk-Zulassungen"}
- { name: "testuser4",
ldap_server: "example_ldap_server",
networks: { 192.168.0.0/24, 10.0.0.0/8 },
profile: "default",
quota: "default",
dbs: [ testu1,testu2,testu3 ] ,
comment: "externe Authentifizierung mit ldap_server Definition"}
F: Sie können eigene Quoten verwalten:
clickhouse_quotas_custom:
- { name: "my_custom_quota", intervals: "{{ clickhouse_quotas_intervals_default }}", comment: "Standardquote - nur zählen" }
Quota-Objekt ist ein einfaches Dictionary:
- { duration: 3600, queries: 0, errors: 0, result_rows: 0, read_rows: 0, execution_time: 0 }
F: Sie können beliebige Datenbanken erstellen: Standardeinstellung für die Datenbanken - vorhanden.
clickhouse_dbs_custom:
- { name: testu1 }
- { name: testu2 }
- { name: testu3 }
- { name: testu4, state: absent }
- { name: testu5, state: present }
- { name: testu6, state: absent, cluster: testu6 }
- { name: testu7, state: present, cluster: testu7 }
- { name: testu8, state: absent, cluster: testu8, engine: Lazy(3600) }
- { name: testu9, state: present, cluster: testu9, engine: Lazy(3600) }
F: Sie können ein Wörterbuch über ODBC erstellen:
clickhouse_dicts:
test1:
name: test_dict
odbc_source:
connection_string: "DSN=testdb"
source_table: "dict_source"
lifetime:
min: 300
max: 360
layout: hashed
structure:
key: "testIntKey"
attributes:
- { name: testAttrName, type: UInt32, null_value: 0 }
test2:
name: test_dict
odbc_source:
connection_string: "DSN=testdb"
source_table: "dict_source"
lifetime:
min: 300
max: 360
layout: complex_key_hashed
structure:
key:
attributes:
- { name: testAttrComplexName, type: String }
attributes:
- { name: testAttrName, type: String, null_value: "" }
F: Flag zum Entfernen von Clickhouse vom Host (standardmäßig deaktiviert).
clickhouse_remove: no
F: Sie können die Kafka-Konfiguration verwalten.
# Globale Konfiguration
clickhouse_kafka_config:
auto_offset_reset: smallest
debug: cgrp
# Themen-spezifische Konfiguration
clickhouse_kafka_topics_config:
topic1:
retry_backoff_ms: 250
fetch_min_bytes: 100000
topic2:
retry_backoff_ms: 300
fetch_min_bytes: 120000
F: Sie können die LDAP-Server-Konfiguration verwalten.
clickhouse_ldap_servers:
# Debug mit ldapwhoami -H '<host>' -D '<bind_dn>' -w <password>
example_ldap_server:
host: "ldaps.example.com"
port: "636"
bind_dn: "EXAMPLENET\\{user_name}"
verification_cooldown: "300"
enable_tls: "ja"
tls_require_cert: "erforderlich"
F: Sie können das LDAP-Externes Benutzerverzeichnis verwalten.
# Hilfreicher Leitfaden unter https://altinity.com/blog/integrating-clickhouse-with-ldap-part-two
clickhouse_ldap_user_directories:
- server: "example_ldap_server"
roles:
- "ldap_user"
role_mapping:
base_dn: "ou=groups,dc=example,dc=com"
attribute: "CN"
scope: "subtree"
search_filter: "(&(objectClass=group)(member={user_dn}))"
prefix: "clickhouse_"
F: Sie können die Merge Tree-Konfiguration verwalten. Für die Liste der verfügbaren Parameter siehe MergeTree-Tabelleneinstellungen.
clickhouse_merge_tree_config:
max_suspicious_broken_parts: 5
parts_to_throw_insert: 600
Beispiel Spielbuch
Es ist immer hilfreich, ein Beispiel anzufügen, wie man Ihre Rolle verwendet (zum Beispiel mit variablen Parametern):
- hosts: clickhouse_cluster
remote_user: root
vars:
clickhouse_users_custom:
- { name: "testuser",
password_sha256_hex: "f2ca1bb6c7e907d06dafe4687e579fce76b37e4e93b7605022da52e6ccc26fd2",
networks: "{{ clickhouse_networks_default }}",
profile: "default",
quota: "default",
dbs: [ testu1 ] ,
comment: "klassischer Benutzer mit einfachem Passwort"}
- { name: "testuser2",
password: "testplpassword",
networks: "{{ clickhouse_networks_default }}",
profile: "default",
quota: "default",
dbs: [ testu2 ] ,
comment: "klassischer Benutzer mit hex-passwort"}
- { name: "testuser3",
password: "testplpassword",
networks: { 192.168.0.0/24, 10.0.0.0/8 },
profile: "default",
quota: "default",
dbs: [ testu1,testu2,testu3 ] ,
comment: "klassischer Benutzer mit mehreren Datenbanken und mehreren benutzerdefinierten Netzwerk-Zulassungen"}
clickhouse_query_log_ttl: 'event_date + INTERVAL 7 DELETE'
clickhouse_query_thread_log_ttl: 'event_date + INTERVAL 7 DELETE'
clickhouse_dicts:
test1:
name: test_dict
odbc_source:
connection_string: "DSN=testdb"
source_table: "dict_source"
lifetime:
min: 300
max: 360
layout: hashed
structure:
key: "testIntKey"
attributes:
- { name: testAttrName, type: UInt32, null_value: 0 }
test2:
name: test_dict
odbc_source:
connection_string: "DSN=testdb"
source_table: "dict_source"
lifetime:
min: 300
max: 360
layout: complex_key_hashed
structure:
key:
attributes:
- { name: testAttrComplexName, type: String }
attributes:
- { name: testAttrName, type: String, null_value: "" }
clickhouse_dbs_custom:
- { name: testu1 }
- { name: testu2, state: present }
- { name: testu3, state: absent }
clickhouse_clusters:
your_cluster_name:
shard_1:
- { host: "db_host_1", port: 9000 }
- { host: "db_host_2", port: 9000 }
shard_2:
- { host: "db_host_3", port: 9000 }
- { host: "db_host_4", port: 9000 }
clickhouse_zookeeper_nodes:
- { host: "zoo_host_1", port: 2181 }
- { host: "zoo_host_2", port: 2181 }
- { host: "zoo_host_3", port: 2181 }
roles:
- ansible-clickhouse
Um Makros zu generieren: In der Datei host_vars\db_host_1.yml:
clickhouse_macros:
layer: 01
shard: "your_shard_name"
replica: "db_host_1"
Sicherheit: Härten Sie den Cluster. Sie können den Cluster mit zusätzlichen Einstellungen konfigurieren, die Folgendes ermöglichen:
- HTTPS-Port
- TLS-verschlüsselter TCP-Port
- HTTPS für die Datenreplikation
- Anmeldeinformationen für die Datenreplikation
- Geheimvalidierung für verteilte Abfragen
- ZooKeeper ACL
- hosts: clickhouse_cluster
become: true
roles:
- ansible-clickhouse
vars:
# HTTPS anstelle von normalem HTTP
clickhouse_https_port: 8443
# TLS-Verschlüsselung für das native TCP-Protokoll (benötigt `clickhouse-client --secure`)
clickhouse_tcp_secure_port: 9440
# TLS-Verschlüsselung zwischen Knoten im Cluster
clickhouse_interserver_https: 9010
# Anmeldeinformationen zur Authentifizierung von Knoten während der Datenreplikation
clickhouse_interserver_http_credentials:
user: "internal"
password: "supersecretstring"
# Geheimnis zur Validierung von Knoten im Cluster für verteilte Abfragen
clickhouse_distributed_secret: "supersecretstring2"
# Passwortschutz für ZooKeeper-Pfade, die von ClickHouse verwendet werden
clickhouse_zookeeper_identity:
user: "zoo_user"
password: "secretzoostring"
# OpenSSL-Einstellungen
clickhouse_ssl_server:
certificate_file: "/etc/clickhouse-server/server.crt"
private_key_file: "/etc/clickhouse-server/server.key"
dh_params_file: "/etc/clickhouse-server/dhparam.pem"
verification_mode: "none"
load_default_ca_file: "true"
cache_sessions: "true"
disable_protocols: "sslv2,sslv3"
prefer_server_ciphers: "true"
clickhouse_clusters:
your_cluster_name:
shard_1:
- host: "db_host_1"
port: 9440
secure: true
- host: "db_host_2"
port: 9440
secure: true
shard_2:
- host: "db_host_3"
port: 9440
secure: true
- host: "db_host_4"
port: 9440
secure: true
clickhouse_zookeeper_nodes:
- host: "zoo_host_1"
port: 2181
- host: "zoo_host_2"
port: 2181
- host: "zoo_host_3"
port: 2181
F: Sie können verschiedene Stufen separat aufrufen (aus dem Playbook, externen Rollen usw.):
| Tag | Aktion |
|---|---|
| install | Nur Installation von Paketen |
| config_sys | Nur Systemkonfiguration (users.xml und config.xml) |
| config_db | Nur Datenbanken hinzufügen & entfernen |
| config_sys | Nur Wörterbücher regenerieren |
| config | config_sys + config_db |
Lizenz
BSD
Autoreninformationen
ClickHouse von ClickHouse, Inc..
Rolle von AlexeySetevoi.
Lieber Mitwirkende, vielen Dank.
Installieren
ansible-galaxy install AlexeySetevoi.clickhouseLizenz
Unknown
Downloads
4.3k
Besitzer