Instalasi clickhouse kafka debezium di ubuntu 26.04
Panduan lengkap langkah demi langkah untuk menginstalasi ClickHouse, Apache Kafka (menggunakan mode KRaft tanpa Zookeeper agar lebih ringkas), dan Debezium secara native di Ubuntu 26.04 tanpa menggunakan Docker.
Prasyarat Sistem
- Sistem operasi Ubuntu 26.04 (Resolute Raccoon).
- Hak akses
sudo. - Java Runtime Environment (JRE) / JDK minimal versi 17 (diperlukan untuk Kafka & Kafka Connect).
Langkah 1: Instalasi Dependensi Umum & Java
Perbarui sistem dan instal dependensi dasar termasuk Java (OpenJDK 21):
sudo apt update && sudo apt upgrade -y
sudo apt install -y curl wget apt-transport-https ca-certificates gnupg lsb-release openjdk-21-jdk
Verifikasi instalasi Java: Jalankan perintah java -version dan pastikan menampilkan OpenJDK 21.
Langkah 2: Instalasi ClickHouse Server & Client
ClickHouse menyediakan repositori APT resmi untuk instalasi native pada sistem berbasis Debian/Ubuntu.
- Tambahkan kunci GPG dan repositori resmi ClickHouse:
curl -fsSL 'https://packages.clickhouse.com/rpm/lts/repodata/repomd.xml.key' | sudo gpg --dearmor -o /usr/share/keyrings/clickhouse-keyring.gpg echo "deb [signed-by=/usr/share/keyrings/clickhouse-keyring.gpg arch=$(dpkg --print-architecture)] https://packages.clickhouse.com/deb stable main" | sudo tee /etc/apt/sources.list.d/clickhouse.list sudo apt update - Instal paket ClickHouse server dan client:
sudo apt install -y clickhouse-server clickhouse-client - Jalankan dan aktifkan layanan ClickHouse:
sudo systemctl enable --now clickhouse-serverVerifikasi: Cek status layanan dengan
sudo systemctl status clickhouse-serverhingga berstatusactive (running).
Langkah 3: Instalasi Apache Kafka (Mode KRaft Tanpa Zookeeper)
Kafka versi modern mendukung mode KRaft yang menghilangkan ketergantungan pada Zookeeper.
- Unduh dan ekstrak Apache Kafka (contoh menggunakan Kafka versi terbaru) bisa dari link ini download disini:
wget https://downloads.apache.org/kafka/4.4.0/kafka_2.13-4.4.0.tgz sudo tar -xzf kafka_2.13-4.4.0.tgz -C /opt/ sudo mv /opt/kafka_2.13-4.4.0 /opt/kafka - Buat cluster ID KRaft dan format direktori penyimpanan metadata:
KAFKA_CLUSTER_ID=$(bin/kafka-storage.sh random-uuid) cd /opt/kafka sudo ./bin/kafka-storage.sh format -t $KAFKA_CLUSTER_ID -c config/kraft/server.properties - Sesuaikan konfigurasi jika diperlukan di file
/opt/kafka/config/kraft/server.properties(misalnya port listener default di9092). - Buat systemd service untuk Kafka agar berjalan otomatis di latar belakang (
/etc/systemd/system/kafka.service):[Unit] Description=Apache Kafka Server (KRaft Mode) After=network.target [Service] Type=simple User=root ExecStart=/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/kraft/server.properties ExecStop=/opt/kafka/bin/kafka-server-stop.sh Restart=on-failure [Install] WantedBy=multi-user.target - Aktifkan dan jalankan layanan Kafka:
sudo systemctl daemon-reload sudo systemctl enable --now kafkaVerifikasi: Jalankan
sudo systemctl status kafkauntuk memastikan layanan aktif tanpa kendala error.
Langkah 4: Instalasi Debezium (via Kafka Connect)
Debezium berjalan di atas Kafka Connect sebagai plugin penangkap perubahan data (Change Data Capture / CDC).
- Buat direktori khusus untuk menampung plugin Debezium di dalam direktori Kafka:
sudo mkdir -p /opt/kafka/plugins/debezium - Unduh arsip plugin Debezium connector (misalnya untuk MySQL sebagai sumber data CDC) bisa dari link ini download disini:
wget https://repo1.maven.org/maven2/io/debezium/debezium-connector-mysql/3.7.1.Final/debezium-connector-mysql-3.7.1.Final-plugin.tar.gz tar -xzf debezium-connector-mysql-3.7.1.Final-plugin.tar.gz sudo mv debezium-connector-mysql /opt/kafka/plugins/debezium/ - Konfigurasikan jalur plugin (
plugin.path) pada berkas properti Kafka Connect (/opt/kafka/config/connect-distributed.propertiesatauconnect-standalone.properties):Buka file konfigurasi:sudo nano /opt/kafka/config/connect-distributed.propertiesPastikan baris
plugin.pathmenunjuk ke direktori plugin:plugin.path=/opt/kafka/plugins - Jalankan Kafka Connect (atau buat systemd service tersendiri untuk Kafka Connect):
/opt/kafka/bin/connect-distributed.sh /opt/kafka/config/connect-distributed.propertiesVerifikasi: Kirimkan HTTP GET request lokal untuk memastikan Kafka Connect merespons:
curl -X GET http://localhost:8083/connectorsJika mengembalikan
[], maka Kafka Connect dan Debezium plugin telah siap menerima registrasi konektor CDC.