Instalasi clickhouse kafka debezium di ubuntu 26.04

Panduan lengkap langkah demi langkah untuk menginstalasi ClickHouse, Apache Kafka (menggunakan mode KRaft tanpa Zookeeper agar lebih ringkas), dan Debezium secara native di Ubuntu 26.04 tanpa menggunakan Docker.


Prasyarat Sistem

  • Sistem operasi Ubuntu 26.04 (Resolute Raccoon).
  • Hak akses sudo.
  • Java Runtime Environment (JRE) / JDK minimal versi 17 (diperlukan untuk Kafka & Kafka Connect).

Langkah 1: Instalasi Dependensi Umum & Java

Perbarui sistem dan instal dependensi dasar termasuk Java (OpenJDK 21):

sudo apt update && sudo apt upgrade -y
sudo apt install -y curl wget apt-transport-https ca-certificates gnupg lsb-release openjdk-21-jdk

Verifikasi instalasi Java: Jalankan perintah java -version dan pastikan menampilkan OpenJDK 21.


Langkah 2: Instalasi ClickHouse Server & Client

ClickHouse menyediakan repositori APT resmi untuk instalasi native pada sistem berbasis Debian/Ubuntu.

  1. Tambahkan kunci GPG dan repositori resmi ClickHouse:
    curl -fsSL 'https://packages.clickhouse.com/rpm/lts/repodata/repomd.xml.key' | sudo gpg --dearmor -o /usr/share/keyrings/clickhouse-keyring.gpg
    echo "deb [signed-by=/usr/share/keyrings/clickhouse-keyring.gpg arch=$(dpkg --print-architecture)] https://packages.clickhouse.com/deb stable main" | sudo tee /etc/apt/sources.list.d/clickhouse.list
    sudo apt update
  2. Instal paket ClickHouse server dan client:
    sudo apt install -y clickhouse-server clickhouse-client
  3. Jalankan dan aktifkan layanan ClickHouse:
    sudo systemctl enable --now clickhouse-server

    Verifikasi: Cek status layanan dengan sudo systemctl status clickhouse-server hingga berstatus active (running).


Langkah 3: Instalasi Apache Kafka (Mode KRaft Tanpa Zookeeper)

Kafka versi modern mendukung mode KRaft yang menghilangkan ketergantungan pada Zookeeper.

  1. Unduh dan ekstrak Apache Kafka (contoh menggunakan Kafka versi terbaru) bisa dari link ini download disini:
    wget https://downloads.apache.org/kafka/4.4.0/kafka_2.13-4.4.0.tgz
    sudo tar -xzf kafka_2.13-4.4.0.tgz -C /opt/
    sudo mv /opt/kafka_2.13-4.4.0 /opt/kafka
  2. Buat cluster ID KRaft dan format direktori penyimpanan metadata:
    KAFKA_CLUSTER_ID=$(bin/kafka-storage.sh random-uuid)
    cd /opt/kafka
    sudo ./bin/kafka-storage.sh format -t $KAFKA_CLUSTER_ID -c config/kraft/server.properties
  3. Sesuaikan konfigurasi jika diperlukan di file /opt/kafka/config/kraft/server.properties (misalnya port listener default di 9092).
  4. Buat systemd service untuk Kafka agar berjalan otomatis di latar belakang (/etc/systemd/system/kafka.service):
    [Unit]
    Description=Apache Kafka Server (KRaft Mode)
    After=network.target
    
    [Service]
    Type=simple
    User=root
    ExecStart=/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/kraft/server.properties
    ExecStop=/opt/kafka/bin/kafka-server-stop.sh
    Restart=on-failure
    
    [Install]
    WantedBy=multi-user.target
  5. Aktifkan dan jalankan layanan Kafka:
    sudo systemctl daemon-reload
    sudo systemctl enable --now kafka

    Verifikasi: Jalankan sudo systemctl status kafka untuk memastikan layanan aktif tanpa kendala error.


Langkah 4: Instalasi Debezium (via Kafka Connect)

Debezium berjalan di atas Kafka Connect sebagai plugin penangkap perubahan data (Change Data Capture / CDC).

  1. Buat direktori khusus untuk menampung plugin Debezium di dalam direktori Kafka:
    sudo mkdir -p /opt/kafka/plugins/debezium
  2. Unduh arsip plugin Debezium connector (misalnya untuk MySQL sebagai sumber data CDC) bisa dari link ini download disini:
    wget https://repo1.maven.org/maven2/io/debezium/debezium-connector-mysql/3.7.1.Final/debezium-connector-mysql-3.7.1.Final-plugin.tar.gz
    tar -xzf debezium-connector-mysql-3.7.1.Final-plugin.tar.gz
    sudo mv debezium-connector-mysql /opt/kafka/plugins/debezium/
  3. Konfigurasikan jalur plugin (plugin.path) pada berkas properti Kafka Connect (/opt/kafka/config/connect-distributed.properties atau connect-standalone.properties):Buka file konfigurasi:
    sudo nano /opt/kafka/config/connect-distributed.properties

    Pastikan baris plugin.path menunjuk ke direktori plugin:

    plugin.path=/opt/kafka/plugins
  4. Jalankan Kafka Connect (atau buat systemd service tersendiri untuk Kafka Connect):
    /opt/kafka/bin/connect-distributed.sh /opt/kafka/config/connect-distributed.properties

    Verifikasi: Kirimkan HTTP GET request lokal untuk memastikan Kafka Connect merespons:

    curl -X GET http://localhost:8083/connectors

    Jika mengembalikan [], maka Kafka Connect dan Debezium plugin telah siap menerima registrasi konektor CDC.

Leave a comment