Ubuntu Kafka Kurulumu

Erkan ŞİRİN 9 Mart 2019 Teknik 0 1883 556 kelime - 4 dakika65

---

Bu yazıya puan ver

(No Ratings Yet)

Loading...

---

Apache Kafka, büyük miktarlarda gerçek zamanlı veriyi verimli bir şekilde ele almak için tasarlanmış popüler bir dağıtık mesaj sistemidir. Bir Kafka kümesi(cluster), sadece yüksek derecede ölçeklenebilir ve hataya dayanıklı olmakla kalmaz, aynı zamanda ActiveMQ ve RabbitMQ gibi diğer mesaj platformlarına kıyasla çok daha yüksek bir performansa sahiptir. Genel olarak yayınla (publish) / abone ol(subscribe) mesajlaşma sistemi olarak kullanılmasına rağmen, log toplamak için de kullanır, çünkü yayınlanan iletiler için belirli bir süre depolama imkanı sağlar.

Bir yayınla / abone ol mesajlaşma sistemi, bir veya daha fazla üreticinin, tüketici sayısını veya mesajları nasıl işleyeceğini düşünmeden mesaj yayınlamasına izin verir. Abone olan müşterilere güncellemeler ve yeni mesajların yaratılması hakkında otomatik olarak bilgi verilir. Bu sistem, müşterilerin yeni mesajların olup olmadığını belirlemek için periyodik olarak anket yaptıkları sistemlerden daha verimli ve ölçeklenebilirdir.

Bu yazıda, Apache Kafka 2.5.0 ‘ı Ubuntu Desktop’a nasıl kuracağımızı göreceğiz. Kurulum geliştirme ve öğrenme ortamı kurulumu amaçlıdır, canlı ortam için uygun değildir.

Ön gereksinimler:

Bir Ubuntu 18.04 sunucusu, sunucuda en az 4 GB RAM ve Java8 kurulu olmalıdır.

Kafka Kurulumu

Kafka’yı İndirme

wget ile kafka binaries indirelim:

wget https://ftp.itu.edu.tr/Mirror/Apache/kafka/2.5.0/kafka_2.12-2.5.0.tgz

İndirdiğimiz dosyaları tar ile açalım:

tar xzf kafka_2.12-2.5.0.tgz

Soft link verelim ve kafka home dizinine kendi ismiyle ulaşabilelim, küsüratlardan kurtulalım:

ln -s kafka_2.12-2.5.0 kafka

ls -l
lrwxrwxrwx  1 train train       16 Haz 18 16:01 kafka -> kafka_2.12-2.5.0/
drwxr-xr-x  6 train train     4096 Nis  8 04:16 kafka_2.12-2.5.0/
-rw-r--r--  1 train train 61604633 Nis 15 19:27 kafka_2.12-2.5.0.tgz

Kafka Konfigürasyonu

KAFKA_HOME ve bin dizinlerini ortam değişkenlerine ve PATH’e ekleme.

sudo nano /etc/environment 
cat /etc/environment 
PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:$JAVA_HOME/bin:$KAFKA_HOME/bin"
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/
export KAFKA_HOME=/home/train/kafka/

source /etc/environment 
echo $KAFKA_HOME 
/home/train/kafka

Kafka çalışmak için zookeepera ihtiyaç duyar. İndirdiğimiz kafka binaries içinde zookeeper bulunmaktadır. Şimdi zookeeper ile ilgili konfigürasyon yapalım.

mkdir kafka/data
mkdir kafka/data/zookeeper
nano kafka/config/zookeeper.properties
dataDir=$KAFKA_HOME/data/zookeeper

Yukarıda sadece bir klasör oluşturup bunu ayar dosyasında gösteriyoruz o kadar.

Zookeeper’ı geri planda çalışacak şekilde başlatma:

zookeeper-server-start.sh -daemon $KAFKA_HOME/config/zookeeper.properties

Kafka’nın varsayılan ayarları, mesajların yayınlanabileceği bir konuyu, kategoriyi, grubu veya yayın adını silmemize izin vermez. Bunu değiştirmek için, yapılandırma dosyasını (server.properties) düzenleyelim. Bu dosyayı nano veya başka bir editörle açın:

mkdir kafka/data/kafka
nano $KAFKA_HOME/config/server.properties
log.dirs=$KAFKA_HOME/data/kafka

Kafka’yı geri planda çalışacak şekilde başlatma:

kafka-server-start.sh -daemon $KAFKA_HOME/config/server.propertiesTebrikler! Ubuntu üzeri Kafka'nız hayırlı olsun. Soru veya kurulum esnasında aldığınız hatalar olursa mutlaka alt tarafa yorum yazarak belirtiniz.

Esen kalın…