Sample Producer and Consumer Apache Kafka in Python

Pada posting berjudul "Sample Producer and Consumer Apache Kafka in Python" ini penulis berikan sample untuk membuat producer dan consumer di python menggunakan librari kafka-python=2.0.2

Kita bisa melakukan instalasi librari tersebut menggunakan perintah pip install kafka-python

Sebelum kita melakukan pembuatan producer dan consumer menggunakan python, pastikan kita telah menginstall dan mengkonfigurasi Apache Kafka di komputer kita kemudian jalankan zookeeper dan kafka terlebih dahulu.

Dibawah ini adalah sample producer menggunakan python :

from time import sleep
from kafka import KafkaProducer

producer = KafkaProducer(bootstrap_servers=['localhost:9092'], api_version=(2, 0, 2))

datas = [1000000,2000000,3000000,4000000,5000000]

for i in range(1000):   

    for e in datas:   

        data = {'number' : e}

        print(i, e, data, type(bytes(str(e), 'utf-8')))

       

        producer.send('TestTopic', bytes(str(e), 'utf-8'))   

        sleep(1)

Dibawah ini adalah sample file py_consumer.py menggunakan python :

from kafka import KafkaConsumer

consumer = KafkaConsumer('TestTopic', bootstrap_servers=['localhost:9092'], auto_offset_reset='earliest')

print(consumer)

try:
    for message in consumer:
        print(message)
except Exception as ex:
    print(ex)

 Tampilan kafka producer mernggunakan python :

 

Tampilan kafka consumer menggunakan python : 

 

 

Yang perlu dicatat adalah setelah producer dijalankan kemudian consumer dijalankan tidak langsung menampilkan data yang dikirim oleh producer tetapi memerlukan beberapa menit sebelum pesan yang dikirim muncul di consumer.

Semoga posting tentang "Sample Producer and Consumer Apache Kafka in Python" ini dapat bermanfaat.

 

Salam,