Kafka UI Tools

LambdaArchitecture_Trivadis2014

(EDITED: Đã sửa lại tiêu đề là “UI Tools” thay vì “Monitoring Tools”. Mấy hôm thiếu ngủ nên hơi mơ màng, ko chú trọng về từ ngữ, dù chỉ khác biệt 1 chút có thể gây hiểu lầm – nhất là khi có suy diễn theo 1 hướng khác)

Kafka ở đây là Apache Kafka, một phần mềm xử lý luồng (stream-processing), không phải nhà văn Franz Kafka – dù phần mềm này được đặt tên theo ông ta – cũng không phải nhân vật tiểu thuyết “Kafka bên bờ biển” của 1 nhà văn nổi tiếng người Nhật.

Kafka có ưu điểm khả năng xử lý thông điệp rất nhanh, có thể mở rộng tỷ lệ theo chiều ngang – scale horizontally – như LinkedIn tuyên bố cluster Kafka có thể xử lý lên tới 800 tỷ messages mỗi ngày (2015), và thậm chí có ngày đạt tới 1 Trillion messages , với khoảng 1400 brokers). Gần đây, 2018, thì Paypal cũng có claim là cluster Kafka của họ xử lý tới 400 tỷ messages mỗi ngày. LINE cũng claim 100+ billions messages per day với cluster Kafka của họ. Microsoft cũng vậy (nhưng là họ mua được LinkedIn).

Gần đây có Apache Pulsar được 1 benchmark cho là có performance tốt hơn Kafka vài chục phần trăm, nhưng tôi chưa tin lắm vì chưa có bài article/PDF cụ thể về benchmark đó. Chẳng hạn testbed như thế nào, chạy bao nhiêu lần, tính trung bình hay là top (max), rồi nếu có hình ảnh thì có bị chỉnh sửa không, etc. Nghi ngờ là quyền của cá nhân – kết tội mới cần bằng chứng, rite?

Top 5 GUI/Visual tools for Apache Kafka – simple enough to see the topics/partitions and messages:

(ranked by ducquoc.wordpress.com)

Kafka-Topics-UI

Kafka-Monitor

Kafka-Manager

Confluent Control Center

KafDrop

Runner-up

KafkaTool

Honorable mentions

https://github.com/claudemamo/kafka-web-console

https://hub.docker.com/r/nodefluent/kafka-rest-ui/