kafka là gì

Apache Kafka® là 1 trong những nền tảng stream tài liệu phân nghiền.

Ngoài lề một chút ít, bản thân phân tích và lý giải qua loa về một số trong những keyword:

• stream data: dòng sản phẩm tài liệu, hãy tưởng tượng tài liệu là nước trong một con cái suối.
• Data Pipeline: dùng để làm thiết lập kênh liên hệ thân thiết 2 khối hệ thống hoặc cty.

Một stream platform sẽ sở hữu được 3 kĩ năng chính:

• Publish và subscribe nhập những stream của những phiên bản ghi, tương tự động như 1 mặt hàng đợi lời nhắn.
• Các stream của những phiên bản ghi được tàng trữ vì thế cách thức Chịu đựng lỗi cao hao hao kĩ năng Chịu đựng vận tải.
• Xử lý những stream của những phiên bản ghi mỗi lúc với phiên bản ghi mới mẻ.

Kafka thông thường được dùng mang lại 2 mục tiêu chủ yếu sau:

• Xây dựng những pipeline stream tài liệu theo dõi thời hạn thực nhằm nhận tài liệu trong những khối hệ thống hoặc phần mềm một cơ hội uy tín.
• Xây dựng những phần mềm stream theo dõi thời hạn thực nhằm biến hóa hoặc ánh xạ cho tới những stream của tài liệu.

Để bao quát được những tác dụng của kafka, chúng ta có thể coi hình họa bên dưới.

Tại sao Apache Kafka được sử dụng?

Kafka là dự án công trình mã mối cung cấp cởi, và được gói gọn hoàn hảo, kĩ năng Chịu đựng lỗi cao và là khối hệ thống nhắn tin cẩn nhanh chóng. Vì tính uy tín của chính nó, kafka đang được dần dần được thay cho thế mang lại khối hệ thống nhắn tin cẩn truyền thống lâu đời. Nó được dùng cho những khối hệ thống nhắn tin cẩn thường thì trong những văn cảnh không giống nhau. Đây là hệ trái ngược khi kĩ năng không ngừng mở rộng ngang và đem kí thác tài liệu uy tín là những đòi hỏi cần thiết nhất. Một vài ba use case mang lại kafka:

• Website Activity Monitoring: theo dõi dõi hoạt động và sinh hoạt của website
• Stream Processing: xử lý stream
• Log Aggregation: tổ hợp log
• Metrics Collection: tích lũy dữ liệu

Để rõ ràng rộng lớn về quyền lợi của kafka, hãy tưởng tượng một khối hệ thống thương nghiệp năng lượng điện tử có không ít sever triển khai những việc làm không giống nhau, toàn bộ những sever này đều ham muốn tiếp xúc với database server, chính vì thế tất cả chúng ta sẽ sở hữu được nhiều data pipeline liên kết những server không giống cho tới database server này, hình hình họa minh họa như sau:

Nhưng nhập thực tiễn, khối hệ thống thương nghiệp năng lượng điện tử sẽ vẫn nên liên kết cho tới một vài ba server không giống nữa như là

Như chúng ta thấy ở hình họa bên trên, data pipeline đang được trở thành phức tạp theo dõi sự ngày càng tăng của con số khối hệ thống. Để xử lý yếu tố này thì kafka Thành lập và hoạt động. Kafka tách tách những data pipeline trong những khối hệ thống nhằm thực hiện mang lại việc communicate trong những khối hệ thống trở thành giản dị và đơn giản rộng lớn và dễ dàng quản lý và vận hành rộng lớn.

Xem thêm: soft boy là gì

Cấu trúc của Apache Kafka

Một quy mô cấu tạo kafka đơn giản

Một quy mô cấu tạo kafka chi tiết

Như chúng ta thấy ở hai hình họa bên trên, cấu tạo của kafka bao hàm những bộ phận chủ yếu sau:

• Producer: Một producer hoàn toàn có thể là bất kì phần mềm này với tác dụng publish message vào trong 1 topic.

• Messages: Messages giản đơn là byte array và developer hoàn toàn có thể dùng bọn chúng nhằm lưu bất kì object với bất kì format này - thường thì là String, JSON và Avro

• Topic: Một topic là 1 trong những category hoặc feed name điểm nhưng mà record được publish.

• Partitions: Các topic được phân chia nhỏ nhập những đoạn không giống nhau, những đoạn này được gọi là partition

• Consumer: Một consumer hoàn toàn có thể là bất kì phần mềm này với tác dụng subscribe vào trong 1 topic và dung nạp những lời nhắn.

• Broker: Kafka cluster là 1 trong những phối những server, từng một phối này được gọi là một trong broker

• Zookeeper: được sử dụng nhằm quản lý và vận hành và sắp xếp những broker.

Kết

Bài viết lách này chỉ ra mắt về kafka chứ không cần bới sâu sắc nhập cơ hội hoạt động và sinh hoạt hoặc cơ hội implement kafka. Để dùng kafka, độc giả hoàn toàn có thể vận tải kafka ở trên đây và tuân theo chỉ dẫn.