Parallelization Factor for MSK Event Source Mapping

Đang mở
#2 2 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
20/100
Loại issue
Tính năng
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Đình trệ
Công nghệ
aws
Lĩnh vực
cloud

Hướng nghiên cứu

Không có tệp repository, bài kiểm thử hoặc entry point triển khai nào được đề cập. Hãy bắt đầu bằng việc xem lại tài liệu AWS Lambda MSK event-source và cấu trúc repository để xác định liệu việc này có thể được triển khai ở đây hay không; công việc chỉ được xem là hoàn tất khi đã xác nhận phạm vi và thống nhất cách hỗ trợ hoặc lập tài liệu cho việc xử lý song song.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Hi,

Is there a way to set concurrency of the lambda function so that multiple batches can be processed simultaneouly?

From the aws lambda cli docs I see there is a --parallelization-factor which I think is supported for Kinesis streams, but not MSK?

Are there any plans to support this for MSK?

If I understood the MSK event source correctly, it polls a target MSK topic across partitions and invokes a lambda function with the obtained batch synchronously? So in order to poll for another batch, the invoked lambda function must complete execution before a subsequent poll can begin?

Therefore, the throughput that can be handled is a function of:

  • The number of topic partitions (more partitions allows for higher throughput)
  • The batch size of the MSK event source (10,000 is currently the max)
  • The execution time of the lambda function.

For example, if the execution takes 100ms vs. 10secs this makes a difference to the consumer lag in high-throughput topics?

Many thanks,

David

Ngôn ngữ chính
Java
Star
11
Fork
10
Không có pull request nào được merge trong 30 ngày

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của aws-samples/integration-sample-lambda-msk

Tất cả issue của aws-samples/integration-sample-lambda-msk

Issue tương tự

Thêm issue về Java

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.