Kafka gateway: configurable limits that differ from Kafka
维护者通常 1 天内回复
还没有人认领这个 Issue。
评估
调研方向
The issue names no files. Start by finding where max_frame_size, the group caps and the CreateTopics limits are defined in the Kafka gateway code, and check how the kafka.cg.<group> offset group name is built. Done means each group cap and CreateTopics cap can be set by an environment variable, and each limit is documented next to its Kafka value. Settle the variable names with a maintainer before writing code.
由索引模型根据 Issue 内容生成。
描述
Summary
Some gateway limits are lower than Kafka's, so the gateway refuses requests that Kafka accepts:
max_frame_sizeis 8 MiB. Kafka accepts requests up tosocket.request.max.bytes, which is 100 MiB.- The group caps have no environment variables: 1000 groups, 1000 members per group and 10,000 in total, 64 KiB per member blob, and 4 MiB per group. A large Kafka Streams assignment can pass 64 KiB.
- CreateTopics takes at most 1000 partitions per topic and 100 topics per request.
- A group id is at most 246 bytes, because its Iggy offset group
kafka.cg.<group>must fit in 255 bytes. Kafka accepts longer ids. - Fetch polls at most 1000 messages per partition at a time, returns uncompressed batches, and has no fetch sessions. That costs bandwidth and CPU, not correctness.
Scope
- Environment variables for the group caps and the CreateTopics caps
- Document each limit next to the Kafka value
- 主要语言
- Rust
- 星标
- 5.2k
- 派生
- 502
- 平均合并
- 3 天 5 小时
- 30 天内合并 PR
- 152
环境准备
在浏览器里用你自己的 GitHub 账号启动这个项目的开发容器。
- 提供 Dockerfile 或 Docker Compose 文件
- 有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
apache/iggy 的其他 Issue
-
Go examples: add a message envelope producer and consumer可能已有人在做 @ThunderGod77 于 1 天前认领。 未关闭go good first issue
难度 2/5 1-3 小时 新手友好度 82/100
apache/iggy#4694 · 3 条评论 · 已指派 1 人 ·
维护者通常 1 天内回复
-
HTTP client treats a consumer group as a plain consumer可能已有人在做 @mohitduhan19 于 19 天前认领。 未关闭bug rust server
难度 2/5 1-3 小时 新手友好度 75/100
维护者通常 1 天内回复
-
Add the fail-fast connection option to the Rust and Python quick-starts可能已有人在做 @QIW9 于 7 天前认领。 未关闭docs good first issue
难度 1/5 1-3 小时 新手友好度 92/100
维护者通常 1 天内回复
-
bug python sdk
难度 2/5 1-3 小时 新手友好度 68/100
维护者通常 1 天内回复
-
bug(connectors): one invalid row fails the whole iceberg sink batch可能已有人在做 @numinnex 今天认领。 未关闭bug connectors
维护者通常 1 天内回复
相似的 Issue
-
难度 2/5 1-3 小时 新手友好度 78/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 72/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 66/100
riverqueue/river#1576 ·
维护者通常 1 天内回复
-
bug
难度 2/5 1-3 小时 新手友好度 88/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 74/100
stadelmanma/fitparse-rs#64 ·