should control the maximum memory usage
維護者通常 2 天內回覆
還沒有人認領這個 Issue。
評估
- 難度
- 5/5
- 預估耗時
- 一週以上
- 新手友好度
- 35/100
- Issue 類型
- 功能
- 描述清晰度
- 基本清楚
- 活躍度
- 停滯
- 技術堆疊
- java
研究方向
從 ArrowVectorIterator::consume 和現有的 targetBatchSize 處理開始。確定 maxBufferSize 限制應如何與 record-batch 建構互動，然後為大型可變長度值定義測試；當迭代遵守記憶體限制且不需要過大的 batch 時，即表示完成。
由索引模型根據 Issue 內容生成。
描述
Describe the enhancement requested
ArrowVectorIterator::consume only concern about the ArrowVectorIterator#targetBatchSize but not the memory used.
Let's suppose a scenario:
- A database table with a longtext field;
- All of the rows in the table are larger than 500M;
ArrowVectorIterator#targetBatchSizeis 256;
We need at least for 125G memory to get one record batch.
So I think it's better add a parameter such as maxBufferSize to control the memory usage.
- 主要語言
- Java
- 星號
- 97
- 分支
- 158
- 平均合併
- 7 天 5 小時
- 30 天內合併 PR
- 9
環境準備
- 提供 Dockerfile 或 Docker Compose 檔案
- 有 Pull Request 範本
- 閱讀貢獻指南
從這裡開始
- 先讀完整個 Issue，再讀專案的貢獻指南。
- 在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
- Fork 儲存庫，在一個分支上完成修改。
- 送出 Pull Request，並在描述裡引用這個 Issue 編號。
apache/arrow-java 的其他 Issue
-
難度 1/5 1 小時以內 新手友好度 88/100
apache/arrow-java#1311 ·
維護者通常 2 天內回覆
-
難度 2/5 1-3 小時 新手友好度 74/100
apache/arrow-java#1261 ·
維護者通常 2 天內回覆
-
難度 2/5 1-3 小時 新手友好度 78/100
apache/arrow-java#1236 ·
維護者通常 2 天內回覆
-
難度 2/5 1-3 小時 新手友好度 78/100
apache/arrow-java#1230 ·
維護者通常 2 天內回覆
-
Type: bug
難度 2/5 1-3 小時 新手友好度 85/100
apache/arrow-java#1205 ·
維護者通常 2 天內回覆
查看 apache/arrow-java 的全部 Issue
相似的 Issue
-
難度 2/5 1-3 小時 新手友好度 90/100
維護者通常 1 天內回覆
-
難度 2/5 1-3 小時 新手友好度 65/100
aoqia194/leaf-loader#19 ·
-
難度 2/5 1-3 小時 新手友好度 84/100
apache/streampark#4521 ·
-
0 - Backlog 1 - Ready documentation good first issue help wanted
難度 2/5 1-3 小時 新手友好度 78/100
-
cbor
難度 2/5 1-3 小時 新手友好度 84/100
FasterXML/jackson-dataformats-binary#844 ·
維護者通常 1 天內回覆