InferenceClient: provide generator-based bulk inference

未关闭

#68 创建于 2020年8月5日 0 条评论 0 个 reaction 已指派 0 人在 GitHub 查看

还没有人认领这个 Issue。

评估

难度: 4/5
预计耗时: 3-5 天
新手友好度: 35/100

Issue 类型: 功能
描述清晰度: 基本清楚
活跃度: 停滞
技术栈: python
领域: api

调研方向

Locate InferenceClient and do_bulk_inference, then review the related issue #62 for context. Determine whether the existing API or a separate method should yield individual chunks; done means callers can handle errors without losing progress and do_bulk_inference uses the generator-based behavior.

由索引模型根据 Issue 内容生成。

描述

The current implementation will try to perform inference for all chunks. If an exception occurs, the progress is lost.

By yielding the individual chunks, the caller can be in charge of error handling.

We can either change the existing API or introduce a separate method (and implement do_bulk_inference using the new method).

贡献指南

打开贡献指南

从这里开始

先读完整个 Issue，再读项目的贡献指南。
在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
Fork 仓库，在一个分支上完成修改。
提交 Pull Request，并在描述里引用这个 Issue 编号。

SAP/data-attribute-recommendation-python-sdk 的其他 Issue

Update Dependencies 未关闭

难度 4/5 3-5 天新手友好度 30/100

SAP/data-attribute-recommendation-python-sdk#132 · 2023年1月9日创建
Fix misleading log message 未关闭

难度 2/5 1-3 小时新手友好度 45/100

SAP/data-attribute-recommendation-python-sdk#127 · 2022年5月3日创建
Generate dataset schema from pandas dataframe 未关闭

难度 4/5 3-5 天新手友好度 20/100

SAP/data-attribute-recommendation-python-sdk#126 · 2022年4月26日创建
For 1.0, enable retry by default for inference 未关闭

难度 5/5 一周以上新手友好度 15/100

SAP/data-attribute-recommendation-python-sdk#125 · 2022年4月26日创建
Ensure thread safety 未关闭

难度 5/5 一周以上新手友好度 25/100

SAP/data-attribute-recommendation-python-sdk#123 · 2021年11月26日创建

查看 SAP/data-attribute-recommendation-python-sdk 的全部 Issue

相似的 Issue

`Array.initialize` and `Array.repeat` throw on a negative count 未关闭

难度 2/5 1-3 小时新手友好度 82/100

gren-lang/core#167 · 2026年9月25日创建
fix(pg-meta): schemas.update and schemas.remove DO blocks fail when a name contains "$$" 未关闭

external-issue to-triage

难度 2/5 1-3 小时新手友好度 88/100

supabase/supabase#50882 · 2026年9月24日创建
wkt: `WKTFieldMask.paths` is an immutable `public let paths: [String]` with no default `init(paths: [String] = [])` or `.with(_:)` helper, preventing in-place mutation 未关闭

难度 2/5 1-3 小时新手友好度 78/100

googleapis/google-cloud-swift#1151 · 2026年9月24日创建
SqliteSaver.list(filter=...) silently misses nested metadata values containing non-ASCII text 未关闭

external

难度 2/5 1-3 小时新手友好度 65/100

langchain-ai/langgraph#9074 · 1 条评论 · 2026年9月24日创建
Correct FileCitationBody.index documentation to describe its position in output text 未关闭

documentation specification

难度 1/5 1 小时以内新手友好度 90/100

openai/openai-openapi#584 · 2026年9月24日创建

更多 Backend & API Design Issue