InferenceClient: provide generator-based bulk inference
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Anfängerfreundlichkeit
- 35/100
Rechercherichtung
Locate InferenceClient and do_bulk_inference, then review the related issue #62 for context. Determine whether the existing API or a separate method should yield individual chunks; done means callers can handle errors without losing progress and do_bulk_inference uses the generator-based behavior.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
The current implementation will try to perform inference for all chunks. If an exception occurs, the progress is lost.
By yielding the individual chunks, the caller can be in charge of error handling.
We can either change the existing API or introduce a separate method (and implement do_bulk_inference using the new method).
See also #62
- Vorherrschende Sprache
- Jupyter Notebook
- Sterne
- 21
- Forks
- 6
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Entwicklungsumgebung
- Kein Dockerfile und keine Docker-Compose-Datei
- Hat eine Pull-Request-Vorlage
- Beitragsleitfaden lesen
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus SAP/data-attribute-recommendation-python-sdk
-
Update DependenciesOffen
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 30/100
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 45/100
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 20/100
-
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 15/100
-
Ensure thread safetyOffen
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 25/100
Alle Issues in SAP/data-attribute-recommendation-python-sdk
Ähnliche Issues
-
effort:low model:light plan planner:fable-5-1 test-quality tests
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 77/100
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
Maintainer antworten meist innerhalb von 1 Tag
-
agent duplicate providers tool triaged
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 74/100
Maintainer antworten meist innerhalb von 1 Tag
-
[Bug] POST /revoke with a FastMCP access token is a silent no-op (ownership gate never matches)Offenauth bug high-priority
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
Maintainer antworten meist innerhalb von 1 Tag
-
bug
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 66/100
KaiqueCarvalho01/LinkAuto-APP#86 ·
Maintainer antworten meist innerhalb von 1 Tag