New Container: vLLM
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Anfängerfreundlichkeit
- 35/100
- Issue-Typ
- Feature
- Klarheit
- Muss geklärt werden
- Aktivitätsstatus
- Veraltet
- Tech-Stack
- docker, python
- Bereich
- devtools, testing-qa
Rechercherichtung
Überprüfe das bestehende Ollama-Objekt und die aktuelle Organisation von Container-Objekten im Repository als Ausgangspunkte. Die Aufgabe gilt als erledigt, wenn ein konfigurierbares, programmgesteuertes vLLM-Objekt bereitgestellt wird, das sich zum Testen eignet, und die in der Issue beschriebenen Probleme hinsichtlich Abdeckung und Performance behoben werden.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
What is the new container you'd like to have?
A vLLM object container would serve testing and usage better.
Why not just use a generic container for this?
The Ollama object is not maintained against Ollama, which causes several issues:
- Performance: Ollama performs poorly with batch sizes of 50+ requests.
- Functionality: The new "search functionality" in Ollama requires
ollama keys, which are not supported in the current object. - Coverage & Quality: Ollama’s coverage and performance are lower compared to vLLM.
Why vLLM?
The vLLM object allows development and testing in a highly configurable, programmatic way, improving the overall testing experience.
Other references
- Vorherrschende Sprache
- Python
- Sterne
- 2.3k
- Forks
- 386
- Ø Merge
- 4 Std. 40 Min.
- Gemergte PRs (30 T.)
- 1
Beitragsleitfaden
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus testcontainers/testcontainers-python
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 88/100
testcontainers/testcontainers-python#1115 · 1 Reaktion ·
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 67/100
testcontainers/testcontainers-python#1086 · 1 Kommentar ·
-
Bug: [minio] _healthcheck calls for nested wait_container_is_ready resulting in long wait time Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 68/100
testcontainers/testcontainers-python#578 · 5 Kommentare ·
-
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 65/100
Alle Issues in testcontainers/testcontainers-python
Ähnliche Issues
-
bug priority:low
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 76/100
CyberAgent/psd2svg#436 ·
-
area/install-update comp/cli comp/desktop P3 sweeper:risk-compatibility type/bug
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 86/100
NousResearch/hermes-agent#122386 · 1 Kommentar ·
-
ai-generated
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
vllm-project/production-stack#1105 ·
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 88/100