Internal server error for role orders in LLM inference
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Anfängerfreundlichkeit
- 35/100
Rechercherichtung
Beginnen Sie damit, die Validierung nachzuverfolgen, die die zitierten Fehler zur Rollenreihenfolge und zur letzten Nachricht erzeugt, und reproduzieren Sie anschließend eine Anfrage mit Fortsetzungs- oder Agentenbeobachtungsnachrichten. Die Aufgabe ist erledigt, wenn unterstützte nicht alternierende Rollenfolgen nicht mehr HTTP 500 zurückgeben und das beabsichtigte Validierungsverhalten weiterhin abgedeckt ist.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
Hi,
I am getting 500s with description
chat messages must alternate roles between 'user' and 'assistant'. Message may have a leading 'system' role message
and
"Internal Server Error\",\"status\":500,\"detail\":\"Last message role should be 'user'
I think this order validation is unnecessary. Most of the models (e.g. mixtrals, llama3, gemma etc) are perfectly fine with any order of roles. This claim can be validated on groq's playground: https://console.groq.com/playground
This issue currently breaks some existing patterns, like continuations (without the user explicitly saying "continue") or in some cases running agents with observations etc.
- Vorherrschende Sprache
- Jupyter Notebook
- Sterne
- 4.2k
- Forks
- 1.1k
- Ø Merge
- 10 Std. 15 Min.
- Gemergte PRs (30 T.)
- 1
Entwicklungsumgebung
- Kein Dockerfile und keine Docker-Compose-Datei
- Keine Pull-Request-Vorlage
- Beitragsleitfaden lesen
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus NVIDIA/GenerativeAIExamples
-
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 70/100
NVIDIA/GenerativeAIExamples#361 · 2 Kommentare ·
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
NVIDIA/GenerativeAIExamples#299 ·
-
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 35/100
NVIDIA/GenerativeAIExamples#437 ·
-
hyperlink not workingOffen
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 45/100
NVIDIA/GenerativeAIExamples#400 ·
-
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 10/100
NVIDIA/GenerativeAIExamples#399 ·
Alle Issues in NVIDIA/GenerativeAIExamples
Ähnliche Issues
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
JuliusBrussee/caveman#1174 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 90/100
WingedGuardian/GENesis-AGI#2813 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 88/100
Maintainer antworten meist innerhalb von 2 Tagen
-
area/local-models area/streaming comp/agent P2 type/bug
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 88/100
NousResearch/hermes-agent#131815 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 82/100
obra/superpowers#2446 ·
Maintainer antworten meist innerhalb von 5 Tagen