Internal server error for role orders in LLM inference
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 35/100
Direzione di ricerca
Inizia tracciando la validazione che produce gli errori citati relativi all'ordine dei ruoli e all'ultimo messaggio, quindi riproduci una richiesta con messaggi di continuazione o di osservazione dell'agente. Il lavoro è completo quando le sequenze di ruoli non alternate supportate non restituiscono più HTTP 500 e il comportamento di validazione previsto rimane coperto.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Hi,
I am getting 500s with description
chat messages must alternate roles between 'user' and 'assistant'. Message may have a leading 'system' role message
and
"Internal Server Error\",\"status\":500,\"detail\":\"Last message role should be 'user'
I think this order validation is unnecessary. Most of the models (e.g. mixtrals, llama3, gemma etc) are perfectly fine with any order of roles. This claim can be validated on groq's playground: https://console.groq.com/playground
This issue currently breaks some existing patterns, like continuations (without the user explicitly saying "continue") or in some cases running agents with observations etc.
- Lingua principale
- Jupyter Notebook
- Stelle
- 4.2k
- Fork
- 1.1k
- Merge medio
- 10h 15m
- PR unite (30g)
- 1
Guida per i contributori
Apri la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di NVIDIA/GenerativeAIExamples
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 70/100
NVIDIA/GenerativeAIExamples#361 · 2 commenti ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
NVIDIA/GenerativeAIExamples#299 ·
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 35/100
NVIDIA/GenerativeAIExamples#437 ·
-
hyperlink not working Aperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 45/100
NVIDIA/GenerativeAIExamples#400 ·
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 10/100
NVIDIA/GenerativeAIExamples#399 ·
Tutte le issue di NVIDIA/GenerativeAIExamples
Issue simili
-
ai-observability bug team/ai-observability
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 74/100
dair-ai/Prompt-Engineering-Guide#810 · 1 commento ·
-
[addtool] DeepZero Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
gwen001/offsectools_www#2055 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
UKGovernmentBEIS/inspect_evals#2503 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
google-gemma/gemma-skills#13 ·