Internal server error for role orders in LLM inference

オープン

#113 2024年4月30日に作成コメント 0 件リアクション 0 件担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度: 4/5
見積もり時間: 3〜5日
初心者へのやさしさ: 35/100

issue の種類: バグ
明瞭さ: おおむね明確
活発さ: 停滞
領域: ai, api

調査の方向性

まず、引用されているロール順序および最後のメッセージのエラーを生成するバリデーションを追跡し、その後、継続メッセージまたはエージェント観測メッセージを含むリクエストを再現します。対応している非交互のロールシーケンスが HTTP 500 を返さなくなり、意図したバリデーション動作が引き続きカバーされていれば完了です。

索引モデルが issue の本文から書いたものです。

説明

Hi,

I am getting 500s with description

chat messages must alternate roles between 'user' and 'assistant'.  Message may have a leading 'system' role message

and

"Internal Server Error\",\"status\":500,\"detail\":\"Last message role should be 'user'

I think this order validation is unnecessary. Most of the models (e.g. mixtrals, llama3, gemma etc) are perfectly fine with any order of roles. This claim can be validated on groq's playground: https://console.groq.com/playground

This issue currently breaks some existing patterns, like continuations (without the user explicitly saying "continue") or in some cases running agents with observations etc.

主要言語: Jupyter Notebook
スター: 4.2k
フォーク: 1.1k
平均マージ: 10時間 15分
マージ済み PR（30日）: 1

コントリビューションガイド

コントリビューションガイドを開く

はじめの一歩

issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
リポジトリをフォークし、ブランチを切って変更します。
issue 番号を参照したプルリクエストを送ります。

NVIDIA/GenerativeAIExamples のほかの issue

Incorrect audit job payload for nemo-microservices/auditor:25.09 オープン

難易度 1/5 1時間未満初心者へのやさしさ 70/100

NVIDIA/GenerativeAIExamples#361 · コメント 2 件 · 2025年10月7日に作成
Support Excel File Upload in Data Analysis Agent オープン

難易度 2/5 1〜3時間初心者へのやさしさ 72/100

NVIDIA/GenerativeAIExamples#299 · 2025年6月4日に作成
Resource: curated awesome-list for NVIDIA NIM integrations オープン

難易度 3/5 1〜2日初心者へのやさしさ 35/100

NVIDIA/GenerativeAIExamples#437 · 2026年6月11日に作成
hyperlink not working オープン

難易度 1/5 1時間未満初心者へのやさしさ 45/100

NVIDIA/GenerativeAIExamples#400 · 2025年11月19日に作成
payload = { "name": "getting-started-job", "project": "demo", "spec": { "config": f"default/{config_name}", "target": f"default/{target_name}", } } オープン

難易度 5/5 1週間以上初心者へのやさしさ 10/100

NVIDIA/GenerativeAIExamples#399 · 2025年11月17日に作成

NVIDIA/GenerativeAIExamples の issue をすべて見る

似ている issue

plugins: post-install hint for a memory-provider plugin says `hermes plugins enable`, which does not activate it (memory.provider stays empty) オープン

area/config comp/cli comp/plugins P3 Plugin Catalog sweeper:risk-compatibility tool/memory type/bug

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

NousResearch/hermes-agent#119909 · コメント 1 件 · 2026年9月23日に作成
[Bug] gaussian_actor: use_tanh_squash is documented and stored but never read (tanh squashing cannot be disabled) オープン

bug configuration documentation examples policies processor tests training

難易度 2/5 1〜3時間初心者へのやさしさ 70/100

huggingface/lerobot#4727 · 2026年9月23日に作成
📱 AI 日报 · 2026-09-23 オープン

ai-content daily-post

難易度 1/5 1時間未満初心者へのやさしさ 85/100

happydog-intj/ai-xiaohongshu-daily#499 · 2026年9月23日に作成
[Bug]: PrevNextNodePostprocessor loses retrieved scores when neighbor windows overlap オープン

難易度 2/5 1〜3時間初心者へのやさしさ 76/100

run-llama/llama_index#23199 · 2026年9月23日に作成
`OpenAIChatModel` streaming keeps only the last chunk's `logprobs` オープン

p:2-high pydanty:bug

難易度 2/5 1〜3時間初心者へのやさしさ 90/100

pydantic/pydantic-ai#8642 · コメント 2 件 · 2026年9月22日に作成

AI Infra & Agents の issue をもっと見る