Gateway 400: request exceeds JSON node limit (32768), long session cannot recover via compaction

Aperta
  • Qualcosa non va?
#1,078 1 commento 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
5/5
Tempo stimato
Più di una settimana
Idoneità per principianti
35/100
Tipo di issue
Bug
Chiarezza
Abbastanza chiara
Stato di attività
Attiva
Stack tecnologico
ai-infra-agents, cli
Ambito
ai-infra-agents, backend

Direzione di ricerca

Start by tracing how the CLI builds and sends long-session requests, then inspect the gateway handling of the 32,768-node JSON limit. The issue names no files or tests, so first locate the request construction and error handling entry points. Done means a long session can recover from this structural limit, or the error reports the current node count and limit.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Summary

Using Command Code (GOAT plan), a long session started failing on every request with a gateway 400:

Command Code API error 400: the request exceeds the gateway's JSON node limit (node count cannot exceed 32768)

The error text says the cap is on the request's structure, not its token length, so compacting the session usually will not bring it under the limit. The suggested remedies are starting a new session, or reducing the messages and images in the current one.

Why this looks distinct

  • This is a structural (JSON node count) limit, not a token / context-window limit.
  • Compaction does not reliably recover the session, because compacting does not necessarily reduce the node count below the cap.
  • I searched existing issues and did not find this exact error string. The closest related report is #1003 (compaction summaries compound instead of replacing, sessions 400 to death), but that issue's 400s are context/token-driven, whereas this one is node-count-driven.

Impact

Long sessions become unusable: a new session loses context, and trimming messages and images is not a sustainable fix.

Suggestions

  • Raise the gateway JSON node limit, or
  • Structurally compact or merge nodes for long-session requests, on the gateway or client side, before forwarding, or
  • At least include the current node count versus the limit in the error message, so users can tell how far over they are.

Notes

Lingua principale
Nessun dato sulla lingua
Stelle
4.2k
Fork
377
Merge medio
1g 17m
PR unite (30g)
7

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di CommandCodeAI/command-code

Tutte le issue di CommandCodeAI/command-code

Issue simili

Altre issue su AI Infra & Agents

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.