Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

Feature request: apply streamingProfile (ttft/tps/jitter) to non-streaming responses too

Aperta
  • Qualcosa non va?
#544 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
3/5
Tempo stimato
1-2 giorni
Idoneità per principianti
45/100
Tipo di issue
Funzionalità
Chiarezza
Abbastanza chiara
Stato di attività
Attiva
Stack tecnologico
typescript
Ambito
api

Direzione di ricerca

Start by finding where streamingProfile and latency are applied on the stream: true path, then compare them with the non-streaming branch that writes the fixture response immediately. The issue names four handlers (OpenAI-shaped, Claude Messages, Bedrock invoke, Bedrock invoke-with-response-stream) and the recorded-timings replay path. Done means non-streaming responses wait ttft + length/tps with jitter, or the maintainers have agreed on an opt-in flag first.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Right now `streamingProfile` (ttft/tps/jitter) only kicks in when the request has `stream: true`. For a non-streaming request, the fixture response gets written back immediately regardless of what `streamingProfile`/`latency` is set to - checked this across the OpenAI-shaped handler, the Claude Messages handler, and the Bedrock invoke/invoke-with-response-stream handlers, same pattern in all of them.

This matters for load/perf testing agent setups where a lot of the real traffic is non-streaming on purpose - sub-agent calls, tool-chain orchestration, guardrail/classifier calls, anything that isn't a user-facing chat UI. Right now mocking those gives zero latency, which throws off any load test that's trying to reproduce realistic timing/compounding across a call tree.

Would be great if `ttft`/`tps`/`jitter` (and the recorded-timings replay path) applied the same delay math to the non-streaming branch - obviously without the per-chunk pacing, just the equivalent total delay (ttft + completion_length/tps) before writing the response.

Happy to be told this is intentional (e.g. to keep default test runs fast) but if so maybe worth a flag to opt in, since right now there's no way to get non-streaming latency simulation at all.

Lingua principale
TypeScript
Stelle
979
Fork
84
Merge medio
1g 5h
PR unite (30g)
58

Preparare l'ambiente

  • Include un Dockerfile o un file Docker Compose
  • Nessun modello di pull request
  • Nessuna guida per i contributori

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di CopilotKit/aimock

Tutte le issue di CopilotKit/aimock

Issue simili

Altre issue su TypeScript

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.