Feature request: apply streamingProfile (ttft/tps/jitter) to non-streaming responses too

Đã đóng
  • Có gì không ổn?
#544 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
3/5
Thời gian dự kiến
1-2 ngày
Mức phù hợp với người mới
45/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
typescript
Lĩnh vực
api

Hướng nghiên cứu

Start by finding where streamingProfile and latency are applied on the stream: true path, then compare them with the non-streaming branch that writes the fixture response immediately. The issue names four handlers (OpenAI-shaped, Claude Messages, Bedrock invoke, Bedrock invoke-with-response-stream) and the recorded-timings replay path. Done means non-streaming responses wait ttft + length/tps with jitter, or the maintainers have agreed on an opt-in flag first.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Right now `streamingProfile` (ttft/tps/jitter) only kicks in when the request has `stream: true`. For a non-streaming request, the fixture response gets written back immediately regardless of what `streamingProfile`/`latency` is set to - checked this across the OpenAI-shaped handler, the Claude Messages handler, and the Bedrock invoke/invoke-with-response-stream handlers, same pattern in all of them.

This matters for load/perf testing agent setups where a lot of the real traffic is non-streaming on purpose - sub-agent calls, tool-chain orchestration, guardrail/classifier calls, anything that isn't a user-facing chat UI. Right now mocking those gives zero latency, which throws off any load test that's trying to reproduce realistic timing/compounding across a call tree.

Would be great if `ttft`/`tps`/`jitter` (and the recorded-timings replay path) applied the same delay math to the non-streaming branch - obviously without the per-chunk pacing, just the equivalent total delay (ttft + completion_length/tps) before writing the response.

Happy to be told this is intentional (e.g. to keep default test runs fast) but if so maybe worth a flag to opt in, since right now there's no way to get non-streaming latency simulation at all.

Ngôn ngữ chính
TypeScript
Star
1k
Fork
82
Merge trung bình
14 giờ 10 phút
Pull request đã merge (30 ngày)
90

Chuẩn bị môi trường

  • Có Dockerfile hoặc tệp Docker Compose
  • Không có mẫu pull request
  • Không có hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của CopilotKit/aimock

Tất cả issue của CopilotKit/aimock

Issue tương tự

Thêm issue về TypeScript

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.