Run lexvm generate against the Anthropic API and document duration and cost

Đang mở
  • Có gì không ổn?
#40 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
35/100
Loại issue
Tính năng
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
github-actions, typescript
Lĩnh vực
devtools, documentation, testing

Hướng nghiên cứu

Start with packages/cli/src/generate/llm.ts, pipeline.ts, and fenced.ts, then read docs/authoring/pipeline.md and ADR 0007. Run the three specified generations against the Anthropic API and record duration, run.json token totals, repair rounds, cost, and outcomes. Add regression tests from recorded responses and handle output-limit stops automatically; done when a run passes every gate, measured results are documented, and the smoke workflow decision is recorded.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

area: cli area: pipeline priority: high type: chore

Context

lexvm generate is tested only with a mocked client. "Time and cost" in docs/authoring/pipeline.md is qualitative. Long games may hit --max-tokens: a cut-off answer is only logged as a warning, and its unclosed last file block is dropped, which leaves the stage incomplete. Chat answers in the one-shot flow can be cut off the same way. The v0.3 generation workflow depends on a pipeline that has been run for real.

Scope

  • Three runs with a current model: German 15 minutes, English 30 minutes, German 45 minutes. Record duration, token usage (from run.json totals), repair rounds, cost at list prices and the outcome. Name the model only in the pull request, following the provenance policy.
  • Fix the defects found; add regression tests based on recorded responses (no secrets).
  • Handle max_tokens stops without manual work: request a continuation, or split large stages (for example the logic stage per file).
  • One-shot flow: tell users in the prompt and on the Create screen what to do when an answer is cut off.
  • Replace the qualitative cost text in docs/authoring/pipeline.md with a table of measured runs.
  • Decide on an optional manually triggered smoke workflow with an API key secret (a five-minute pack at low effort).
  • Generated packs go through normal review; they are not merged automatically.

Acceptance criteria

  • At least one run passes every gate; its pack, design/ and run.json are attached to a pull request.
  • docs/authoring/pipeline.md has a table of measured duration and cost.
  • An answer cut off at the output limit is completed automatically (test with a recorded response).
  • The smoke workflow is added or rejected with a reason recorded here.

References

  • packages/cli/src/generate/llm.ts
  • packages/cli/src/generate/pipeline.ts
  • packages/cli/src/generate/fenced.ts
  • docs/authoring/pipeline.md (Time and cost, Troubleshooting)
  • docs/adr/0007-llm-pipeline-byo-prompt-kit-and-api-generator.md
Ngôn ngữ chính
TypeScript
Star
0
Fork
0
Merge trung bình
1 giờ 24 phút
Pull request đã merge (30 ngày)
5

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của nullthrone/lexvm

Tất cả issue của nullthrone/lexvm

Issue tương tự

Thêm issue về TypeScript

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.