Benchmark pack generation across model tiers
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 35/100
- issue の種類
- 機能追加
- 明瞭さ
- 明確に書かれている
- 活発さ
- 活発
- 技術スタック
- node.js, typescript
調査の方向性
Start with the generation code in packages/cli/src/generate/, then read docs/authoring/pipeline.md and the related issues #44, #43, and #51 to understand the model options and playtest inputs. Build a benchmark around fixed ideas, durations, model configurations, and seeds, with a fake LLM path for CI and a cost confirmation guard. Done means the CI harness runs without API calls and docs contain a real run’s dated results, cost, harness version, raw logs, and recommendations per pack length.
索引モデルが issue の本文から書いたものです。
説明
Context
Which models can write a good content pack is currently a guess. Small model tiers have improved sharply and cost one to two orders of magnitude less than large ones; whether they reach publishable 30-45 minute packs, and where they fall short (schema, consistency, walkthrough, puzzle design), should be measured. The result becomes the documented recommendation per pack length and feeds the v0.3 issue-to-PR generation workflow.
Scope
- A benchmark harness (script under packages/cli or a separate tools/ directory) that runs
lexvm generatefor a fixed set of ideas at 15, 30 and 45 minutes, per model configuration (small, mid and large tier, plus the hybrid from the per-stage option), with a fixed seed set of prompts. - Metrics per run:
checkpass (zero errors), repair rounds, wall time, input/output tokens and cost, play-time deviation from target, explored states, and an automated LLM playtest score (#51). - A results table committed under docs/ with date and harness version; raw run logs as artifacts, no API keys or secrets.
- Budget guard: the harness prints the estimated cost and requires confirmation before spending.
Acceptance criteria
- Harness runs end to end with a fake LLM in CI (no API calls).
- One real benchmark run is documented with a results table and cost.
- docs/authoring/pipeline.md recommends model configurations per pack length based on the results.
References
- packages/cli/src/generate/
- docs/authoring/pipeline.md
- Related: per-stage model selection (#44), walkthrough derivation with
lexvm solve(#43), automated LLM playtests (#51)
- 主要言語
- TypeScript
- スター
- 0
- フォーク
- 0
- 平均マージ
- 28分
- マージ済み PR（30日）
- 2
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
nullthrone/lexvm のほかの issue
-
area: web good first issue priority: low type: bug
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
nullthrone/lexvm#49 ·
-
area: infra good first issue priority: low type: chore
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
nullthrone/lexvm#41 ·
-
area: engine good first issue priority: low type: feature
難易度 2/5 1〜3時間 初心者へのやさしさ 86/100
nullthrone/lexvm#27 ·
-
area: web priority: low type: research
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
nullthrone/lexvm#63 ·
-
area: infra area: web priority: medium type: chore
難易度 5/5 1週間以上 初心者へのやさしさ 38/100
nullthrone/lexvm#62 ·
nullthrone/lexvm の issue をすべて見る
似ている issue
-
難易度 1/5 1〜3時間 初心者へのやさしさ 66/100
メンテナーはふだん 1 日以内に返信
-
area:plugins area:security area:skills bug has repro
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
anthropics/claude-code#105911 ·
メンテナーはふだん 1 日以内に返信
-
documentation good first issue help wanted
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100
dev-five-git/devup-ui#879 ·
メンテナーはふだん 11 日以内に返信
-
openspec-apply-change skill: when blocked, may select a ready artifact unrelated to missingArtifactsオープン
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
Fission-AI/OpenSpec#2165 ·
メンテナーはふだん 1 日以内に返信
-
🐞 bug 🧐 unconfirmed
難易度 2/5 1〜3時間 初心者へのやさしさ 66/100
Tencent/tdesign-vue-next#7032 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信