Corpus-scale scan gaps (catalog scan, novelty accuracy)

オープン
  • 何か問題がありますか？
#413 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る

メンテナーはふだん 1 日以内に返信

まだ誰も着手していません。

評価

難易度
5/5
見積もり時間
1週間以上
初心者へのやさしさ
20/100
issue の種類
バグ
明瞭さ
おおむね明確
活発さ
活発
技術スタック
python
領域
testing-qa

調査の方向性

Read the listed issues and pull requests (#219, #311, #358, #403, #406, #408, #414, #417, and #370) to understand which gaps are already covered and the remaining scope. The body groups corpus-scan and evaluation problems into P0, P1, and P2, but does not define one change or its acceptance criteria; establish a bounded task and how to verify it before implementation.

索引モデルが issue の本文から書いたものです。

説明

Gaps found running dokimi over a ~2K-skill corpus sample (GitSkills study). P0 = corrupts reported numbers, P1 = blocks/distorts corpus runs, P2 = ergonomics.

P0 (existing issues)

  • B1 #219 bad LLM replies cached or misreported
  • B2 #311 (fixed by #358) extraction.reached counts spans of a failed batch
  • B3 #407 phase 0: 1 valid panel vote → agreement 1.0; ground_truth not forwarded; identity hash ignores role→model

P1

  • A1 YAML parse error reported as "missing a 'description'" (44.7K of 224K load errors) — covered by #403
  • A2 _scan_skill_files crashes on ENAMETOOLONG for a sibling path; should be an error row — PR #417
  • A3 cross-catalog checks (name-conflict, mirror-drift, near-duplicate) fire between unrelated skills of a corpus root; need per-skill mode — PR #414
  • A4 SKILL.md nested in another skill's bundle counted as separate skill (2,105 rows / 1,979 dirs) — PR #414
  • B4 partial result not written at --max-usd stop — #406
  • B5 judge output ceiling 4096 tokens; no cap-partial for analyze/atoms/probe/shorten; absent adjudication silent; no triage per-run estimate
  • B6 no built-in test-retest (--repeats 1 noise null)

P2

  • A5 catalog eval selects 1,741 skills where scan finds 2,105 on same root; rule not stated
  • A6 no public per-skill review API (review_skill_dir(path)) — PR #414
  • A7 no --jsonl / --jobs / resume for 1M+ skills — PR #414
  • A8 no rule filter (--ignore name-mismatch)
  • A9 no warning when judge is same model family as measured model (extend #408)
  • B7 routing output estimate low — #403
  • B8 replay provenance per answer — #370
主要言語
Python
スター
11
フォーク
9
平均マージ
1日 11時間
マージ済み PR（30日）
335

環境構築

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

intel/dokimi のほかの issue

intel/dokimi の issue をすべて見る

似ている issue

Python の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。