Hacktoberfest 2026：メンテナが10月に向けて印を付けた、オープンで初心者向けの issue。 Hacktoberfest の issue を見る

benchmarks: code-intelligence result inaccessible; BENCHMARKS.md is a 404; headline metrics test conversation memory, not code graphs

クローズ
  • 何か問題がありますか？
#3,690 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る

メンテナーはふだん 1 日以内に返信

まだ誰も着手していません。

評価

難易度
4/5
見積もり時間
3〜5日
初心者へのやさしさ
42/100
issue の種類
ドキュメント
明瞭さ
おおむね明確
活発さ
活発
技術スタック
fastapi, python
領域
documentation, testing

調査の方向性

Start with the README benchmarks table and its BENCHMARKS.md link, then check whether BENCHMARKS.md exists on main and review the references to #1706 and #2270. Confirm where the code-intelligence result and per-system tables are maintained. Done means restoring or correcting the link and documenting the requested INFERRED-edge precision result for the FastAPI demo corpus.

索引モデルが issue の本文から書いたものです。

説明

help wanted

The README benchmarks table shows three results — LOCOMO recall@10, LOCOMO QA accuracy, and LongMemEval-S QA accuracy — and directs to BENCHMARKS.md for "full per-system tables, the code-intelligence result, and reproduction commands." BENCHMARKS.md returns 404 on main.

Two problems follow from this:

1. The only code-relevant benchmark is unreachable

graphify's primary pitch is code knowledge graphs — AST parsing, cross-file link resolution, EXTRACTED vs INFERRED confidence tags. LOCOMO and LongMemEval benchmark conversational memory retrieval over chat transcripts. A user evaluating graphify for code navigation has no published number to look at. The code-intelligence result — presumably the metric that matters most for this tool's stated purpose — exists only in the missing file.

2. INFERRED edge precision for code graphs is unmeasured

The headline differentiator is the EXTRACTED / INFERRED tag: "you can tell what was read directly from what was inferred." The LOCOMO and LongMemEval results say nothing about whether INFERRED cross-file links in code are correct. Per #2270, confidence: EXTRACTED already appears on semantically-derived nodes; the complementary question — what fraction of INFERRED edges from AST resolution are accurate — has no number attached to it anywhere.

Suggested next steps

  • Either commit BENCHMARKS.md to main or update the README link to wherever the code-intelligence result and per-system tables live. (#1706 notes the memory harness is a separate repo; the code-intelligence half presumably is too — a link would suffice.)
  • Add a precision figure for INFERRED edges on the FastAPI demo corpus shown in the README. A 100-edge manual sample against ground-truth cross-file references would make the confidence-tag claim checkable without a full eval pipeline.

Happy to help with either.

主要言語
Python
スター
124k
フォーク
11.9k
30日以内にマージされた PR はありません

環境構築

このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

Graphify-Labs/graphify のほかの issue

Graphify-Labs/graphify の issue をすべて見る

似ている issue

Python の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。