Run lookup vs neural vs hybrid comparison
还没有人认领这个 Issue。
评估
- 难度
- 5/5
- 预计耗时
- 一周以上
- 新手友好度
- 42/100
- Issue 类型
- 功能
- 描述清晰度
- 基本清楚
- 活跃度
- 停滞
- 技术栈
- python
调研方向
从 data/splits/test.jsonl 开始，确定如何调用 lookup、neural 和 hybrid 方法。在同一测试集上评估这三种方法，包括列出的 hybrid 阈值，并在记录硬件配置的情况下记录 exact match、type accuracy、BLEU-4 和延迟。完成标准是提供显著性结果、表格或图表，以及可复现的实验脚本。
由索引模型根据 Issue 内容生成。
描述
Summary
Run a comprehensive comparison of all three generation approaches on the test set.
Success Criteria
- All three approaches evaluated on same test set
- Metrics computed for each: accuracy, BLEU, latency
- Statistical significance tests where applicable
- Results visualized (tables, charts)
- Reproducible experiment script
Approaches to Compare
- Pure Lookup: N-gram only, no fallback
- Pure Neural: Neural model only, no lookup
- Hybrid: Lookup with neural fallback (varying thresholds)
Metrics Matrix
| Approach | Exact Match | Type Acc | BLEU-4 | P50 Latency | P99 Latency |
|---|---|---|---|---|---|
| Lookup | |||||
| Neural | |||||
| Hybrid |
Experiment Config
- Test set: data/splits/test.jsonl
- Thresholds to test: [0.5, 0.6, 0.7, 0.8, 0.9]
- Hardware: Document CPU/GPU used
- 主要语言
- Python
- 星标
- 0
- 派生
- 0
- PR 合并指标
- 30 天内没有已合并 PR
环境准备
- 没有 Dockerfile 或 Docker Compose 文件
- 没有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
aRustyDev/ccgram 的其他 Issue
-
docs experiment
难度 5/5 一周以上 新手友好度 35/100
-
docs
难度 4/5 3-5 天 新手友好度 55/100
-
infra model
难度 5/5 一周以上 新手友好度 25/100
-
docs experiment
难度 3/5 3-5 天 新手友好度 45/100
-
ablation evaluation
难度 4/5 3-5 天 新手友好度 30/100
相似的 Issue
-
难度 2/5 1-3 小时 新手友好度 83/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 86/100
google-ai-edge/litert-torch#1346 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 72/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 78/100
geneontology/gocam-py#272 ·
-
pushed_authorization_request sends list authorization_details as a Python repr可能已有人在做 @RaphaelFakhri 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 78/100
auth0/auth0-python#903 ·
维护者通常 1 天内回复