Perplexity for quantized models
还没有人认领这个 Issue。
评估
- 难度
- 2/5
- 预计耗时
- 1-3 小时
- 新手友好度
- 25/100
- Issue 类型
- 文档
- 描述清晰度
- 需要澄清
- 活跃度
- 停滞
- 技术栈
- huggingface, python
调研方向
从 perplexity 指标的 .compute() 入口开始，根据 issue 中的量化模型示例检查文档化的参数。完成的标准是明确哪些参数支持量化模型，并记录正确的用法。
由索引模型根据 Issue 内容生成。
描述
Hi, If I intend to compute the perplexity for a quantized model, what parameters should I pass to the .compute() function?
For example,
perplexity = load("perplexity", module_type="metric")
good_result = perplexity.compute(predictions=SENTENCES,model_id=MODEL_NAME,add_start_token=False)
Much thx!
- 主要语言
- Python
- 星标
- 2.5k
- 派生
- 368
- PR 合并指标
- 30 天内没有已合并 PR
环境准备
- 没有 Dockerfile 或 Docker Compose 文件
- 没有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
huggingface/evaluate 的其他 Issue
-
exact_match: ignore_punctuation only removes ASCII punctuation可能已有人在做 @reginaldalfret 于 15 天前认领。 未关闭
难度 2/5 1-3 小时 新手友好度 75/100
huggingface/evaluate#836 ·
-
EvaluationSuite.run fails with default args_for_task and mutates supplied kwargs可能已有人在做 @ktz03 于 27 天前认领。 未关闭
难度 2/5 1-3 小时 新手友好度 82/100
huggingface/evaluate#825 ·
-
exact_match scores two different answers as a perfect match when normalization erases both to the same residue可能已有人在做 @MahendraMula 于 44 天前认领。 未关闭
难度 2/5 1-3 小时 新手友好度 75/100
huggingface/evaluate#822 ·
-
Perplexity metric fails with GPT-2 tokenizer可能已有人在做 @zanvari 于 141 天前认领。 未关闭
难度 2/5 1-3 小时 新手友好度 74/100
huggingface/evaluate#766 · 1 条评论 ·
-
False/misleading instruction to use different checkpoints of BLEURT可能重新可做 关联的 PR 已关闭且未合并。 未关闭
难度 1/5 1 小时以内 新手友好度 62/100
huggingface/evaluate#679 · 1 个 reaction ·
查看 huggingface/evaluate 的全部 Issue
相似的 Issue
-
难度 2/5 1-3 小时 新手友好度 64/100
FinanceFlash/unvibecode#577 · 1 条评论 ·
维护者通常 1 天内回复
-
area/test type/bug
难度 2/5 1-3 小时 新手友好度 76/100
Clodmony/starship-coop#70 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 77/100
punitarani/fli#270 ·
-
🐛 Bug 🔔 Pending processing
难度 2/5 1-3 小时 新手友好度 67/100
jumpserver/jumpserver#17980 ·
维护者通常 1 天内回复
-
community enhancement good first issue
难度 2/5 1-3 小时 新手友好度 86/100
维护者通常 1 天内回复