Add HuffPo Text Classification to Full Benchmark
还没有人认领这个 Issue。
评估
- 难度
- 4/5
- 预计耗时
- 3-5 天
- 新手友好度
- 25/100
- Issue 类型
- 功能
- 描述清晰度
- 需要澄清
- 活跃度
- 停滞
- 技术栈
- python
调研方向
首先定位完整的基准测试配置和现有的文本分类数据集集成。明确 HuffPo 应如何测试对未见过标签的泛化能力，以及 FLEX 是否是合适的数据集，然后运行完整基准测试，以确认其中包含 HuffPo 并产生预期的评估结果。
由索引模型根据 Issue 内容生成。
描述
use to test generalization to unseen labels; maybe use FLEX?
- 主要语言
- Python
- 星标
- 42
- 派生
- 24
- PR 合并指标
- 30 天内没有已合并 PR
环境准备
- 没有 Dockerfile 或 Docker Compose 文件
- 没有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
bigscience-workshop/evaluation 的其他 Issue
-
难度 4/5 3-5 天 新手友好度 25/100
-
Refactor task template to merge multilingual.json and english.json可能重新可做 @wilsonyhlee 于 1866 天前认领，目前没有进行中的 PR。 未关闭
bigscience-workshop/evaluation#64 · 已指派 1 人 ·
-
难度 5/5 一周以上 新手友好度 20/100
bigscience-workshop/evaluation#61 · 2 条评论 · 3 个 reaction ·
-
Setup testing可能重新可做 @tttyuntian 于 1882 天前认领，目前没有进行中的 PR。 未关闭engineering
bigscience-workshop/evaluation#57 · 2 条评论 · 已指派 3 人 ·
-
Start overleaf for benchmark tech report可能重新可做 @arunraja-hub 于 1877 天前认领，目前没有进行中的 PR。 未关闭documentation
bigscience-workshop/evaluation#54 · 1 条评论 · 3 个 reaction · 已指派 2 人 ·
查看 bigscience-workshop/evaluation 的全部 Issue
相似的 Issue
-
[Bug]: Streamed /v1/chat/completions sends unredacted agent error text (keys) in the final chunk可能已有人在做 @rodricksz4h5 今天认领。 未关闭area/streaming comp/gateway P2 type/security
难度 2/5 1-3 小时 新手友好度 78/100
NousResearch/hermes-agent#138245 ·
维护者通常 1 天内回复
-
[oblt-aw][autodoc] Update user onboarding guide for mandatory trigger CODEOWNERS step可能已有人在做 @github-actions 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 66/100
维护者通常 1 天内回复
-
correction metadata
难度 2/5 1 小时以内 新手友好度 68/100
acl-org/acl-anthology#10378 · 1 条评论 ·
维护者通常 1 天内回复
-
cloudtrail_multi_region_enabled_logging_management_events fails when the advanced event selector has a custom name可能已有人在做 @12YYCCYY16 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 78/100
prowler-cloud/prowler#13033 ·
维护者通常 1 天内回复
-
enhancement
难度 1/5 1-3 小时 新手友好度 88/100
graygarbage/HermesKey#23 ·