Generate predictions for responses with non-numeric human scores
还没有人认领这个 Issue。
评估
- 难度
- 4/5
- 预计耗时
- 3-5 天
- 新手友好度
- 35/100
- Issue 类型
- 功能
- 描述清晰度
- 基本清楚
- 活跃度
- 停滞
- 技术栈
- python, scikit-learn
调研方向
首先阅读现有的 RSMPredict 入口点和训练文件流程，以了解当前模型的训练方式以及预测的生成方式。为非数值型人工评分定义单一的 train-then-predict 路径，将 confusion-matrix 的使用作为相关的完成检查，同时保留关于大多数评估的既有限制。
由索引模型根据 Issue 内容生成。
描述
[by @aoifecahill ] It would be nice if it was possible to automatically generate predictions for data that has non-numeric human scores. Obviously these predictions can't be used in most of the evaluations, but they could be useful in a confusion matrix for example.
I know RSMPredict does predictions, but that's not quite what I was looking for. It would be nice if there was just one tool that trained a model using the training file and then ran RSMPredict on the test file. I don't think anything like that already exists? I don't really care much about the evaluation (though the confusion matrix would be interesting), rather just would like the convenience of being able to do train+predict in one step rather than multiple with hacks (since I don't know of a way to just train a model without having a fake test file for rsmtool?)
This is a nice-to-have issue.
- 主要语言
- Python
- 星标
- 71
- 派生
- 21
- PR 合并指标
- 30 天内没有已合并 PR
环境准备
这个项目没有提供开发容器、Dockerfile 或贡献指南，环境需要你自己搭建：先看它的 README，通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
EducationalTestingService/rsmtool 的其他 Issue
-
Slim installation option or model inference export option可能已有人在做 @twoertwein 于 648 天前认领。 未关闭
难度 5/5 一周以上 新手友好度 25/100
EducationalTestingService/rsmtool#689 · 5 条评论 ·
-
enhancement
难度 4/5 3-5 天 新手友好度 35/100
-
Add support for sections in rsmxval可能重新可做 @damien2012eng 于 752 天前认领，目前没有进行中的 PR。 未关闭
EducationalTestingService/rsmtool#557 · 已指派 1 人 ·
-
enhancement
难度 5/5 一周以上 新手友好度 35/100
-
good first issue help wanted
难度 4/5 3-5 天 新手友好度 30/100
查看 EducationalTestingService/rsmtool 的全部 Issue
相似的 Issue
-
SSM GetParameter throttling during concurrent workflow launches可能已有人在做 @alexiswl 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 80/100
-
[Bug] Dev image build fails: `npm install` in the root Dockerfile runs out of memory (exit 134)可能已有人在做 @andest01 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 75/100
维护者通常 1 天内回复
-
Rename FunctionalRole BOT_DEV to DEV_STAFF可能已有人在做 关联的 PR 仍在进行中或已合并。 未关闭enhancement good first issue
难度 2/5 1-3 小时 新手友好度 79/100
pesu-dev/discord_bot#97 ·
-
难度 1/5 1-3 小时 新手友好度 88/100
gradio-app/gradio#13964 ·
维护者通常 1 天内回复
-
难度 1/5 1 小时以内 新手友好度 93/100
BSData/horus-heresy-3rd-edition#3232 · 1 条评论 ·
维护者通常 1 天内回复