Examples: can remove cross-validation from outlier detection
还没有人认领这个 Issue。
评估
- 难度
- 5/5
- 预计耗时
- 一周以上
- 新手友好度
- 30/100
- Issue 类型
- 功能
- 描述清晰度
- 需要澄清
- 活跃度
- 停滞
- 技术栈
- jupyter-notebook
调研方向
从 issue 中链接的 outlier_detection_cifar10 示例开始，检查其当前的 train/test OOD 设置如何使用 cross-validation。添加或评估所提议的包含 outliers 的 training 设置，比较 cross-validation 是否有帮助，并根据该结果更新示例。
由索引模型根据 Issue 内容生成。
描述
This example: https://github.com/cleanlab/examples/tree/master/outlier_detection_cifar10
could become much more straightforward without cross-validation now that we've seen it doesn't help too much in the train/test OOD settings.
But to truly assess the utility of cross-validation, we should first include an additional benchmark setting where we evaluate OOD detection on a training dataset with some outliers included (during training not just during testing). Cross-validation may still help in this setting.
- 主要语言
- Jupyter Notebook
- 星标
- 136
- 派生
- 28
- PR 合并指标
- 30 天内没有已合并 PR
环境准备
这个项目没有提供开发容器、Dockerfile 或贡献指南，环境需要你自己搭建：先看它的 README，通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
cleanlab/examples 的其他 Issue
-
help wanted
难度 5/5 一周以上 新手友好度 35/100
-
help wanted
难度 3/5 1-2 天 新手友好度 42/100
-
good first issue help wanted
难度 4/5 3-5 天 新手友好度 35/100
-
help wanted
难度 4/5 3-5 天 新手友好度 35/100
查看 cleanlab/examples 的全部 Issue
相似的 Issue
-
Angle brackets are not tokenizer delimiters, so `<http://…>` fuses the opening bracket to the URL未关闭
难度 2/5 1-3 小时 新手友好度 65/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 68/100
maziyarpanahi/openmed#4204 · 1 条评论 ·
维护者通常 3 天内回复
-
难度 2/5 1-3 小时 新手友好度 70/100
rvandewater/YAIB#206 ·
-
Non-positive worker counts wait for results without starting workers可能已有人在做 @IlyaKhalafi 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 85/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 65/100
维护者通常 1 天内回复