Example notebook with Datalab on a text dataset with sota LLM & embeddings model
还没有人认领这个 Issue。
评估
- 难度
- 5/5
- 预计耗时
- 一周以上
- 新手友好度
- 35/100
- Issue 类型
- 功能
- 描述清晰度
- 基本清楚
- 活跃度
- 停滞
- 技术栈
- huggingface, jupyter-notebook
调研方向
首先阅读 https://docs.cleanlab.ai/stable/tutorials/datalab/text.html 中现有的 Datalab 文本教程，并查看 repository 的示例 notebook 约定。选择一个 HuggingFace 数据集以及用于 pred_probs 和 features 的现代预训练模型，然后在可复现的 notebook 中展示有趣的检测到的问题，包括一个表现不佳的群体问题。
由索引模型根据 Issue 内容生成。
描述
Make a version of this tutorial: https://docs.cleanlab.ai/stable/tutorials/datalab/text.html
but using more modern ML models. pred_probs can be produced by a (pretrained) LLM, and features produced via a recently popular Embeddings model.
Recommend using models from HuggingFace. Try to select a dataset where the detected issues are interesting, particularly one where the under-performing group issue is present.
- 主要语言
- Jupyter Notebook
- 星标
- 136
- 派生
- 28
- PR 合并指标
- 30 天内没有已合并 PR
环境准备
这个项目没有提供开发容器、Dockerfile 或贡献指南，环境需要你自己搭建：先看它的 README，通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
cleanlab/examples 的其他 Issue
-
help wanted
难度 3/5 1-2 天 新手友好度 42/100
-
good first issue help wanted
难度 4/5 3-5 天 新手友好度 35/100
-
help wanted
难度 4/5 3-5 天 新手友好度 35/100
-
good first issue help wanted
难度 5/5 一周以上 新手友好度 30/100
查看 cleanlab/examples 的全部 Issue
相似的 Issue
-
bug
难度 1/5 1 小时以内 新手友好度 85/100
-
难度 2/5 半天 新手友好度 62/100
EvolvingLMMs-Lab/LongVT#27 ·
-
难度 2/5 1-3 小时 新手友好度 70/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 72/100
维护者通常 3 天内回复
-
bug
难度 2/5 1-3 小时 新手友好度 72/100