Example notebook with Datalab on a text dataset with sota LLM & embeddings model
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 35/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- huggingface, jupyter-notebook
- Lĩnh vực
- machine-learning
Hướng nghiên cứu
Bắt đầu bằng cách đọc hướng dẫn về văn bản hiện có của Datalab tại https://docs.cleanlab.ai/stable/tutorials/datalab/text.html và xem lại các quy ước về notebook ví dụ của repository. Chọn một dataset HuggingFace và các model được huấn luyện trước hiện đại cho pred_probs và features, sau đó minh họa các vấn đề được phát hiện thú vị, bao gồm một vấn đề về một nhóm có hiệu năng thấp, trong một notebook có thể tái lập.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Make a version of this tutorial: https://docs.cleanlab.ai/stable/tutorials/datalab/text.html
but using more modern ML models. pred_probs can be produced by a (pretrained) LLM, and features produced via a recently popular Embeddings model.
Recommend using models from HuggingFace. Try to select a dataset where the detected issues are interesting, particularly one where the under-performing group issue is present.
- Ngôn ngữ chính
- Jupyter Notebook
- Star
- 136
- Fork
- 28
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của cleanlab/examples
-
run datalab on food datasetĐang mởhelp wanted
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 42/100
-
good first issue help wanted
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100
-
help wanted
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100
-
good first issue help wanted
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 30/100
Tất cả issue của cleanlab/examples
Issue tương tự
-
[Bug]: SparseGPTModifier and WandaPruningModifier prune modules listed by exact name in `ignore`Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 90/100
vllm-project/llm-compressor#3304 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
MiniMax provider forces `thinking: disabled`, which MiniMax-M3.1-Flash-Preview rejects with HTTP 400Đang mởcore
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 84/100
vectorize-io/hindsight#5718 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 62/100
mlr-org/mlr3cmprsk#42 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
StructuredCovEstimator crashes for one factor and uses inconsistent residual varianceCó thể đã có người làm @Divyansh151005 đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
microsoft/qlib#2377 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 3 ngày
-
bug(sdk): ExitHandler allows artifact dependency on upstream task and fails compilerCó thể đã có người làm @ravikumar266 đã nhận hôm nay. Đang mởarea/sdk kind/bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
kubeflow/pipelines#14924 · 2 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày