Example notebook with Datalab on a text dataset with sota LLM & embeddings model
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 35/100
- issue の種類
- 機能追加
- 明瞭さ
- おおむね明確
- 活発さ
- 停滞
- 技術スタック
- huggingface, jupyter-notebook
調査の方向性
まず、https://docs.cleanlab.ai/stable/tutorials/datalab/text.html にある既存の Datalab テキストチュートリアルを読み、リポジトリのサンプルノートブックの規約を確認してください。HuggingFace データセットと、pred_probs および features 用の最新の事前学習済みモデルを選択し、低パフォーマンスのグループに関する問題を含む、興味深い検出済みの問題を再現可能なノートブックで示してください。
索引モデルが issue の本文から書いたものです。
説明
Make a version of this tutorial: https://docs.cleanlab.ai/stable/tutorials/datalab/text.html
but using more modern ML models. pred_probs can be produced by a (pretrained) LLM, and features produced via a recently popular Embeddings model.
Recommend using models from HuggingFace. Try to select a dataset where the detected issues are interesting, particularly one where the under-performing group issue is present.
- 主要言語
- Jupyter Notebook
- スター
- 136
- フォーク
- 28
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
cleanlab/examples のほかの issue
-
help wanted
難易度 3/5 1〜2日 初心者へのやさしさ 42/100
-
good first issue help wanted
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
-
help wanted
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
-
good first issue help wanted
難易度 5/5 1週間以上 初心者へのやさしさ 30/100
cleanlab/examples の issue をすべて見る
似ている issue
-
Kumo-Tabular weights unreachable behind restrictive egress proxies (Xet + plain HTTP both fail)オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 67/100
NVIDIA/structured-data-models#1091 ·
メンテナーはふだん 1 日以内に返信
-
bot-triaged module: docs triaged
難易度 1/5 1〜3時間 初心者へのやさしさ 88/100
メンテナーはふだん 1 日以内に返信
-
[Bug]: CPU without Triton: slot-mapping fallback has a stale signature after #57169, V1 inference fails on the first forward step対応中かも このイシューにリンクされたプルリクエストがオープン中、またはマージ済みです。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100
vllm-project/vllm#61131 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 63/100
datawhalechina/llm-algo-leetcode#209 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 77/100
huggingface/candle#4034 ·
メンテナーはふだん 1 日以内に返信