Online dataset mixing based on validation metrics
まだ誰も着手していません。
評価
調査の方向性
The issue is a design-level request for a blended dataset that reweights its subsets from validation metrics, and the payload names no files, tests or entry points. Start by finding the existing dataset mixing and multi-dataset validation code in the Fast-LLM repository, and check whether the sampling weights are already configurable. The issue has no execution plan or acceptance criteria, so done would first need a written design agreed with the maintainers.
索引モデルが issue の本文から書いたものです。
説明
🎯 Goal (What & Why)
Create a Blended Dataset which can use validation metrics to re-arrange its sampling probabilities of different subsets. This will allow to implement on the fly training data readjustment.
🚀 Execution Plan
TBD
📌 Acceptance Criteria (Must-Haves for Completion)
TBD
🛠️ Project Management
- Assign the project to the Fast-LLM project.
- Set the
Estimatefield (in days) in the GitHub project. - Use the
Sizefield to categorize the PR size (Small/Medium/Large). - Assign an owner when opening the issue.
Created from @oleksost comments:
Another motivation for implementing multi-dataset validation is online mixing as described in here and here.
Roughly the idea is that if we can track the loss separately on each of the mixed domains, we can dynamically > adopt the mixing coefficients online.
- 主要言語
- Python
- スター
- 337
- フォーク
- 52
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
- Dockerfile または Docker Compose ファイルあり
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
ServiceNow/Fast-LLM のほかの issue
-
難易度 4/5 3〜5日 初心者へのやさしさ 25/100
ServiceNow/Fast-LLM#556 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 30/100
ServiceNow/Fast-LLM#538 ·
-
enhancement
難易度 5/5 1週間以上 初心者へのやさしさ 12/100
ServiceNow/Fast-LLM#533 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 15/100
ServiceNow/Fast-LLM#510 · コメント 1 件 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 12/100
ServiceNow/Fast-LLM#507 ·
ServiceNow/Fast-LLM の issue をすべて見る
似ている issue
-
_chunk_scan_fwd launches its Triton kernel without a device guard: NaN when a model is split across GPUs対応中かも @toddwbucy が今日担当しました。 オープン
難易度 1/5 1時間未満 初心者へのやさしさ 85/100
state-spaces/mamba#1072 ·
-
難易度 1/5 1時間未満 初心者へのやさしさ 85/100
loopj/aiovantage#414 ·
メンテナーはふだん 1 日以内に返信
-
power_mismatch_deline docstring: the rear-to-total RMAD conversion has an extra bifaciality factorオープン
難易度 1/5 1時間未満 初心者へのやさしさ 85/100
pvlib/pvlib-python#2929 ·
メンテナーはふだん 1 日以内に返信
-
data good first issue launch-day unverified
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
BradGroux/wow-forever-mission-control#8 ·
メンテナーはふだん 1 日以内に返信
-
check bilibili falsely reports read/subtitle as broken: live_test fixture BV1GJ411x7h7 is gone (404)オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
Panniantong/Agent-Reach#889 ·
メンテナーはふだん 2 日以内に返信