Support chat template in `prepare`
@shruthan がすでに取り組んでいます。
2025年5月12日 から。
評価
この issue はまだ評価されていません。
説明
🎯 Goal (What & Why)
Support chat template during dataset preparation to make it easier for SFT, DPO and other instruction finetuning methods. This takes away from the user the onus of preparing datasets and being careful about constructing loss masking spans, eos and bos tokens. e.g., OpenRLHF directly works with chat templates.
🚀 Execution Plan
- Work off of https://github.com/ServiceNow/Fast-LLM/pull/255 or https://github.com/ServiceNow/Fast-LLM/pull/257
- Mask text from all sources except for
assistant - Add an option to unroll turns i.e., multiple loss masking spans per conversation if
unroll=False, else 1 prompt-response pair per conversation turn, with the prompt masked.
📌 Acceptance Criteria (Must-Haves for Completion)
- The feature must be functional and tested.
- The implementation must be documented in practical terms.
- No refactors unless directly necessary for feature completion.
🛠️ Project Management
- Assign the project to the Fast-LLM project.
- Set the
Estimatefield (in days) in the GitHub project. - Use the
Sizefield to categorize the PR size (Small/Medium/Large). - Assign an owner when opening the issue.
- 主要言語
- Python
- スター
- 337
- フォーク
- 52
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
- Dockerfile または Docker Compose ファイルあり
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
ServiceNow/Fast-LLM のほかの issue
-
難易度 4/5 3〜5日 初心者へのやさしさ 25/100
ServiceNow/Fast-LLM#556 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 30/100
ServiceNow/Fast-LLM#538 ·
-
enhancement
難易度 5/5 1週間以上 初心者へのやさしさ 12/100
ServiceNow/Fast-LLM#533 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 15/100
ServiceNow/Fast-LLM#510 · コメント 1 件 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 12/100
ServiceNow/Fast-LLM#507 ·
ServiceNow/Fast-LLM の issue をすべて見る
似ている issue
-
enhancement
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
glossyio/traffic-monitor#264 ·
メンテナーはふだん 1 日以内に返信
-
Add self-hostオープン
難易度 1/5 1時間未満 初心者へのやさしさ 75/100
Atarity/deploy-your-own-saas#102 ·
-
[Bug]: RDFlex silently drops the covariate adjustment when the outcome or treatment column is integer-typed対応中かも @vrjdev が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
DoubleML/doubleml-for-py#424 ·
メンテナーはふだん 1 日以内に返信
-
agentic-dmx docs enhancement
難易度 1/5 1〜3時間 初心者へのやさしさ 86/100
-
難易度 1/5 1時間未満 初心者へのやさしさ 72/100
521xueweihan/HelloGitHub#4150 ·