Option to vary configuration parameters across layers
@jlamypoirier がすでに取り組んでいます。
2025年3月5日 から。
評価
この issue はまだ評価されていません。
説明
🎯 Goal (What & Why)
We have several use-cases for varying parameters across layers (#147, #153) and will likely have many more in the future.
Best and simplest way to implement this would be a per-layer override mechanism based on #154, ex
transformer:
[...]
window_size: 8192
overrides:
- layers: 0:24:2
config:
window_size: null
🚀 Execution Plan
This is relatively simple to do once we have an override mechanism (#154)
Step 1: What is the smallest working version?
(Describe the simplest way to implement this feature with minimal effort.)
Step 2: What additional optimizations are possible (but optional)?
(List potential refinements that can be added in later PRs if needed.)
📌 Acceptance Criteria (Must-Haves for Completion)
- The feature must be functional and tested.
- The implementation must be documented in practical terms.
- The PR must include a performance/impact summary.
- No refactors unless directly necessary for feature completion.
🛠️ Project Management
- Assign the project to the Fast-LLM project.
- Set the
Estimatefield (in days) in the GitHub project. - Use the
Sizefield to categorize the PR size (Small/Medium/Large). - Assign an owner when opening the issue.
- 主要言語
- Python
- スター
- 337
- フォーク
- 52
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
- Dockerfile または Docker Compose ファイルあり
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
ServiceNow/Fast-LLM のほかの issue
-
難易度 4/5 3〜5日 初心者へのやさしさ 25/100
ServiceNow/Fast-LLM#556 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 30/100
ServiceNow/Fast-LLM#538 ·
-
enhancement
難易度 5/5 1週間以上 初心者へのやさしさ 12/100
ServiceNow/Fast-LLM#533 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 15/100
ServiceNow/Fast-LLM#510 · コメント 1 件 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 12/100
ServiceNow/Fast-LLM#507 ·
ServiceNow/Fast-LLM の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
vllm-project/vllm#64845 ·
メンテナーはふだん 1 日以内に返信
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
dekobon/big-code-analysis#1729 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
pydantic/pydantic-ai#12091 ·
メンテナーはふだん 1 日以内に返信
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 88/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100