Add runtime LoRA adapter swapping
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 38/100
- issue の種類
- 機能追加
- 明瞭さ
- おおむね明確
- 活発さ
- 静か
- 技術スタック
- cpp
調査の方向性
まず、提案されている3ファイルのパッチと関連する issue #2046 を確認し、既存の StorageView および Python binding のエントリポイントを追跡します。意図されたスコープ、実験的な build-flag の動作、および binding を WhisperWrapper、Encoder/Generator、ベースの Model のいずれに配置すべきかを確認します。完了条件は、API の配置とスコープについて合意し、言及されているモデルパスでの実行時の切り替えを検証することです。
索引モデルが issue の本文から書いたものです。
説明
Hi,
I've built a working patch for runtime LoRA swapping and want to confirm it's within scope before opening a PR.
What it does: writes W ← W + scale × (B @ A) in-place on an existing StorageView buffer. This allows swapping LoRA adapters at runtime without reloading the model.
Motivation: serving N language-specific adapters on a single base model. Measured on L4 GPU (Whisper-large-v3 float16): cross-adapter swap ~54 ms vs ~1,520 ms for full model reload.
Patch size: 142 lines across 3 files. No existing API changed.
Questions:
Is this within scope for CTranslate2?
Should it be guarded by an experimental build flag?
Where should the Python binding live — currently on WhisperWrapper, but we've verified it works on OmniASR (Encoder/Generator) with the same pattern. Should it be on the base Model instead?
Happy to open a PR if the direction looks good.
Related: #2046
- 主要言語
- C++
- スター
- 4.8k
- フォーク
- 557
- 平均マージ
- 1日 6時間
- マージ済み PR(30日)
- 24
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートなし
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
OpenNMT/CTranslate2 のほかの issue
-
MPS: GPT-2 produces NaN logits and invalid token IDs対応中かも @TBO22 が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
OpenNMT/CTranslate2#2154 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
Allow no-timestamp Whisper decoding beyond 224 tokens対応中かも @Emre-Akgul が 127 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
OpenNMT/CTranslate2#2074 ·
メンテナーはふだん 1 日以内に返信
-
T5Gemma fails on MPS: incorrect beam expansion with padded batches対応中かも @TBO22 が今日担当しました。 オープン
難易度 4/5 3〜5日 初心者へのやさしさ 30/100
OpenNMT/CTranslate2#2153 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 5/5 1週間以上 初心者へのやさしさ 8/100
OpenNMT/CTranslate2#2152 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 3/5 1〜2日 初心者へのやさしさ 55/100
OpenNMT/CTranslate2#2149 ·
メンテナーはふだん 1 日以内に返信
OpenNMT/CTranslate2 の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
grizzlypeak3d/DJV#962 ·
-
cognizant-backlog
難易度 2/5 1〜3時間 初心者へのやさしさ 61/100
KhronosGroup/OpenCL-CTS#2882 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
Documentation: Fix parameter markup, legacy branch link, and phrasing in Detachable Joints and Model Command tutorials対応中かも @patelshivani2283-lab が今日担当しました。 オープン
難易度 1/5 1〜3時間 初心者へのやさしさ 88/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 73/100
LunarG/gfxreconstruct#3440 ·
メンテナーはふだん 2 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
メンテナーはふだん 1 日以内に返信