lmdeploy教程疑问 - KV Cache量化和W4A16量化怎么叠加？
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 25/100
- issue の種類
- ドキュメント
- 明瞭さ
- 説明が足りない
- 活発さ
- 停滞
- 技術スタック
- huggingface
調査の方向性
リンクされている lmdeploy.md の量子化セクションから始め、特に lmdeploy lite calibrate と lmdeploy lite auto_awq のエントリーポイントを確認してください。KV Cache と W4A16 量子化がどのように連携するか、また Turbomind から Hugging Face への変換パスが文書化されているかを検証してください。チュートリアルがサポートされているワークフローとモデル共有の変換手順を明確に説明していれば完了です。
索引モデルが issue の本文から書いたものです。
説明
lmdeploy教程量化部分 分别介绍了如何做KV Cache量化和W4A16量化，两者结果都得到turbomind格式的模型。
但怎么把这两者结合起来？比如在KV Cache量化的结果上做W4A16量化。
lmdeploy lite calibrate和lmdeploy lite auto_awq都𣎴接受turbomind格式的模型，该如何去叠加？
另外，如果想把量化后的模型和别人共享，怎么把turbomind格式的转换成hugging face格式的？
- 主要言語
- Python
- スター
- 2k
- フォーク
- 1.5k
- PR マージ指標
- 30日以内にマージされた PR はありません
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
InternLM/Tutorial のほかの issue
-
難易度 1/5 1時間未満 初心者へのやさしさ 85/100
-
難易度 1/5 1時間未満 初心者へのやさしさ 65/100
-
使用100%A100运行报错 オープン
難易度 4/5 3〜5日 初心者へのやさしさ 30/100
-
test オープン
難易度 5/5 1週間以上 初心者へのやさしさ 1/100
-
難易度 5/5 1週間以上 初心者へのやさしさ 20/100
InternLM/Tutorial の issue をすべて見る
似ている issue
-
enhancement
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
canonical/paas-charm#368 · コメント 1 件 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
-
tech debt
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
-
難易度 1/5 1時間未満 初心者へのやさしさ 90/100
StevenBlack/hosts#3256 ·
-
難易度 1/5 1時間未満 初心者へのやさしさ 90/100
qualcomm/qai-appbuilder#275 ·