Hacktoberfest 2026：メンテナが10月に向けて印を付けた、オープンで初心者向けの issue。 Hacktoberfest の issue を見る

Speed up inference performance for attention and ssm layers with caching

オープン
  • 何か問題がありますか？
#279 コメント 0 件 リアクション 1 件 担当者 1 名 GitHub で見る

@bigximik がすでに取り組んでいます。

2025年6月30日 から。

評価

この issue はまだ評価されていません。

説明

enhancement need update

🎯 Goal (What & Why)

Speed up inference performance for attention layers with KV caching

Implemented based on functionality in Hugging Face Transformers. Needs to support data, model, and sequence parallelism.

🚀 Execution Plan

Step 1

support range of positions starting from > 0 in fast-llm inference which is needed for HF generate with cache as they send only the last token to model forward

Step 2: W

implement KV cache for HF generte

📌 Acceptance Criteria (Must-Haves for Completion)

  • The feature must be functional and tested.
  • The implementation must be documented in practical terms.
  • The PR must include a performance/impact summary.
  • No refactors unless directly necessary for feature completion.

🛠️ Project Management

  • Assign the project to the Fast-LLM project.
  • Set the Estimate field (in days) in the GitHub project.
  • Use the Size field to categorize the PR size (Small/Medium/Large).
  • Assign an owner when opening the issue.
主要言語
Python
スター
337
フォーク
52
30日以内にマージされた PR はありません

環境構築

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

ServiceNow/Fast-LLM のほかの issue

ServiceNow/Fast-LLM の issue をすべて見る

似ている issue

Python の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。