Support generation with caching for SSMs and SSM–Transformer hybrids.
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Accessibilité débutants
- 8/100
- Type d'issue
- Fonctionnalité
- Clarté
- À clarifier
- Activité
- À l'abandon
- Stack technique
- python
- Domaine
- machine-learning
Piste de recherche
The issue is a placeholder: Step 1 and Step 2 are both 'tbd', and it depends on #278 and #279, which are not in the payload. Start by reading those two issues to learn what they establish, then ask the maintainers to define the smallest working version. Done means generation caching works for SSM and hybrid models under data and tensor parallelism, with tests and a performance summary.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
🎯 Goal (What & Why)
Support generation with caching for SSMs and SSM–Transformer hybrids. Depends on #278 and #279
Must support data and tensor parallelism.
🚀 Execution Plan
Step 1: What is the smallest working version?
tbd
Step 2: What additional optimizations are possible (but optional)?
tbd
📌 Acceptance Criteria (Must-Haves for Completion)
- The feature must be functional and tested.
- The implementation must be documented in practical terms.
- The PR must include a performance/impact summary.
- No refactors unless directly necessary for feature completion.
🛠️ Project Management
- Assign the project to the Fast-LLM project.
- Set the
Estimatefield (in days) in the GitHub project. - Use the
Sizefield to categorize the PR size (Small/Medium/Large). - Assign an owner when opening the issue.
- Langage dominant
- Python
- Étoiles
- 337
- Forks
- 52
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Préparer son environnement
- Fournit un Dockerfile ou un fichier Docker Compose
- Propose un modèle de pull request
- Lire le guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de ServiceNow/Fast-LLM
-
Difficulté 4/5 3-5 jours Accessibilité débutants 25/100
ServiceNow/Fast-LLM#556 ·
-
Difficulté 4/5 3-5 jours Accessibilité débutants 30/100
ServiceNow/Fast-LLM#538 ·
-
enhancement
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 12/100
ServiceNow/Fast-LLM#533 ·
-
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 15/100
ServiceNow/Fast-LLM#510 · 1 commentaire ·
-
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 12/100
ServiceNow/Fast-LLM#507 ·
Toutes les issues de ServiceNow/Fast-LLM
Issues similaires
-
Difficulté 2/5 1-3 heures Accessibilité débutants 76/100
microsoft/agent-lightning#661 ·
Les mainteneurs répondent en général sous 2 jours
-
area/profiles comp/cli P3 type/feature
Difficulté 2/5 1-3 heures Accessibilité débutants 74/100
NousResearch/hermes-agent#146372 ·
Les mainteneurs répondent en général sous 1 jour
-
[BUG] OpenAI-compatible embedding model alias breaks embedder constructionPeut-être pris Une pull request liée à cette issue est ouverte ou déjà fusionnée. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 65/100
Les mainteneurs répondent en général sous 1 jour
-
[oblt-aw][autodoc] Document obs-aw-automerge contract and fix automerge doc inconsistenciesPeut-être pris @github-actions l’a pris aujourd’hui. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 76/100
Les mainteneurs répondent en général sous 1 jour
-
GeoSeries scale and skew tests fail with pytest 9.2.0Peut-être pris @jiayuasu l’a pris aujourd’hui. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 82/100
Les mainteneurs répondent en général sous 1 jour