Support sequence data parallelism during generation
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 8/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Stack tecnológico
- huggingface, python
- Área
- ai-infra-agents
Línea de trabajo
The payload names only the HF adapter interface and generate under data parallelism, with no file paths or tests. The open question is whether logits return on all model and sequence parallel ranks or only the main one, and the issue leaves that undecided. Settle that design choice with maintainers before writing code; done means that decision is recorded and a tested, documented PR exists.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
🎯 Goal (What & Why)
Support sequence data parallelism during generate via the HF adapter interface.
We need to decide how to integrate this. generate must run on each data parallel block, but for example, should we return logits on all model and sequence parallel ranks in the block, or just on the main one?
🚀 Execution Plan
Step 1: What is the smallest working version?
tbd
Step 2: What additional optimizations are possible (but optional)?
tbd
📌 Acceptance Criteria (Must-Haves for Completion)
- The feature must be functional and tested.
- The implementation must be documented in practical terms.
- The PR must include a performance/impact summary.
- No refactors unless directly necessary for feature completion.
🛠️ Project Management
- Assign the project to the Fast-LLM project.
- Set the
Estimatefield (in days) in the GitHub project. - Use the
Sizefield to categorize the PR size (Small/Medium/Large). - Assign an owner when opening the issue.
- Lenguaje dominante
- Python
- Estrellas
- 337
- Forks
- 52
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
- Incluye un Dockerfile o un archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de ServiceNow/Fast-LLM
-
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
ServiceNow/Fast-LLM#556 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 30/100
ServiceNow/Fast-LLM#538 ·
-
enhancement
Dificultad 5/5 Más de una semana Aptitud para principiantes 12/100
ServiceNow/Fast-LLM#533 ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 15/100
ServiceNow/Fast-LLM#510 · 1 comentario ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 12/100
ServiceNow/Fast-LLM#507 ·
Todos los issues de ServiceNow/Fast-LLM
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
Nixtla/mlforecast#823 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
microsoft/ML-For-Beginners#1061 ·
-
bot-found documentation priority: P3
Dificultad 2/5 Menos de una hora Aptitud para principiantes 82/100
madenvel/KalinkaPlayer#503 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 63/100
EleutherAI/lm-evaluation-harness#4508 ·
Los mantenedores suelen responder en 1 día