Consider using pre-built Flash Attention kernels via `kernels`
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 35/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bastante claro
- Estado de actividad
- Tranquilo
- Stack tecnológico
- python
- Área
- machine-learning
Línea de trabajo
Start by locating where this project uses Flash Attention and how that dependency is installed or built; the issue does not name files or tests. Compare the existing integration with the kernels package's kernels-community/flash-attn3 entry point, then determine whether supported machines and outputs meet the project's needs. Done means the maintainers agree on the integration and its scope; the issue offers a draft but does not specify acceptance criteria.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Hey,
I am Sayak from the Kernels team at Hugging Face. I noticed that this project uses Flash Attention which includes a long build time. We ship pre-built binaries (which provide bit-exact outputs as the upstream) and thereby, we make it easy to use.
Using FA3 on a supported machine is as easy as:
# make sure `kernels` is installed: `pip install -U kernels`
from kernels import get_kernel
kernel_module = get_kernel("kernels-community/flash-attn3")
flash_attn_func = kernel_module.flash_attn_func
flash_attn_func(...)
Let us know if you'd be interested in this and and we'd be happy to provide a draft of how it would look in your repo.
- Lenguaje dominante
- Python
- Estrellas
- 3.5k
- Forks
- 328
- Merge medio
- 16 h 25 min
- PR fusionados (30 d)
- 121
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de superlinked/sie
-
MODEL_NOT_FOUND gives no suggestion for a model listed only as model:profilePosiblemente ocupada @ShaiShmuel la tomó hoy. Abiertoenhancement rust
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
superlinked/sie#985 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 4/5 3-5 días Aptitud para principiantes 42/100
superlinked/sie#969 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
superlinked/sie#903 · 4 comentarios ·
Los mantenedores suelen responder en 1 día
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
superlinked/sie#892 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
superlinked/sie#851 · 4 comentarios ·
Los mantenedores suelen responder en 1 día
Todos los issues de superlinked/sie
Issues similares
-
Feature Request
Dificultad 1/5 1-3 horas Aptitud para principiantes 68/100
spotDL/spotify-downloader#2839 ·
Los mantenedores suelen responder en 1 día
-
Missing license fileAbierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 85/100
-
ops/setup.py writes ops/hub.json non-atomically (the torn-write class of #219, in the installer)Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 79/100
mattabate/life-distributable#230 ·
Los mantenedores suelen responder en 1 día
-
enhancement triage:not-checked
Dificultad 2/5 1-3 horas Aptitud para principiantes 66/100
inventree/InvenTree#13318 · 1 reacción ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
google/secops-wrapper#229 ·