NVIDIA/hyperflare-inference

Ver en GitHub

¿Es NVIDIA/hyperflare-inference apto para principiantes?

En los últimos 30 días, NVIDIA/hyperflare-inference fusionó 19 de 79 pull requests de colaboradores externos, y sus mantenedores suelen responder en 1 día. Ahora mismo hay 2 issues aptos para principiantes abiertos.

Estrellas: 800
Forks: 106
Issues abiertos para principiantes: 2
Issues indexados: 77
Merge medio: 1 d 3 h
PR fusionados (30 d): 100

Lenguaje dominante: Rust
Licencia: Apache-2.0
Último push a GitHub: 12/11/2026
Última indexación: 22/10/2026
Guía de contribución: Guía de contribución
Código de conducta: Sin código de conducta
Etiquetas para principiantes: Sin etiquetas para principiantes indexadas

Cómo contribuir a NVIDIA/hyperflare-inference

Lee primero la guía de contribución: explica cómo quieren los mantenedores que se propongan, prueben y revisen los cambios.
Incluye un Dockerfile o un archivo de Docker Compose, así que puedes ejecutarlo sin instalar todas sus herramientas.
Tus contribuciones se publicarán bajo la licencia Apache-2.0 del proyecto.
Elige uno de los 2 issues abiertos aptos para principiantes de abajo y comenta que quieres trabajar en él antes de empezar.

Para principiantes Todo

Abierto Todos

Las issues en las que quizá ya trabaja alguien aparecen al final. Ordenar todo por fecha

BUG: nemotron-bolt-24gb export fails during kernel tuning on SM120: b12x
Abierto
- ¿Algo no está bien?
Dificultad 5/5 Más de una semana Aptitud para principiantes 15/100

NVIDIA/hyperflare-inference#278 · Abierto el 12/11/2026

Los mantenedores suelen responder en 1 día
GLM-5.3 Flash across two hosts: compiled-forward binding fails on a rank-local guard
Abierto
- ¿Algo no está bien?
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100

NVIDIA/hyperflare-inference#276 · Abierto el 12/11/2026

Los mantenedores suelen responder en 1 día
Multi-host RoCE cores exported at 0572fd12 do not start: pinned FlashInfer 7b35510b records proxy ABI 14, the runtime provides 11
Abierto
- ¿Algo no está bien?
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

NVIDIA/hyperflare-inference#271 · Abierto el 12/11/2026

Los mantenedores suelen responder en 1 día
GB10 TP3: DeepSeek V4.1 Flash export at 0572fd12 fails kernel tuning with a 0-byte scratch limit; 7.1-7.9 GiB available, below the 8 GiB floor
Abierto
- ¿Algo no está bien?
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

NVIDIA/hyperflare-inference#270 · 1 comentario · Abierto el 12/11/2026

Los mantenedores suelen responder en 1 día
Engram row cache: four-way sets evict or refuse re-read rows while a third of slots are free (87 % vs 99.8 % re-read hit rate at 1 vs 4 GiB)
Abierto
- ¿Algo no está bien?
Dificultad 5/5 Más de una semana Aptitud para principiantes 12/100

NVIDIA/hyperflare-inference#269 · Abierto el 12/11/2026

Los mantenedores suelen responder en 1 día
BUG: qwen3.8-27b export fails warming compiled forwards on SM120
Abierto
- ¿Algo no está bien?
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100

NVIDIA/hyperflare-inference#268 · Abierto el 12/11/2026

Los mantenedores suelen responder en 1 día
Can we get c2606aa merged in?
Abierto
- ¿Algo no está bien?
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

NVIDIA/hyperflare-inference#267 · 2 comentarios · Abierto el 11/11/2026

Los mantenedores suelen responder en 1 día
First captured graph keeps a transient cuBLAS split-K workspace: Xid 31 on DeepSeek V4.1 TP4 with --prefill-chunk-size 8192 at 7f534bb6
Abierto
- ¿Algo no está bien?
Dificultad 4/5 3-5 días Aptitud para principiantes 43/100

NVIDIA/hyperflare-inference#266 · 3 comentarios · Abierto el 11/11/2026

Los mantenedores suelen responder en 1 día
GB10 TP1 (Qwen3.8 Flash Next): alpha package at `--max-concurrency 16` gives +47% KV and faster C1/C4; one-box DFlash2+A16 export does not beat MTP
Abierto
- ¿Algo no está bien?
Dificultad 3/5 1-2 días Aptitud para principiantes 48/100

NVIDIA/hyperflare-inference#263 · 1 comentario · Abierto el 11/11/2026

Los mantenedores suelen responder en 1 día
Host prefix cache: ~30 % of hits dropped as capacity_rejected and fully recomputed
Abierto
- ¿Algo no está bien?
Dificultad 4/5 3-5 días Aptitud para principiantes 42/100

NVIDIA/hyperflare-inference#255 · Abierto el 10/11/2026

Los mantenedores suelen responder en 1 día
Retrospective DCO confirmation by Martin Vit for 131 commits
Abierto
- ¿Algo no está bien?
Dificultad 1/5 Menos de una hora Aptitud para principiantes 1/100

NVIDIA/hyperflare-inference#254 · Abierto el 10/11/2026

Los mantenedores suelen responder en 1 día
DeepSeek-V4-Flash-Vision-Exp TP2/TP4: b12x tiny-decode MoE kernel skips `swiglu_limit` (fix in local-inference-lab/flashinfer#83)
Abierto
- ¿Algo no está bien?
Dificultad 4/5 3-5 días Aptitud para principiantes 38/100

NVIDIA/hyperflare-inference#249 · 1 comentario · Abierto el 10/11/2026

Los mantenedores suelen responder en 1 día
Multi-host export compiles for 22 minutes, then fails, when one rank has no memory for a forward compiler
Abierto
- ¿Algo no está bien?
Dificultad 4/5 3-5 días Aptitud para principiantes 49/100

NVIDIA/hyperflare-inference#242 · 1 comentario · Abierto el 9/11/2026

Los mantenedores suelen responder en 1 día
break out engram wait time
Abierto
- ¿Algo no está bien?
area:caching area:engram enhancement performance triage:design-review

Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100

NVIDIA/hyperflare-inference#230 · 1 comentario · Abierto el 8/11/2026

Los mantenedores suelen responder en 1 día
Multi-host prefix cache: startup row thinning of a recovered disk store overflows the 64-frame record backlog and stops the server
Abierto
- ¿Algo no está bien?
area:caching area:selene bug model:deepseek-v4.1 priority:P1 triage:investigate

Dificultad 3/5 1-2 días Aptitud para principiantes 42/100

NVIDIA/hyperflare-inference#189 · 1 comentario · Abierto el 3/11/2026

Los mantenedores suelen responder en 1 día
DeepSeek 4.1 TP3 on GB10: 0.46 GiB/GPU less prefill scratch gave +7.6 % KV tokens (measurement only)
Abierto
- ¿Algo no está bien?
area:memory area:preparation model:deepseek-v4.1 performance triage:design-review

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

NVIDIA/hyperflare-inference#186 · 2 comentarios · Abierto el 3/11/2026

Los mantenedores suelen responder en 1 día
Roadmap question: prefill/decode disaggregation roles, now that the prefix cache pool exists?
Abierto
- ¿Algo no está bien?
area:caching area:selene triage:design-review

Dificultad 5/5 Más de una semana Aptitud para principiantes 12/100

NVIDIA/hyperflare-inference#160 · Abierto el 31/10/2026

Los mantenedores suelen responder en 1 día
DeepSeek V4.1 Flash TP3 on GB10: a speculative round costs 1.4-2x a width-one round, a fixed draft cost plus about 4 ms per verified row
Abierto
- ¿Algo no está bien?
area:kernels area:scheduling model:deepseek-v4.1 performance triage:design-review

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

NVIDIA/hyperflare-inference#153 · 1 comentario · Abierto el 30/10/2026

Los mantenedores suelen responder en 1 día
DeepSeek V4.1 Flash TP3 on GB10: with four requests, the balanced policy verifies most rounds at width one; throughput is 8% faster on prose
Abierto
- ¿Algo no está bien?
area:scheduling model:deepseek-v4.1 performance triage:design-review

Dificultad 4/5 3-5 días Aptitud para principiantes 38/100

NVIDIA/hyperflare-inference#152 · 1 comentario · Abierto el 30/10/2026

Los mantenedores suelen responder en 1 día
GB10 TP2 serving: first request times out on RoCE collective (HCA 0, sequence 1) when both CX-7 rails are active; single rail works
Abierto
- ¿Algo no está bien?
area:rocenante bug model:glm-5.3 priority:P2 triage:investigate

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

NVIDIA/hyperflare-inference#151 · 2 comentarios · Abierto el 30/10/2026

Los mantenedores suelen responder en 1 día
GB10 TP2 export: b12x RoCE prep hard-defaults to GID index 3 and fails when the IPv4 RoCE v2 GID is elsewhere (Helios already scans)
Abierto
- ¿Algo no está bien?
area:preparation area:rocenante bug model:qwen3.8-flash-next priority:P2 triage:investigate

Dificultad 4/5 1-2 días Aptitud para principiantes 54/100

NVIDIA/hyperflare-inference#143 · Abierto el 29/10/2026

Los mantenedores suelen responder en 1 día
DeepSeek V4.1 TP4 export on GB10: Xid 13 "Illegal Instruction Encoding" while warming compiled forwards at eb71702b (bce032c works)
Abierto
- ¿Algo no está bien?
area:preparation bug model:deepseek-v4.1 priority:P2 triage:investigate

Dificultad 5/5 Más de una semana Aptitud para principiantes 36/100

NVIDIA/hyperflare-inference#137 · 10 comentarios · Abierto el 29/10/2026

Los mantenedores suelen responder en 1 día
Let preparation peers read their own checkpoint copy (multi-host load 252 s -> 45-50 s on GB10)
Abierto
- ¿Algo no está bien?
area:preparation model:deepseek-v4.1 performance triage:design-review

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

NVIDIA/hyperflare-inference#126 · 4 comentarios · Abierto el 28/10/2026

Los mantenedores suelen responder en 1 día
DeepSeek V4.1 Flash: positions before token 128 return context-free logits when the reasoning-effort prefix is present
Abierto
- ¿Algo no está bien?
bug model:deepseek-v4.1 priority:P2 triage:investigate

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

NVIDIA/hyperflare-inference#118 · 9 comentarios · Abierto el 28/10/2026

Los mantenedores suelen responder en 1 día
Qwen3.8 `--mixed-prefill` exports fail on main: two regressions (317c1ecc, bce032c0)
Abierto
- ¿Algo no está bien?
area:preparation bug model:qwen3.8-flash-next priority:P1 triage:review

Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

NVIDIA/hyperflare-inference#115 · 2 comentarios · 1 reacción · Abierto el 27/10/2026

Los mantenedores suelen responder en 1 día
b12x CompilePool: compiling in a worker that already described the job publishes nothing (lru_cache in mla_compress escapes evict_planning_artifacts)
Abierto
- ¿Algo no está bien?
area:preparation bug model:deepseek-v4.1 priority:P2 triage:investigate

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

NVIDIA/hyperflare-inference#112 · Abierto el 27/10/2026

Los mantenedores suelen responder en 1 día
Warm multi-host start re-hashes each peer's cached rank on one thread (7 min for a 280 GB DeepSeek V4.1 TP4 rank)
Abierto
- ¿Algo no está bien?
area:caching area:packaging model:deepseek-v4.1 performance triage:design-review

Dificultad 4/5 3-5 días Aptitud para principiantes 45/100

NVIDIA/hyperflare-inference#93 · 1 comentario · Abierto el 26/10/2026

Los mantenedores suelen responder en 1 día
DS4.1 Flash disk Engram: 8–32 GiB cache leaves long first-touch prefill unchanged; warmed controls recover throughput
Abierto
- ¿Algo no está bien?
area:caching area:engram model:deepseek-v4.1 performance triage:investigate

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

NVIDIA/hyperflare-inference#78 · 1 comentario · Abierto el 25/10/2026

Los mantenedores suelen responder en 1 día
qwen38: support compressed-tensors NVFP4 expert-only checkpoints such as ThinkingCap-Qwen3.8-Flash-Next-NVFP4
Abierto
- ¿Algo no está bien?
model:qwen3.8-flash-next triage:design-review

Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100

NVIDIA/hyperflare-inference#74 · Abierto el 24/10/2026

Los mantenedores suelen responder en 1 día
Nemotron 3.5 Bolt on GB10: intermittent "prepared model reported device error 6" mid-stream at concurrency 1
Abierto
- ¿Algo no está bien?
bug model:nemotron-3.5-bolt priority:P2 triage:investigate

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

NVIDIA/hyperflare-inference#52 · Abierto el 23/10/2026

Los mantenedores suelen responder en 1 día
128 shared snapshot slots cap multi-user prefix reuse on a 4-Spark DeepSeek TP4 ring
Abierto
- ¿Algo no está bien?
area:caching area:memory area:selene enhancement model:deepseek-v4.1 performance triage:verify-for-closure

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

NVIDIA/hyperflare-inference#47 · 2 comentarios · Abierto el 23/10/2026

Los mantenedores suelen responder en 1 día
Dense Qwen retains duplicate attention and FP8 input staging across graph capacities
Abierto
- ¿Algo no está bien?
area:memory area:preparation model:qwen3.8-27b performance triage:verify-for-closure

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

NVIDIA/hyperflare-inference#46 · 1 comentario · Abierto el 23/10/2026

Los mantenedores suelen responder en 1 día
Dense Qwen retains duplicate MLP intermediates across serialized graph capacities
Abierto
- ¿Algo no está bien?
area:memory area:preparation model:qwen3.8-27b performance triage:verify-for-closure

Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

NVIDIA/hyperflare-inference#45 · 1 comentario · Abierto el 23/10/2026

Los mantenedores suelen responder en 1 día
Proposal: dense Qwen3.8-27B DFlash2 with BF16 and calibrated NVFP4 drafters
Abierto
- ¿Algo no está bien?
enhancement model:qwen3.8-27b triage:design-review

Dificultad 5/5 Más de una semana Aptitud para principiantes 18/100

NVIDIA/hyperflare-inference#44 · 1 comentario · Abierto el 23/10/2026

Los mantenedores suelen responder en 1 día
RoCE ring: distant ranks have no fabric path — forward 2-hop transfers via flow label 16383 instead of the CPU relay
Abierto
- ¿Algo no está bien?
area:rocenante performance triage:design-review

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

NVIDIA/hyperflare-inference#34 · Abierto el 23/10/2026

Los mantenedores suelen responder en 1 día
OpenAI tool-call compatibility issue in flare that kills agentic loops
Abierto
- ¿Algo no está bien?
area:api bug triage:verify-for-closure

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

NVIDIA/hyperflare-inference#32 · 1 comentario · Abierto el 22/10/2026

Los mantenedores suelen responder en 1 día
DeepSeek V4.1 Flash (gb10): draft acceptance 24.5%/32.8% and draft depth locked to 5 — widths 2-5 reported by inspect but not servable
Abierto
- ¿Algo no está bien?
area:scheduling bug model:deepseek-v4.1 performance priority:P2 triage:investigate

Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

NVIDIA/hyperflare-inference#24 · Abierto el 22/10/2026

Los mantenedores suelen responder en 1 día
Proposal: native BF16 MTP speculative decoding for dense Qwen3.8-27B (qwen38_dense), with results on SM120
Abierto
- ¿Algo no está bien?
model:qwen3.8-27b triage:design-review

Dificultad 5/5 Más de una semana Aptitud para principiantes 15/100

NVIDIA/hyperflare-inference#20 · Abierto el 22/10/2026

Los mantenedores suelen responder en 1 día
Add an embeddable Rust SDK for in-process Flare inference
Abierto
- ¿Algo no está bien?
triage:design-review

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

NVIDIA/hyperflare-inference#6 · 1 comentario · 1 reacción · Abierto el 21/10/2026

Los mantenedores suelen responder en 1 día
Congratulations!
Abierto
- ¿Algo no está bien?
community

Dificultad 1/5 Menos de una hora Aptitud para principiantes 1/100

NVIDIA/hyperflare-inference#1 · 2 comentarios · 11 reacciones · Abierto el 20/10/2026

Los mantenedores suelen responder en 1 día
WARM prefix-cache regression under KV pressure on DGX Spark (Qwen3.8 Flash Next, TP1)
Posiblemente ocupada @shadownetX la tomó hace 6 días. Abierto
- ¿Algo no está bien?
area:caching area:scheduling area:selene bug model:qwen3.8-flash-next performance priority:P2 triage:review

Dificultad 4/5 3-5 días Aptitud para principiantes 45/100

NVIDIA/hyperflare-inference#225 · 1 comentario · Abierto el 7/11/2026

Los mantenedores suelen responder en 1 día
Qwen3.8 Flash Next DFlash2: mixed prefill rounds, YaRN serving, and served measurements from a fork
Posiblemente ocupada Un pull request vinculado a esta issue está abierto o ya se fusionó. Abierto
- ¿Algo no está bien?
model:qwen3.8-flash-next triage:design-review

Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100

NVIDIA/hyperflare-inference#210 · Abierto el 5/11/2026

Los mantenedores suelen responder en 1 día
Payload inspection omits the selected deployment rebuild manifest
Posiblemente ocupada @0z5a la tomó hace 9 días. Abierto
- ¿Algo no está bien?
area:packaging bug priority:P2 triage:review

Dificultad 4/5 3-5 días Aptitud para principiantes 25/100

NVIDIA/hyperflare-inference#195 · Abierto el 4/11/2026

Los mantenedores suelen responder en 1 día
DeepSeek V4.1 Flash gb202 TP4: next-token logits intermittently corrupt mid-reply (stray "##", "-", "<ds_safety>" classifier text in answers)
Posiblemente ocupada @voipmonitor la tomó hace 7 días. Abierto
- ¿Algo no está bien?
bug model:deepseek-v4.1 priority:P1 triage:investigate

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

NVIDIA/hyperflare-inference#193 · 9 comentarios · 1 asignado · Abierto el 4/11/2026

Los mantenedores suelen responder en 1 día
Multi-host export: when rank zero rejects a peer's checkpoint completion, the reason is never reported
Posiblemente ocupada Un pull request vinculado a esta issue está abierto o ya se fusionó. Abierto
- ¿Algo no está bien?
area:preparation bug model:deepseek-v4.1 priority:P2 triage:review

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

NVIDIA/hyperflare-inference#156 · Abierto el 30/10/2026

Los mantenedores suelen responder en 1 día
Orbit agent eviction removes `flare download`'s default model store in `~/.cache/flare/packages`
Posiblemente ocupada @efegokdemir la tomó hace 15 días. Abierto
- ¿Algo no está bien?
area:caching area:orbit bug model:deepseek-v4.1 priority:P1 triage:review

Dificultad 4/5 1-2 días Aptitud para principiantes 45/100

NVIDIA/hyperflare-inference#119 · Abierto el 28/10/2026

Los mantenedores suelen responder en 1 día
Released snapshot aliases hand KV pages back with stale row bytes; masked attention turns them into NaN (device error 6 under KV pressure)
Posiblemente ocupada @mark-yong la tomó hace 10 días. Abierto
- ¿Algo no está bien?
area:caching area:kernels bug model:deepseek-v4.1 model:qwen3.8-27b priority:P1 triage:partial

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

NVIDIA/hyperflare-inference#116 · 5 comentarios · Abierto el 27/10/2026

Los mantenedores suelen responder en 1 día
GB10 TP2: kernel tuning MemoryError with MTP (glm-5.3-flash); vm.min_free_kbytes hides ~6.6 GB from the headroom check
Posiblemente ocupada Un pull request vinculado a esta issue está abierto o ya se fusionó. Abierto
- ¿Algo no está bien?
area:memory area:preparation bug model:glm-5.3 priority:P2 triage:review

Dificultad 4/5 3-5 días Aptitud para principiantes 45/100

NVIDIA/hyperflare-inference#73 · 2 comentarios · Abierto el 24/10/2026

Los mantenedores suelen responder en 1 día
Export fails with EINVAL when the package cache is on mergerfs (renameat2 RENAME_NOREPLACE unsupported)
Posiblemente ocupada @efegokdemir la tomó hace 19 días. Abierto
- ¿Algo no está bien?
area:caching area:packaging bug model:gemma4 priority:P2 triage:review

Dificultad 3/5 1-2 días Aptitud para principiantes 54/100

NVIDIA/hyperflare-inference#54 · Abierto el 23/10/2026

Los mantenedores suelen responder en 1 día

NVIDIA/hyperflare-inference

¿Es NVIDIA/hyperflare-inference apto para principiantes?

Cómo contribuir a NVIDIA/hyperflare-inference

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

¿Algo no está bien?

Recibe los nuevos issues en tu correo