Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

524K via rope-scaling on consumer Blackwell (sm_120, no clusters): the histogram fallback works end to end — field data + two budget gotchas on 16GB cards

Cerrado
  • ¿Algo no está bien?
#760 2 comentarios 0 reacciones 0 asignados Ver en GitHub

Los mantenedores suelen responder en 3 días

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
2/5
Tiempo estimado
1-3 horas
Aptitud para principiantes
54/100
Tipo de issue
Documentación
Claridad
Bastante claro
Estado de actividad
Activo
Stack tecnológico
cpp
Área
documentation, performance

Línea de trabajo

Lee la sección del README sobre la CLI de rope-scaling (las entradas 384K/512K marcadas como «experimental») y la documentación que cubre --prefill, --vram-reserve-mib y el staging de la caché de expertos. Se considera completado cuando haya: una nota al pie indicando que en sm_120 (Blackwell de consumo) la selección qsa_block_topk recurre al camino del histograma (véase qsa_select.cu) en lugar del kernel de clúster, más una nota sobre el compromiso entre el KV-pool de 524K y el staging donde se requiere --prefill 4096. Verificar la redacción respecto al comportamiento medido en el issue; no se necesita ningún cambio de código.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

Your README lists 384K/512K (experimental) via the rope-scaling CLI. Just filed field data for the corner nobody can test in CI: consumer Blackwell (RTX 5060 Ti 16GB, sm_120) has no thread-block clusters, so qsa_block_topk runs entirely through the histogram fallback at those contexts — and it works, end to end, past the trained window.

Rig: 4x 5060 Ti (gen5, x8/x4/x8/x4), 9950X, 128GB DDR5-5000. Engine: the eddoursul/Strata custom fork extended to 4-GPU expert tiers (our build: https://github.com/johnmosesventura06/strata-4gpu, PR https://github.com/eddoursul/Strata/pull/4 carries your qsa_select.cu + rope_scaling machinery onto that fork), UD-Q4_K_XL, int8 KV, MTP on.

At --rope-scaling yarn --rope-scale 2.0 --max-context 524288:

  • boot READY, rope scaling yarn, factor 2 (freq_scale 0.5, mscale 1.069315) — mscale exactly 1 + 0.1*ln(2)
  • 281,535-token cold prompt: 1,418 t/s prefill; decode at 225K–312K depth: 84–111 t/s
  • warm replay of the 312K prompt: 12 ms (312,134 tokens from checkpoints)
  • identity gate: --rope-scale 1.0 @196,608 reproduced the unscaled decode band (98.2 t/s) — the scaling path is bit-neutral when off

Two budget facts on 16GB cards that the CLI docs don't mention:

  1. At 524K the KV pool (~3.7GB int8) lands before the auto expert cache sizes itself; main-card residency drains to ~202 slots and ranked experts fall to host/tier. Measured cost is modest (decode -5% per residency halving), but the staging consequence is hard: --prefill 24576's ~2.4GB of device buffers can no longer borrow or allocate and the engine dies between load and READY. --prefill 4096 boots; the chunk clamp itself costs 18% of prefill (A/B'd with residency held constant: 2,159 -> 1,778 t/s at 256K with a fat cache).
  2. --vram-reserve-mib is not the escape hatch: raising it to buy the staging back starves the ~1.4GB weight arena first and dies before that. The real lever at 524K is KV-side bytes (k8v4 — we haven't gaunted it yet).

And one doc suggestion: 384K/512K "experimental" probably needs a footnote that on sm_120 (all consumer Blackwell) selection lands on the histogram fallback rather than the cluster kernel — users will otherwise read "unsupported geometry or cap"-adjacent failures as broken rather than as the intended fallback... which, to be fair, this run proves is not broken.

Happy to re-run any arm on this box if it helps you pin the fallback's geometry limits.

Lenguaje dominante
C++
Estrellas
11.6k
Forks
1k
Sin PR fusionados en 30 d

Preparar el entorno

Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de Niko1221/Strata

Todos los issues de Niko1221/Strata

Issues similares

Más issues de C++

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.