flashinfer-ai/flashinfer

flashinfer.nvfp4_quantize: make CuTe-DSL backend's `a_global_sf` arg a host side arg (to align CuTe-DSL backend with CUDA backend)

Chiusa

#4112 aperta il 23 lug 2026

Vedi su GitHubGuida contributor
 (2 commenti) (0 reazioni) (1 assegnatario)Python (1031 fork)github user discovery
good first issueop: misc

Metriche repository

Star
 (5756 stelle)
Metriche merge PR
 (Merge medio 11g 23h) (186 PR mergiate in 30 g)

Descrizione

As reported: "In flashinfer.nvfp4_quantize, the type of the argument a_global_sf is inconsistent. For cuda, it is a host side value; for cute-dsl, it is a device side tensor. The function description is not clear enough. We should make it host side and passed as a function argument.

What we might be able to do relatively easily is to change the cute-dsl backend kernel to accept either (a) a device side tensor of size 1 and dtype float32 (what we support today); or (b) a single float value that trivially comes from host.  That way it would be backwards compatible for those who might be using the device-side tensor."

Guida contributor

Direzione di ricerca
Esamina il kernel del backend CuTe DSL per flashinfer.nvfp4 quantize per capire come viene attualmente passato a global sf. Modifica il kernel per accettare sia un tensore lato dispositivo di dimensione 1 sia un valore float lato host, garantendo la retrocompatibilità. Aggiorna i binding Python per passare il valore float lato host come argomento della funzione, allineandoti al backend CUDA.
Tech stack
python
Dominio
backendapi
Tipo issue
Refactoring
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
CUDAC++CuTe
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40