flashinfer-ai/flashinfer

flashinfer.nvfp4_quantize: make CuTe-DSL backend's `a_global_sf` arg a host side arg (to align CuTe-DSL backend with CUDA backend)

Fermée

#4 112 ouverte le 23 juil. 2026

Voir sur GitHubGuide contributeur
 (2 commentaires) (0 réaction) (1 personne assignée)Python (1 031 forks)github user discovery
good first issueop: misc

Métriques du dépôt

Stars
 (5 756 étoiles)
Métriques de merge PR
 (Merge moyen 11j 23h) (186 PRs mergées en 30 j)

Description

As reported: "In flashinfer.nvfp4_quantize, the type of the argument a_global_sf is inconsistent. For cuda, it is a host side value; for cute-dsl, it is a device side tensor. The function description is not clear enough. We should make it host side and passed as a function argument.

What we might be able to do relatively easily is to change the cute-dsl backend kernel to accept either (a) a device side tensor of size 1 and dtype float32 (what we support today); or (b) a single float value that trivially comes from host.  That way it would be backwards compatible for those who might be using the device-side tensor."

Guide contributeur

Direction de recherche
Examinez le noyau backend CuTe DSL pour flashinfer.nvfp4 quantize afin de comprendre comment a global sf est actuellement passé. Modifiez le noyau pour accepter à la fois un tenseur côté périphérique de taille 1 et une valeur flottante côté hôte, en garantissant la rétrocompatibilité. Mettez à jour les liaisons Python pour passer la valeur flottante côté hôte comme argument de fonction, en vous alignant sur le backend CUDA.
Stack technique
python
Domaine
backendapi
Type d'issue
Refactorisation
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
CUDAC++CuTe
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
40