flashinfer-ai/flashinfer

[Compilation] GDN decode cold kernel compilation time is too long on SM90/100/120/121

Ouverte

#4 110 ouverte le 23 juil. 2026

Voir sur GitHubGuide contributeur
 (12 commentaires) (0 réaction) (1 personne assignée)Python (1 031 forks)github user discovery
good first issueop: gdn

Métriques du dépôt

Stars
 (5 756 étoiles)
Métriques de merge PR
 (Merge moyen 11j 23h) (186 PRs mergées en 30 j)

Description

Noticed by @bkryu : "In our recent CI telemetry, we have been seeing that tests/gdn/test_decode_delta_rule.py runs very long (30-50 mins on every arch) and has been straining our CI.

TL;DR of the cause: the reference and kernels are all fine. Most time is spent on cold kernel compilation. On a B200 I locally see ~800 cases that collapses to ~200 cute.compile calls based on the cache key logic.

For some kernels, B/tile_v/T/cache flags/pool-strides each key a new compile. Would be great if we can make the kernels batch and/or seqlen dynamic to systematically reduce unit testing time."

Guide contributeur

Direction de recherche
Concevez une paramétrisation dynamique du noyau pour réduire les appels de compilation uniques.
Stack technique
python
Domaine
backend
Type d'issue
Performance
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
GitPython
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
30