flashinfer-ai/flashinfer

[Compilation] GDN decode cold kernel compilation time is too long on SM90/100/120/121

Offen

#4.110 geöffnet am 23.07.2026

Auf GitHub ansehenContributor Guide
 (12 Kommentare) (0 Reaktionen) (1 zugewiesene Person)Python (1.031 Forks)github user discovery
good first issueop: gdn

Repository-Metriken

Stars
 (5.756 Sterne)
PR-Merge-Metriken
 (Durchschn. Merge 11T 23h) (186 gemergte PRs in 30 T)

Beschreibung

Noticed by @bkryu : "In our recent CI telemetry, we have been seeing that tests/gdn/test_decode_delta_rule.py runs very long (30-50 mins on every arch) and has been straining our CI.

TL;DR of the cause: the reference and kernels are all fine. Most time is spent on cold kernel compilation. On a B200 I locally see ~800 cases that collapses to ~200 cute.compile calls based on the cache key logic.

For some kernels, B/tile_v/T/cache flags/pool-strides each key a new compile. Would be great if we can make the kernels batch and/or seqlen dynamic to systematically reduce unit testing time."

Contributor Guide

Research-Richtung
Entwerfen Sie eine dynamische Kernel Parametrisierung, um eindeutige Kompilierungsaufrufe zu reduzieren.
Tech Stack
python
Domain
backend
Issue Type
Performance
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Meist klar
Voraussetzungen
GitPython
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
30