flashinfer-ai/flashinfer

[Compilation] GDN decode cold kernel compilation time is too long on SM90/100/120/121

Aberta

#4.110 aberto em 23 de jul. de 2026

Ver no GitHubGuia do colaborador
 (12 comentários) (0 reação) (1 responsável)Python (1.031 forks)github user discovery
good first issueop: gdn

Métricas do repositório

Stars
 (5.756 estrelas)
Métricas de merge de PR
 (Mesclagem média 11d 23h) (186 fundiu PRs em 30d)

Description

Noticed by @bkryu : "In our recent CI telemetry, we have been seeing that tests/gdn/test_decode_delta_rule.py runs very long (30-50 mins on every arch) and has been straining our CI.

TL;DR of the cause: the reference and kernels are all fine. Most time is spent on cold kernel compilation. On a B200 I locally see ~800 cases that collapses to ~200 cute.compile calls based on the cache key logic.

For some kernels, B/tile_v/T/cache flags/pool-strides each key a new compile. Would be great if we can make the kernels batch and/or seqlen dynamic to systematically reduce unit testing time."

Guia do colaborador

Direção de pesquisa
Projete uma parametrização dinâmica do kernel para reduzir chamadas de compilação únicas.
Pilha de tecnologia
python
Domain
backend
Tipo Issue
Performance
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
GitPython
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
30