Lightning-AI/lightning-thunder

quantization: process tensors on meta device directly, maybe implement CPU quantization (if it is easy)

Open

#1111 aperta il 6 set 2024

Vedi su GitHub
 (4 commenti) (0 reazioni) (0 assegnatari)Python (114 fork)github user discovery
good first issuetransforms

Metriche repository

Star
 (1460 star)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

Currently the BitsAndBytesLinearQuant4bit for submodule always calls bitsandbytes.functional.quantize_4bit. This is somewhat touchy for CPU tensors because quantize_4bit only works on GPU tensors but it is outright not so nice for meta tensors, where we only would need to get the right shapes.

https://github.com/Lightning-AI/lightning-thunder/blob/e64d347def39bb47101efafe4177adf9f77a63ec/thunder/transforms/quantization.py#L93-L103

Guida contributor

Direzione di ricerca
Implementa o modifica la logica di quantizzazione per gestire i tensori meta senza chiamare quantize 4bit di bitsandbytes, che funziona solo su GPU. Per la CPU, considera una semplice implementazione di quantizzazione se fattibile.
Tech stack
pythonpytorch
Dominio
backend
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
PythonPyTorch
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60