[Feature] Support evict policy for LoRA · sgl-project/sglang-jax#494

(2 commenti) (0 reazioni) (0 assegnatari)Python (276 star) (101 fork)auto 404

Featuregood first issuelora

Descrizione

Checklist

If the issue you raised is not a feature but a question, please raise a discussion at https://github.com/sgl-project/sgl-jax/discussions/new/choose Otherwise, it will be closed.
Please use English, otherwise it will be closed.

Motivation

Support evict policy for LoRA.

Note: Please initialize the zeros array, and load the weight for it rather than load it directly to overwrite the existing array because this results in mistakes when calculating the lora output.

Related resources

Guida contributor

Tech stack: python
Dominio: backend
Tipo issue: feature
Difficoltà: 3
Tempo stimato: half day
Stato attività: active
Chiarezza: mostly clear
Prerequisiti: Python
Adatta ai principianti: 40
Direzione di ricerca: Implementa una politica di espulsione per i pesi LoRA, assicurandoti di inizializzare l'array di zeri e caricare i pesi correttamente per evitare errori di calcolo. Inizia comprendendo il flusso attuale di caricamento e inferenza di LoRA.