vllm-project/vllm

[Bug]: Add tests for all parallel sampling parameter combinations

Open

#21.948 aperta il 30 lug 2025

Vedi su GitHub
 (7 commenti) (0 reazioni) (1 assegnatario)Python (16.816 fork)batch import
buggood first issuekeep-openstale

Metriche repository

Star
 (80.034 star)
Metriche merge PR
 (Merge medio 3g 17h) (993 PR mergiate in 30 g)

Descrizione

Verify that we have tests that explicitly exercise parallel sampling (n>1 request sampling parameter) for all of the following combinations:

  • Via AsyncLLM.generate, via LLMEngine add_request() / step()
  • For output_kind equal to each of CUMULATIVE, DELTA, FINAL_ONLY

Ideally a test for each of AsyncLLM and LLMEngine in the appropriate files, with output_kind parameterized.

Additionally we can still test LLM.generate() but this enforces FINAL_ONLY. There is already a test for this one here, but I'm not sure about the other cases.

@sethkimmel3 has reported that the LLMEngine + CUMULATIVE combination is not working properly, this should be exposed and fixed if so.

Guida contributor

Direzione di ricerca
Scrivere test parametrizzati per il campionamento parallelo (n>1) con AsyncLLM.generate() e LLMEngine.add request()/step() per ogni output kind (CUMULATIVE, DELTA, FINAL ONLY). Investigare e correggere la combinazione LLMEngine + CUMULATIVE in caso di fallimento.
Tech stack
python
Dominio
backend
Tipo issue
Test
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
Pythonpytest
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60