vllm-project/vllm

[Feature]: Priority scheduling supports preemption of requests in the running queue by requests in the waiting queue

Open

#40 004 ouverte le 16 avr. 2026

Voir sur GitHub
 (6 commentaires) (0 réactions) (0 assignés)Python (16 816 forks)batch import
feature requesthelp wanted

Métriques du dépôt

Stars
 (80 034 stars)
Métriques de merge PR
 (Merge moyen 9j 2h) (921 PRs mergées en 30 j)

Description

🚀 The feature, motivation and pitch

The current priority scheduling only supports evicting low-priority requests from the running queue when resources are insufficient. However, when scheduling the waiting queue, if pending requests cannot be scheduled (for example, when the number of requests in the running queue has reached max_num_seqs), even high-priority requests cannot preempt requests in the running queue.

Alternatives

No response

Additional context

No response

Before submitting a new issue...

  • Make sure you already searched for relevant issues, and asked the chatbot living at the bottom right corner of the documentation page, which can answer lots of frequently asked questions.

Guide contributeur

Direction de recherche
Étudiez l'implémentation actuelle de l'ordonnancement prioritaire dans vllm/vllm/core/scheduler.py et la logique des files d'attente d'attente/d'exécution. Identifiez où ajouter la logique de préemption pour permettre aux requêtes en attente de haute priorité de préempter les requêtes en cours d'exécution de basse priorité.
Stack technique
python
Domaine
backend
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
Python
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
60