BUG: HuggingFaceChatTarget runs model.generate() on the event loop

Aperta Adatta ai principianti
  • Qualcosa non va?
#4,046 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 2 giorni

@Shizoqua ci sta già lavorando.

Dal 7/11/2026.

  • #4047 di @Shizoqua — aperta

Valutazione

Difficoltà
2/5
Tempo stimato
1-3 ore
Idoneità per principianti
76/100
Tipo di issue
Bug
Chiarezza
Specificata chiaramente
Stato di attività
Attiva
Stack tecnologico
huggingface, python
Ambito
ai, backend

Direzione di ricerca

Trova HuggingFaceChatTarget._send_prompt_to_target_async e controlla dove chiama self.model.generate(...); l’issue #2211 può fornire contesto su come spostare il lavoro del modello fuori dall’event loop. Riproduci il blocco applicando una patch a generate in modo che attenda un threading.Event, mentre un altro task cerca di rilasciarlo dopo asyncio.sleep(0.05). Il lavoro è completato quando altri task asyncio possono essere eseguiti durante la generazione.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Describe the bug

HuggingFaceChatTarget._send_prompt_to_target_async calls self.model.generate(...) directly inside the async method. Local generation can take seconds to minutes, and it blocks the event loop the whole time, so every other attack, scorer and target call in the same run stalls. #2211 moved model loading off the event loop, but generation still runs on it.

Steps/Code to Reproduce

In a unit test, patch the loaded model's generate to wait on a threading.Event, then send a prompt while another task tries to set that event after asyncio.sleep(0.05). The other task never runs until generate returns.

Expected Results

Other tasks keep running while the model generates.

Actual Results

The event loop is blocked for the full generation time.

Versions

PyRIT main.

Lingua principale
Python
Stelle
4.7k
Fork
1k
Merge medio
2g 4h
PR unite (30g)
510

Preparare l'ambiente

Apri in Codespaces

Avvia il container di sviluppo del progetto nel browser, con il tuo account GitHub.

  • Nessun Dockerfile né file Docker Compose
  • Ha un modello di pull request
  • Nessuna guida per i contributori

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di microsoft/PyRIT

Tutte le issue di microsoft/PyRIT

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.