feat(user-simulator): add deterministic response rules with optional LLM fallback
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 12/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Attiva
- Stack tecnologico
- go
- Ambito
- testing-qa
Direzione di ricerca
Start from the existing LLM user simulator introduced in #286 and the interaction request contract being defined in #306, since this issue depends on both. Design the rule schema, operators, precedence and ambiguity handling before writing any engine code. Done means documented and validated rules, reproducible matches without an LLM call, explicit unmatched and fallback behavior, and a runnable example.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Context
Follow-up to #266 and the initial LLM user simulator implemented in #286 and released in v0.13.0.
The current implementation uses a constrained LLM to produce dynamic user replies. Exact confirmation/choice/information requests would benefit from reproducible rule-based responses and an explicitly configured LLM fallback for unmatched requests.
Proposed scope
Add deterministic response rules over a stable structured interaction request contract. Define that contract with #306 rather than making natural-language classification by another LLM appear deterministic.
- Match explicit request type, identity, options, and documented fields using deterministic operators; define rule ordering, precedence, and ambiguous-match behavior.
- Allow rules to select an option or supply a bounded reply from declared scenario facts and permissions.
- Make unmatched behavior explicit: stop/error or an opt-in constrained LLM fallback. Do not silently expand permissions or invent missing facts.
- Record which rule matched, whether fallback was used, and the resulting response and terminal reason.
- Share evaluator-owned timeout/cancellation and interaction/turn limits with the existing orchestration. Replies do not determine PASS/FAIL; judges still do.
Acceptance criteria
- Rule schema, matching fields/operators, precedence, and ambiguity behavior are documented and validated.
- Matching rules produce reproducible replies without an LLM call.
- Unmatched requests and optional LLM fallback have explicit, tested behavior.
- Unknown facts, forbidden approvals, malformed responses, cancellation, and budget exhaustion are covered.
- Artifacts identify the matched rule or fallback and preserve request/response evidence.
- A runnable example demonstrates rules with fallback and preserves existing LLM-only simulator behavior.
Native in-process engine event handling is tracked in #306. If rules are also offered for completed-turn output, their input normalization and limitations must be explicitly defined rather than inferred from list order or free text.
- Lingua principale
- Go
- Stelle
- 1.5k
- Fork
- 134
- Merge medio
- 1g 22h
- PR unite (30g)
- 61
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di alibaba/skill-up
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100
I maintainer di solito rispondono entro 1 giorno
-
OpenSandbox runtime: expect.files_exist and file_contains fail because WorkspacePath is remoteForse già presa @bababoom721 l’ha presa 1 giorno fa. Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 30/100
alibaba/skill-up#408 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 15/100
alibaba/skill-up#407 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100
alibaba/skill-up#406 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di alibaba/skill-up
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 86/100
fluxcd/notification-controller#1441 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
OneBusAway/maglev#2145 ·
I maintainer di solito rispondono entro 2 giorni
-
priority/medium status/ready type/chore
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
discobox-ai/discobox#1357 ·
I maintainer di solito rispondono entro 1 giorno
-
TestPseudoLocaleRemote fails now and then: it types the code before the laptop asks for itForse già presa @fzn0x l’ha presa oggi. Apertabug priority: low
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
I maintainer di solito rispondono entro 1 giorno
-
edit_file diff rendering panics on invalid UTF-8 textForse già presa @TDnorthgarden l’ha presa oggi. Apertaarea/tui
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
docker/docker-agent#4955 ·
I maintainer di solito rispondono entro 1 giorno