Proprietario
sierra-research
1 repository indicizzato · Vedi su GitHub
-
tau2-bench
τ-Bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains
Python · 2189 stelle
Le issue su cui forse qualcuno sta già lavorando sono in fondo alla lista. Ordina tutto per data
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100
sierra-research/tau2-bench#654 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 55/100
sierra-research/tau2-bench#647 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
sierra-research/tau2-bench#646 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 15/100
sierra-research/tau2-bench#628 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 15/100
sierra-research/tau2-bench#612 ·
I maintainer di solito rispondono entro 1 giorno
-
[banking_knowledge] task_086: gold liability amounts need a statement date that the task never givesAperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 53/100
sierra-research/tau2-bench#592 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
banking_knowledge: with TMPDIR under /dev/shm, the shell tool runs outside the knowledge baseAperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 55/100
sierra-research/tau2-bench#587 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
sierra-research/tau2-bench#579 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 49/100
sierra-research/tau2-bench#574 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
sierra-research/tau2-bench#560 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 54/100
sierra-research/tau2-bench#559 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 54/100
sierra-research/tau2-bench#545 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100
sierra-research/tau2-bench#543 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100
sierra-research/tau2-bench#541 ·
I maintainer di solito rispondono entro 1 giorno
-
Run-to-run noise floor of the published baselines and leaderboard submissions, computed from the released trajectory filesForse di nuovo libera @Universeyi l’ha presa 28 giorni fa e non c’è nessuna pull request aperta. Aperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100
sierra-research/tau2-bench#540 · 5 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 42/100
sierra-research/tau2-bench#530 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 20/100
sierra-research/tau2-bench#497 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100
sierra-research/tau2-bench#496 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 55/100
sierra-research/tau2-bench#495 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 49/100
sierra-research/tau2-bench#494 ·
I maintainer di solito rispondono entro 1 giorno
-
[telecom] Fixed persona ages conflict with customer DOB and can induce fabricated identity dataAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
sierra-research/tau2-bench#492 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 20/100
sierra-research/tau2-bench#490 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
sierra-research/tau2-bench#487 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 55/100
sierra-research/tau2-bench#472 · 1 commento · 1 reazione ·
I maintainer di solito rispondono entro 1 giorno
-
Telecom scores 1.0 for a run that suspends an uninvolved customer's lineForse di nuovo libera Una pull request per questa issue è stata chiusa senza essere unita. Aperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100
sierra-research/tau2-bench#459 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100
sierra-research/tau2-bench#439 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
sierra-research/tau2-bench#438 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
NL-assertion evaluator returns met: true on non-compliant trajectories (airline tasks 10 & 13)Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100
sierra-research/tau2-bench#436 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 1/5 1-3 ore Idoneità per principianti 72/100
sierra-research/tau2-bench#435 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100
sierra-research/tau2-bench#432 ·
I maintainer di solito rispondono entro 1 giorno
-
Fix Mei Kovacs known_info to use name instead of user_id in retail tasksForse di nuovo libera Una pull request per questa issue è stata chiusa senza essere unita. Aperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 35/100
sierra-research/tau2-bench#337 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100
sierra-research/tau2-bench#327 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Several retail tasks may have an unclear contract around helper read actions and rewarded successAperta
Difficoltà 4/5 1-2 giorni Idoneità per principianti 38/100
sierra-research/tau2-bench#326 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 4/5 1-2 giorni Idoneità per principianti 46/100
sierra-research/tau2-bench#325 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100
sierra-research/tau2-bench#321 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 4/5 1-2 giorni Idoneità per principianti 48/100
sierra-research/tau2-bench#320 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Retail task 41 / T41: DB oracle hardcodes PayPal even though the user selected credit_card_9503061Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 47/100
sierra-research/tau2-bench#319 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 55/100
sierra-research/tau2-bench#316 · 2 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 4/5 1-2 giorni Idoneità per principianti 48/100
sierra-research/tau2-bench#298 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 54/100
sierra-research/tau2-bench#241 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
sierra-research/tau2-bench#237 · 2 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
[IMPORTANT] Airline domain may NOT be a reliable benchmark for transactional agent capabilityAperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100
sierra-research/tau2-bench#224 · 5 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 4/5 1-2 giorni Idoneità per principianti 35/100
sierra-research/tau2-bench#211 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 1/5 1-3 ore Idoneità per principianti 55/100
sierra-research/tau2-bench#182 · 1 reazione ·
I maintainer di solito rispondono entro 1 giorno
-
[Bug Report] Task 35 airline: User simulator introduces extra passenger not in task instructionsForse di nuovo libera Una pull request per questa issue è stata chiusa senza essere unita. Aperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 35/100
sierra-research/tau2-bench#172 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 20/100
sierra-research/tau2-bench#167 · 1 commento · 1 reazione ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 48/100
sierra-research/tau2-bench#156 · 2 reazioni ·
I maintainer di solito rispondono entro 1 giorno
-
Evaluate standalone agentsAperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
sierra-research/tau2-bench#150 · 2 reazioni ·
I maintainer di solito rispondono entro 1 giorno
-
RFC #2: Task Semantics & Evaluation for Tau3Forse di nuovo libera @victorbarres l’ha presa 288 giorni fa e non c’è nessuna pull request aperta. Apertadesign rfc
sierra-research/tau2-bench#129 · 1 assegnatario ·
I maintainer di solito rispondono entro 1 giorno
-
enhancement good first issue
Difficoltà 5/5 Più di una settimana Idoneità per principianti 20/100
sierra-research/tau2-bench#127 ·
I maintainer di solito rispondono entro 1 giorno
Vengono mostrati i 100 più recenti
Questa pagina elenca solo ciò che è stato indicizzato di recente. Il filtro avanzato contiene l'inventario completo, ristretto per linguaggio, difficoltà e durata.