WorkArena L3 evaluation never stops running
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Accessibilité débutants
- 18/100
Piste de recherche
Start from the entry point main.py and the experiment workarena_l3_agent_curriculum_eval, then find where n_jobs and n_relaunch control parallel job launching and relaunching. Reproduce the hang with a small n_jobs and identify which job never completes. Done means the evaluation finishes, or the cause of the stall is documented with a fix. The issue has no comments or maintainer response, so this is a debugging task that needs project familiarity.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
I experimented running main.py for workarena_l3_agent_curriculum_eval ("workarena_l3" throws an error so I changed the name to this) with different n_jobs to speed up evaluation going from 2 to 6 and n_relaunch=1, however the evaluation never stops running even after leaving it to run for 3 days. Do you know why this is happening and how it can be fixed?
- Langage dominant
- Python
- Étoiles
- 644
- Forks
- 134
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Préparer son environnement
Ce projet ne fournit ni conteneur de développement, ni Dockerfile, ni guide de contribution : l'installation est à votre charge. Commencez par son README, et consultez notre guide de la première contribution pour les étapes générales.
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de ServiceNow/AgentLab
-
Difficulté 4/5 3-5 jours Accessibilité débutants 48/100
ServiceNow/AgentLab#340 ·
-
Availability and use terms for minimized HTTP traces linked to recorded agent configurationsOuverte
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100
ServiceNow/AgentLab#339 ·
-
Difficulté 4/5 3-5 jours Accessibilité débutants 22/100
ServiceNow/AgentLab#331 ·
-
Qwen3 IntegrationOuverte
Difficulté 4/5 3-5 jours Accessibilité débutants 15/100
ServiceNow/AgentLab#329 ·
-
Difficulté 3/5 1-2 jours Accessibilité débutants 25/100
ServiceNow/AgentLab#324 · 2 réactions ·
Toutes les issues de ServiceNow/AgentLab
Issues similaires
-
docs, ffi, python: update stale "built-in rules" references and pipeline order in docstringsOuverte
Difficulté 2/5 1-3 heures Accessibilité débutants 74/100
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 66/100
suitenumerique/accounts#160 ·
Les mainteneurs répondent en général sous 1 jour
-
Restoring an exhausted flatmap checkpoint can replay consumed recordsPeut-être pris @salma2vec l’a pris aujourd’hui. Ouvertetype:bug
Difficulté 2/5 1-3 heures Accessibilité débutants 82/100
Les mainteneurs répondent en général sous 1 jour
-
`ingest` fails with pynndescent 0.7Peut-être pris @eroell l’a pris aujourd’hui. OuverteTriage 🩺
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
Les mainteneurs répondent en général sous 1 jour