WorkArena L3 evaluation never stops running
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 4/5
- Tempo estimado
- 3-5 dias
- Facilidade para iniciantes
- 18/100
Direção de pesquisa
Start from the entry point main.py and the experiment workarena_l3_agent_curriculum_eval, then find where n_jobs and n_relaunch control parallel job launching and relaunching. Reproduce the hang with a small n_jobs and identify which job never completes. Done means the evaluation finishes, or the cause of the stall is documented with a fix. The issue has no comments or maintainer response, so this is a debugging task that needs project familiarity.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
I experimented running main.py for workarena_l3_agent_curriculum_eval ("workarena_l3" throws an error so I changed the name to this) with different n_jobs to speed up evaluation going from 2 to 6 and n_relaunch=1, however the evaluation never stops running even after leaving it to run for 3 days. Do you know why this is happening and how it can be fixed?
- Linguagem predominante
- Python
- Estrelas
- 644
- Forks
- 134
- Métricas de merge de PRs
- Nenhum PR com merge em 30d
Preparar o ambiente
Este projeto não oferece contêiner de desenvolvimento, Dockerfile nem guia de contribuição, então a configuração fica por sua conta: comece pelo README e veja nosso guia da primeira contribuição para os passos gerais.
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de ServiceNow/AgentLab
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 48/100
ServiceNow/AgentLab#340 ·
-
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 25/100
ServiceNow/AgentLab#339 ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 22/100
ServiceNow/AgentLab#331 ·
-
Qwen3 IntegrationAberta
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 15/100
ServiceNow/AgentLab#329 ·
-
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 25/100
ServiceNow/AgentLab#324 · 2 reações ·
Todas as issues de ServiceNow/AgentLab
Issues semelhantes
-
parse names a key after a top-level multi() threshold Bitcoin Core v31.1 refuses as not validAberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100
btclib-org/btclib-wallet#587 · 1 comentário ·
Mantenedores costumam responder em até 1 dia
-
documentation
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 68/100
Judgment-Pack/judgment-pack-spec#275 ·
Mantenedores costumam responder em até 1 dia
-
ai-generated
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 77/100
Mantenedores costumam responder em até 1 dia
-
documentation good first issue priority: low size: XS
Dificuldade 1/5 1-3 horas Facilidade para iniciantes 92/100
yeongseon/azure-functions-doctor-python#651 ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 65/100
Changaco/python-libarchive-c#146 ·