Encountering Empty Patches and Severe Looping Issues while Testing the swe-bench_verified Dataset using Openhands Framework
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 25/100
- Tipo di issue
- Bug
- Chiarezza
- Da chiarire
- Stato di attività
- Ferma
- Stack tecnologico
- python
- Ambito
- ai, testing-qa
Direzione di ricerca
Inizia riproducendo il report con Openhands CodeActAgent su swe-bench_verified utilizzando il modello Seed-coder, un deployment vllm, il parallelismo a cinque vie e un limite di 120 passaggi. Esamina i risultati con patch vuote e i fallimenti ripetuti di execute_bash descritti nell’issue. Il lavoro è completato quando sono state identificate le cause dell’omissione delle patch e dei cicli, quindi è stata documentata o implementata una correzione verificata.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
I have been testing the swe-bench_verified dataset using the Seed-coder-8b-instruct model along with the Openhands framework. Out of 179 test cases, the accuracy achieved was only 3.9%, which is significantly lower than the reported 11.2% in the paper.
Key Findings:
Empty Patches: During the testing process, I observed that the Seed-coder model produced many empty patches, which seems to be the primary reason for the low solution rate. Out of the 179 test cases, only 7 were solved, 37 produced patches, and 138 did not produce any patches at all.
Looping Issues: Additionally, I encountered significant looping issues during inference. For instance, the system keeps repeating similar tasks without making progress, as shown in the following example:
{
"role": "assistant",
"content": "<function=execute_bash><parameter=command> grep -rn 'ORDER BY' /workspace/django__django__3.0/django/db/models/sql/compiler.py:86-100 "
},
{
"role": "user",
"content": "EXECUTION RESULT of [execute_bash]: grep: /workspace/django__django__3.0/django/db/models/sql/compiler.py:86-100: No such file or directory [The command completed with exit code 2.] [Current working directory: /workspace/django__django__3.0] [Python interpreter: /opt/miniconda3/envs/testbed/bin/python] [Command finished with exit code 2]"
},
{
"role": "assistant",
"content": "<function=execute_bash><parameter=command> grep -rn 'ORDER BY' /workspace/django__django__3.0/django/db/models/sql/compiler.py:257-300 "
},
{
"role": "user",
"content": "EXECUTION RESULT of [execute_bash]: grep: /workspace/django__django__3.0/django/db/models/sql/compiler.py:257-300: No such file or directory [The command completed with exit code 2.] [The command finished with exit code 2]"
},
{
"role": "assistant",
"content": "<function=execute_bash><parameter=command> grep -rn 'ORDER BY' /workspace/django__django__3.0/django/db/models/sql/compiler.py:359-400 "
}
Additional Observations:
Looping Issue: In total, 66 test cases out of the 179 displayed looping behavior during inference.
Excessive Inference Steps: 114 test cases exceeded 120 rounds of inference, with 5 test cases exhibiting both looping and excessive rounds.
Experimental Setup:
Openhands Framework: Maximum inference steps set to 120; using CodeActAgent with parallelism set to 5.
Seed-coder 7b: Temperature set to 0.0; using OpenAI parameter format and deployed locally with vllm. Maximum model length is 32768.
Could you kindly assist in resolving these issues or provide any insights on potential causes?
- Lingua principale
- Nessun dato sulla lingua
- Stelle
- 759
- Fork
- 60
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di ByteDance-Seed/Seed-Coder
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 45/100
ByteDance-Seed/Seed-Coder#24 ·
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 20/100
ByteDance-Seed/Seed-Coder#23 ·
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
ByteDance-Seed/Seed-Coder#22 ·
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
ByteDance-Seed/Seed-Coder#21 ·
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 20/100
ByteDance-Seed/Seed-Coder#20 ·
Tutte le issue di ByteDance-Seed/Seed-Coder
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
dice-group/owlapy#290 ·
-
Bug: search_page and find_elements results never reach the LLM (only the one-line summary does)Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
browser-use/browser-use#5947 ·
I maintainer di solito rispondono entro 1 giorno
-
area/config comp/agent P3 provider/minimax type/bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
NousResearch/hermes-agent#128830 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
NVIDIA/SkillSpector#689 ·
I maintainer di solito rispondono entro 3 giorni
-
coverage-gap good-first-pattern help wanted
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
GoogleCloudPlatform/k8s-aibom#114 ·
I maintainer di solito rispondono entro 1 giorno