SWE-bench

Le issue su cui forse qualcuno sta già lavorando sono in fondo alla lista. Ordina tutto per data

• parse_log_sympy records a failing SymPy test as PASSED when the test prints "ok"

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 3/5 1-2 giorni Idoneità per principianti 62/100

  SWE-bench/SWE-bench#710 · Aperta il 2/11/2026

• parse_log_pytest_v2 keeps " - <message>" in ERROR and XFAIL ids

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100

  SWE-bench/SWE-bench#709 · Aperta il 2/11/2026

• pytest log parsers: a printed "PASSED <id>" line overrides pytest's own "FAILED <id>"

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100

  SWE-bench/SWE-bench#708 · Aperta il 2/11/2026

• [Dataset/Verified] astropy__astropy-7671 test_minversion does not test inclusive=True equality or dev suffixes on module.__version__

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 3/5 Mezza giornata Idoneità per principianti 45/100

  SWE-bench/SWE-bench#704 · Aperta il 23/10/2026

• [Dataset/Verified] django__django-11276 FAIL_TO_PASS tests do not exercise the unescape() change in django.utils.html.urlize

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 55/100

  SWE-bench/SWE-bench#703 · Aperta il 23/10/2026

• [SWE-bench Multimodal] EvalType.FAIL_ONLY ignores non-FAIL_TO_PASS failures on empty PASS_TO_PASS tasks (44/102 dev), non-binary test_patch diffs drop 14 new .png fixtures, and multi-file test_patch gaps

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 18/100

  SWE-bench/SWE-bench#701 · Aperta il 23/10/2026

• [Dataset/Verified] Network flakiness (httpbin.org) and polluted FAIL_TO_PASS lists across psf__requests instances (1724, 1766, 1921, 2317)

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 30/100

  SWE-bench/SWE-bench#700 · Aperta il 23/10/2026

• Is the swebench.com leaderboard still being updated? Entries merged into experiments since Feb 2026 are missing

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 20/100

  SWE-bench/SWE-bench#691 · Aperta il 18/10/2026

• PASS_TO_PASS tests skipped on single-CPU hosts ('Need 2 or more cores') are graded as failures (pylint-6528, pylint-7277)

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 30/100

  SWE-bench/SWE-bench#684 · 2 commenti · 1 reazione · Aperta il 14/10/2026

• pvlib__pvlib-python-1606 gold patch evaluates UNRESOLVED due to NumPy 2.0 np.Inf incompatibility

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla
  bug

  Difficoltà 4/5 1-2 giorni Idoneità per principianti 30/100

  SWE-bench/SWE-bench#681 · Aperta il 12/10/2026

• Saved-log report replay selects gold artifacts for model runs and still requires Docker

  Forse di nuovo libera Una pull request per questa issue è stata chiusa senza essere unita. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 42/100

  SWE-bench/SWE-bench#675 · Aperta il 3/10/2026

• django__django-16145: test_honor_umask fails with the gold patch when the image commits `chmod -R 777 /testbed`

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 3/5 1-2 giorni Idoneità per principianti 35/100

  SWE-bench/SWE-bench#674 · 1 commento · Aperta il 3/10/2026

• SWE-bench Multilingual: tasks shared with Multi-SWE-bench, SWE-PolyBench and the SWE-rebench-V2 training set (and a note on lowercase repo names)

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 3/5 1-2 giorni Idoneità per principianti 15/100

  SWE-bench/SWE-bench#673 · Aperta il 1/10/2026

• Code Quality Evaluation?

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla
  documentation

  Difficoltà 5/5 Più di una settimana Idoneità per principianti 15/100

  SWE-bench/SWE-bench#672 · Aperta il 1/10/2026

• Nine Verified instances have their solution reachable from problem_statement

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 5/5 Più di una settimana Idoneità per principianti 20/100

  SWE-bench/SWE-bench#669 · Aperta il 24/9/2026

• Harness reproducibility: boot/env fidelity vs agent-attributed unresolved

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 5/5 Più di una settimana Idoneità per principianti 15/100

  SWE-bench/SWE-bench#665 · Aperta il 19/9/2026

• Potential post-base-commit source exposure through Conda caches and base environments

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 22/100

  SWE-bench/SWE-bench#640 · Aperta il 18/8/2026

• [Bug]: Loss of Evaluation Determinism and Execution Drift due to Missing Sandbox State Isolation

  Forse di nuovo libera Una pull request per questa issue è stata chiusa senza essere unita. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla
  bug

  Difficoltà 3/5 Mezza giornata Idoneità per principianti 35/100

  SWE-bench/SWE-bench#602 · Aperta il 19/6/2026

• Make sure submitted patch doesn't modify tests

  Forse di nuovo libera @aorwall l’ha presa 230 giorni fa e non c’è nessuna pull request aperta. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla
  bug

  SWE-bench/SWE-bench#437 · 6 commenti · 3 assegnatari · Aperta il 5/7/2025

• parse_log_sympy drops the last test of every test file ("[OK]" / "[FAIL]" suffix)

  Forse già presa @damienen l’ha presa 1 giorno fa. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 25/100

  SWE-bench/SWE-bench#706 · Aperta il 2/11/2026

• exec_run_with_timeout leaves child processes running on timeout and uses a non-daemon reader thread

  Forse già presa @eram l’ha presa 14 giorni fa. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 3/5 1-2 giorni Idoneità per principianti 25/100

  SWE-bench/SWE-bench#695 · 1 commento · 1 reazione · Aperta il 20/10/2026

• Pytest parsers drop non-strict XPASS, causing a false P2P regression

  Forse già presa @yunyv l’ha presa 18 giorni fa. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 3/5 1-2 giorni Idoneità per principianti 22/100

  SWE-bench/SWE-bench#687 · Aperta il 15/10/2026

• Jasmine suite-level failure can grade resolved despite recorded exit code 1

  Forse già presa @jurayh l’ha presa 17 giorni fa. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 3/5 1-2 giorni Idoneità per principianti 25/100

  SWE-bench/SWE-bench#686 · Aperta il 15/10/2026

• False no_tests_collected advisory from nested pytest output despite completed outer tests

  Forse già presa @chilltongx l’ha presa 14 giorni fa. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 35/100

  SWE-bench/SWE-bench#683 · Aperta il 13/10/2026

• Exit-code spoof guard (#620) reads the first ">>>>> Test Exit Code:" marker in the log, so a patch that prints the marker during the test run is scored resolved

  Forse già presa @shaurya416 l’ha presa 40 giorni fa. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 12/100

  SWE-bench/SWE-bench#667 · Aperta il 23/9/2026

• Run report: console "Instances submitted" disagrees with `submitted_instances` in the JSON when `--instance_ids` is used

  Forse già presa @Kaustubh1235 l’ha presa 37 giorni fa. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 25/100

  SWE-bench/SWE-bench#666 · 2 commenti · Aperta il 21/9/2026

• Truncated-id fallback can resolve a P2P case to a skipped sibling, hiding a failure

  Forse già presa @leogrox l’ha presa 46 giorni fa. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 32/100

  SWE-bench/SWE-bench#663 · Aperta il 18/9/2026

• pytest's `[100%]` progress artifact is a phantom test in the gold PASS_TO_PASS of two instances (`pytest-5262`, `pytest-7521`)

  Forse già presa @zhongerdeajie l’ha presa 24 giorni fa. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 3/5 Mezza giornata Idoneità per principianti 35/100

  SWE-bench/SWE-bench#660 · 3 commenti · Aperta il 16/9/2026

• xfail(run=False) on a FAIL_TO_PASS test grades as resolved without the test running

  Forse già presa @linhongyu510 l’ha presa 55 giorni fa. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 3/5 1-2 giorni Idoneità per principianti 25/100

  SWE-bench/SWE-bench#654 · 1 commento · Aperta il 4/9/2026

• Windows host: CRLF in eval.sh/patch.diff makes every instance grade unresolved (silent zeros)

  Forse già presa @samratashoka007 l’ha presa 46 giorni fa. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 22/100

  SWE-bench/SWE-bench#652 · Aperta il 30/8/2026

• # Multilingual eval images ship a `.bashrc` that writes an error to stdout on every command

  Forse già presa @lavneethora l’ha presa 55 giorni fa. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla
  bug

  Difficoltà 2/5 1-3 ore Idoneità per principianti 35/100

  SWE-bench/SWE-bench#638 · Aperta il 16/8/2026