Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

check_currentmetric() inverts accuracy/f1: exact-match generations score 0.0, all-wrong/empty generations score 1.0

Aperta Adatta ai principianti
  • Qualcosa non va?
#14 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

@shaurya416 ci sta già lavorando.

Dal 25/9/2026.

  • #15 di @shaurya416 — aperta

Valutazione

Difficoltà
2/5
Tempo stimato
1-3 ore
Idoneità per principianti
82/100
Tipo di issue
Bug
Chiarezza
Specificata chiaramente
Stato di attività
Attiva
Stack tecnologico
python
Ambito
testing-qa

Direzione di ricerca

Inizia da check_currentmetric() in codefuseEval/execution.py:680-683 e confronta la logica identica a livello di byte in codefuseEval_202503/execution.py:681-684. Esamina metrics/accuracy/accuracy.py, metrics/f1/f1.py e metrics/accuracy/README.md, quindi verifica che le corrispondenze esatte ricevano il punteggio corretto per entrambe le metriche pubbliche e aggiungi una copertura di regressione per la polarità.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

codefuseEval/execution.py:680-683 (byte-identical duplicate at codefuseEval_202503/execution.py:681-684):

if metric == "accuracy" or metric == "f1":
    predictions = [0 if prediction == reference else 1 for prediction, reference in
                   zip(predictions, references)]
    references = [1] * len(references)
...
result = metric_module.compute(predictions=predictions, references=references, **kwargs)

When prediction == reference (the generation is correct), this assigns 0; when they differ, it assigns 1. references is then set to all-1s, and the arrays are handed to metrics/accuracy/accuracy.py's Accuracy._compute:

def _compute(self, predictions, references, normalize=True, sample_weight=None):
    return {"accuracy": float(accuracy_score(references, predictions, normalize=normalize, sample_weight=sample_weight))}

sklearn.accuracy_score counts the fraction where predictions[i] == references[i] == 1, i.e. the fraction of mismatches. This is the exact inverse of the contract documented in metrics/accuracy/README.md ("Accuracy is the proportion of correct predictions among the total number of cases processed"). f1 shares the identical transform and inverts the same way.

What happens (reproduced on the real module)

check_currentmetric() in codefuseEval/execution.py:680-683 (byte-identical at codefuseEval_202503/execution.py:681-684, both confirmed against the repo's current HEAD 09a4f2af) inverts the accuracy/f1 polarity: on a match it assigns predictions=0 and sets all references=1, then hands these to the vendored HuggingFace evaluate Accuracy/F1 classes (metrics/accuracy/accuracy.py, metrics/f1/f1.py, unmodified), whose sklearn.accuracy_score/f1_score then measure the mismatch rate rather than the match rate — independently reproduced against real sklearn: a 10/10-correct model scores accuracy=0.0/f1=0.0, a 0/10 or all-empty-output model scores accuracy=1.0, exactly contradicting metrics/accuracy/README.md's documented contract. Both accuracy and f1 are public, unguarded CLI-selectable metrics (METRIC_SUPPORT in evaluation.py) with no caller-side correction, no pinning test, and no existing issue/PR — any invocation with --metric accuracy or --metric f1 (e.g. against the registered spider_test/text2sql dataset, whose post-processor only extracts SQL text and performs no scoring of its own) hits this. The one-line polarity flip suggested in the report (swap which branch maps to 0 vs 1) is the correct fix, matching the already-correct polarity convention used a few lines away in the pass@k path (evaluation.py:477-479).

Happy to open the PR.

Lingua principale
Python
Stelle
111
Fork
19
Nessuna PR unita negli ultimi 30g

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di codefuse-ai/codefuse-evaluation

Tutte le issue di codefuse-ai/codefuse-evaluation

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.