huggingface/lighteval

[EVAL] Big-Bench Extra Hard (BBEH)

Offen

#600 geöffnet am 03.03.2025

Auf GitHub ansehen
 (3 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (514 Forks)auto 404
good first issuehelp wantednew-taskscience-team

Repository-Metriken

Stars
 (2.496 Sterne)
PR-Merge-Metriken
 (PR-Metriken ausstehend)

Beschreibung

Evaluation short description

Google has releases BBEH as a way to compensate for the saturation of BBH in the latest generation of LLMs. Overall looks like a good benchmark to probe reasoning capabilities.

Evaluation metadata

Provide all available

Contributor Guide

Research-Richtung
Studiere das BBEH Papier und das Dataset Format, implementiere dann eine Bewertungsaufgabe ähnlich den bestehenden in Lighteval, folge dem Mitwirkenden Leitfaden.
Tech Stack
python
Domain
aibackend
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
PythonLLM evaluationGit
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
50