huggingface/lighteval

[EVAL] Adding PHARE

Offen

#696 geöffnet am 30.04.2025

Auf GitHub ansehen
 (9 Kommentare) (0 Reaktionen) (1 zugewiesene Person)Python (514 Forks)auto 404
good first issuehelp wantednew-task

Repository-Metriken

Stars
 (2.496 Sterne)
PR-Merge-Metriken
 (PR-Metriken ausstehend)

Beschreibung

Evaluation short description

Bias/hallucination eval

Evaluation metadata

Provide all available

Contributor Guide

Research-Richtung
Implementieren Sie den PHARE Evaluierungsbenchmark, indem Sie das Dataset von Hugging Face (giskardai/phare) hinzufügen, die Metrik und Aufgabenkonfiguration im lighteval Framework implementieren und ein Evaluierungsbeispiel erstellen.
Tech Stack
python
Domain
machine learning
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Meist klar
Voraussetzungen
Python
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
60