huggingface/lighteval

[FT] Improve Documentation and Examples

Offen

#682 geöffnet am 21.04.2025

Auf GitHub ansehen
 (6 Kommentare) (1 Reaktion) (0 zugewiesene Personen)Python (514 Forks)auto 404
documentationfeaturegood first issuehelp wanted

Repository-Metriken

Stars
 (2.496 Sterne)
PR-Merge-Metriken
 (PR-Metriken ausstehend)

Beschreibung

Issue encountered

We need better documentation for locally trained LLMs. I am experimenting with finetunes and LoRA adapters but I am having a bad time ironing out the required values for the yaml config.

Solution/Feature

Provide working examples for adapter configurations.

Possible alternatives

Make the library more coherent? --override-batch-size no longer works but it is still available under lighteval accelerate.

Contributor Guide

Research-Richtung
Überprüfen Sie die vorhandenen Adapter Konfigurationsbeispiele im Repository und in der Dokumentation. Identifizieren Sie fehlende Teile und erstellen Sie klare, funktionierende Beispiele für LoRA Adapter.
Tech Stack
python
Domain
ai
Issue Type
Dokumentation
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
PythonGit
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
75