huggingface/lighteval

[FT] Improve Documentation and Examples

Ouverte

#682 ouverte le 21 avr. 2025

Voir sur GitHub
 (6 commentaires) (1 réaction) (0 personne assignée)Python (514 forks)auto 404
documentationfeaturegood first issuehelp wanted

Métriques du dépôt

Stars
 (2 496 étoiles)
Métriques de merge PR
 (Métriques PR en attente)

Description

Issue encountered

We need better documentation for locally trained LLMs. I am experimenting with finetunes and LoRA adapters but I am having a bad time ironing out the required values for the yaml config.

Solution/Feature

Provide working examples for adapter configurations.

Possible alternatives

Make the library more coherent? --override-batch-size no longer works but it is still available under lighteval accelerate.

Guide contributeur

Direction de recherche
Passez en revue les exemples de configuration d'adaptateurs existants dans le dépôt et la documentation. Identifiez les éléments manquants et créez des exemples clairs et fonctionnels pour les adaptateurs LoRA.
Stack technique
python
Domaine
ai
Type d'issue
Documentation
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
PythonGit
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
75