mftcoder使用humaneval评估
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 3/5
- Temps estimé
- 1-2 jours
- Accessibilité débutants
- 20/100
- Type d'issue
- Documentation
- Clarté
- À clarifier
- Activité
- À l'abandon
- Stack technique
- python
- Domaine
- machine-learning
Piste de recherche
L’issue mentionne MFTCoder, HumanEval et CodeLlama-7B-HF, mais n’indique aucun fichier ni point d’entrée pour l’évaluation. Commencez par localiser le workflow d’évaluation de HumanEval du dépôt, puis documentez des étapes reproductibles pour évaluer la baseline et le modèle fine-tuné avec MFTCoder, en précisant à quoi ressemble une sortie réussie.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
你好，想问下mftcoder怎么使用humaneval跑评分，我想先跑下codellama-7b-hf的humaneval评分，然后在它的基础上使用mftcoder微调之后再跑评分，但是不知道怎么写，新手求教程，谢谢
- Langage dominant
- Python
- Étoiles
- 711
- Forks
- 69
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Préparer son environnement
Ce projet ne fournit ni conteneur de développement, ni Dockerfile, ni guide de contribution : l'installation est à votre charge. Commencez par son README, et consultez notre guide de la première contribution pour les étapes générales.
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de codefuse-ai/MFTCoder
-
RSEI计算Ouverte
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 20/100
codefuse-ai/MFTCoder#92 ·
-
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100
codefuse-ai/MFTCoder#91 ·
-
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 20/100
codefuse-ai/MFTCoder#90 ·
-
data_paths为啥这么设置Ouverte
Difficulté 3/5 1-2 jours Accessibilité débutants 30/100
codefuse-ai/MFTCoder#89 ·
-
Difficulté 3/5 1-2 jours Accessibilité débutants 35/100
codefuse-ai/MFTCoder#88 ·
Toutes les issues de codefuse-ai/MFTCoder
Issues similaires
-
Difficulté 2/5 1-3 heures Accessibilité débutants 76/100
aws-samples/sample-per-model-bedrock#464 ·
Les mainteneurs répondent en général sous 1 jour
-
lesson-submission pending-review
Difficulté 2/5 1-3 heures Accessibilité débutants 67/100
Ikalus1988/MisakaNet#3789 ·
Les mainteneurs répondent en général sous 1 jour
-
Python Volcengine provider returns failures instead of raising themPeut-être pris @Ricardo-M-L l’a pris aujourd’hui. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 79/100
agent-infra/sandbox#248 ·
-
[Bug] cloud JSON directory loading assumes a Key field in fsspec listingsPeut-être pris @Ricardo-M-L l’a pris aujourd’hui. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 88/100
hiyouga/LlamaFactory#10910 ·
Les mainteneurs répondent en général sous 1 jour
-
Bundled uv is never updated and trusts the compromised eMudhra certificatesPeut-être pris @FabienDanieau l’a pris aujourd’hui. Ouvertebug
Difficulté 2/5 1-3 heures Accessibilité débutants 76/100