mftcoder使用humaneval评估
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 3/5
- Geschätzter Aufwand
- 1-2 Tage
- Anfängerfreundlichkeit
- 20/100
- Issue-Typ
- Dokumentation
- Klarheit
- Muss geklärt werden
- Aktivitätsstatus
- Veraltet
- Tech-Stack
- python
- Bereich
- machine-learning
Rechercherichtung
Das Issue nennt MFTCoder, HumanEval und CodeLlama-7B-HF, aber keine Dateien oder keinen Einstiegspunkt für die Evaluation. Beginne damit, den HumanEval-Evaluationsworkflow des Repositorys zu lokalisieren, und dokumentiere anschließend reproduzierbare Schritte zum Bewerten der Baseline und des mit MFTCoder feinabgestimmten Modells, einschließlich einer Beschreibung des erwarteten erfolgreichen Outputs.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
你好，想问下mftcoder怎么使用humaneval跑评分，我想先跑下codellama-7b-hf的humaneval评分，然后在它的基础上使用mftcoder微调之后再跑评分，但是不知道怎么写，新手求教程，谢谢
- Vorherrschende Sprache
- Python
- Sterne
- 711
- Forks
- 69
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Entwicklungsumgebung
Dieses Projekt bietet weder Dev-Container noch Dockerfile noch Beitragsleitfaden – die Einrichtung liegt bei Ihnen. Beginnen Sie mit der README; die allgemeinen Schritte stehen in unserem Leitfaden für den ersten Beitrag.
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus codefuse-ai/MFTCoder
-
RSEI计算Offen
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 20/100
codefuse-ai/MFTCoder#92 ·
-
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 25/100
codefuse-ai/MFTCoder#91 ·
-
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 20/100
codefuse-ai/MFTCoder#90 ·
-
data_paths为啥这么设置Offen
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 30/100
codefuse-ai/MFTCoder#89 ·
-
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 35/100
codefuse-ai/MFTCoder#88 ·
Alle Issues in codefuse-ai/MFTCoder
Ähnliche Issues
-
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 78/100
521xueweihan/HelloGitHub#4237 ·
-
bug
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
jejjohnson/gaussx#721 ·
Maintainer antworten meist innerhalb von 1 Tag
-
mock-core-configs/etc/mock/rocky-10-riscv64.cfg contains the wrong architecture in config_opts['root']Evtl. vergeben @jasonmontleon hat das vor 4 Tagen übernommen. Offen
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 94/100
rpm-software-management/mock#1834 ·
-
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 75/100
elastic/elastic-otel-python#683 ·
Maintainer antworten meist innerhalb von 1 Tag
-
ci-rerun: collect.py fails a whole pr-babysit cycle on one transient GitHub 5xx and never retriesOffenfollow-up
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 62/100
Maintainer antworten meist innerhalb von 1 Tag