mftcoder使用humaneval评估
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Aptitud para principiantes
- 20/100
- Tipo de issue
- Documentación
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Stack tecnológico
- python
- Área
- machine-learning
Línea de trabajo
El issue menciona MFTCoder, HumanEval y CodeLlama-7B-HF, pero no indica archivos ni un punto de entrada para la evaluación. Empieza localizando el flujo de trabajo de evaluación de HumanEval del repositorio y, a continuación, documenta pasos reproducibles para puntuar el baseline y el modelo ajustado con MFTCoder, incluido el aspecto que tiene una salida correcta.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
你好，想问下mftcoder怎么使用humaneval跑评分，我想先跑下codellama-7b-hf的humaneval评分，然后在它的基础上使用mftcoder微调之后再跑评分，但是不知道怎么写，新手求教程，谢谢
- Lenguaje dominante
- Python
- Estrellas
- 711
- Forks
- 69
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de codefuse-ai/MFTCoder
-
RSEI计算Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100
codefuse-ai/MFTCoder#92 ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
codefuse-ai/MFTCoder#91 ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100
codefuse-ai/MFTCoder#90 ·
-
data_paths为啥这么设置Abierto
Dificultad 3/5 1-2 días Aptitud para principiantes 30/100
codefuse-ai/MFTCoder#89 ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 35/100
codefuse-ai/MFTCoder#88 ·
Todos los issues de codefuse-ai/MFTCoder
Issues similares
-
[oblt-aw][autodoc] Update workflow docs for gh-aw v0.92.5 and detector permission scopePosiblemente ocupada @github-actions la tomó hoy. Abierto
Dificultad 1/5 1-3 horas Aptitud para principiantes 88/100
Los mantenedores suelen responder en 1 día
-
enhancement
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
Los mantenedores suelen responder en 1 día
-
feat(ide): VS Code access through the shipped MCP server (config doc and tool-list smoke test)Abiertoroadmap-100
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
Los mantenedores suelen responder en 1 día
-
comp/tools P2 tool/browser tool/file type/bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
NousResearch/hermes-agent#143418 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
python-hyper/uritemplate#164 ·