Gemma 2 / Mistral 7b v.1 issues
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 25/100
- Tipo de issue
- Error
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Stack tecnológico
- python
- Área
- ai, machine-learning
Línea de trabajo
Start with the zero-shot evaluation flow and the compute_universal_function_vector function, then reproduce the top-1 accuracy results for Gemma 2 and Mistral 7B v0.1 across layers. Compare their indirect-effect aggregation and top-head selection with models that work; done means identifying and documenting the model-specific cause or providing a verified fix.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Hi, I have been running the zero-shot evaluation on several models. For models that don't already have a universal top head list, I compute the indirect effect scores for each abstractive task, and, for the tasks with 10-shot performance greater than the majority baseline, aggregate them. I then add the top k heads (k is roughly proportional to # heads in the model) list to the compute_universal_function_vector function. I then evaluate using these top heads. For most models, I seem to get good results. However, for gemma 2 (of all sizes) and Mistral 7b v.01, I almost always get a top-1 accuracy lower than 10%, with a score that doesn't change much between the layers. Do you know why the tests don't work with these models?
Thanks!
- Lenguaje dominante
- Python
- Estrellas
- 200
- Forks
- 47
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de ericwtodd/function_vectors
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100
-
Dificultad 3/5 1-2 días Aptitud para principiantes 35/100
ericwtodd/function_vectors#19 · 1 comentario ·
Todos los issues de ericwtodd/function_vectors
Issues similares
-
triage/confirmed
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
agentscope-ai/agentscope#2775 ·
-
comp/desktop P3 type/bug
Dificultad 1/5 Menos de una hora Aptitud para principiantes 92/100
NousResearch/hermes-agent#118866 ·
-
bug
Dificultad 1/5 Menos de una hora Aptitud para principiantes 90/100
apache/cloudstack#14222 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100