Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

Implement the unified attention interpretation API for similar models

Abierto
  • ¿Algo no está bien?
#4 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
5/5
Tiempo estimado
Más de una semana
Aptitud para principiantes
25/100
Tipo de issue
Nueva funcionalidad
Claridad
Necesita aclaración
Estado de actividad
Estancado
Stack tecnológico
huggingface, python, pytorch, scikit-learn
Área
ai, machine-learning

Línea de trabajo

Comienza leyendo el código base de NeuroX y el material enlazado de HuggingFace y Captum; después, compara las rutas de interpretación de BERT y RoBERTa. Define el alcance de los modelos y el límite de la API antes de la implementación; done debe significar una interfaz unificada de interpretabilidad para los modelos cruciales seleccionados, con cobertura de encoder y encoder-decoder solo si se incluyen explícitamente.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

duration: scalable, can be both 170 and 340 hours
difficulty: challenging
mentor: @oserikov , TBD
requirements:

  1. pytorch
  2. sklearn
  3. python engineering code, OOP, etc.
  4. experience with Transformer Language models

useful links:

  • NeuroX codebase
  • Bert re-invents the classical NLP pipeline
  • Captum

Idea Description:

While HuggingFace quickly became the standard way to publish language models, several architectural trade-offs have been made to support the quick growth of the models' zoo. This resulted in several theoretically similar models being implemented by different teams, thus e.g. several alternative implementations of self-attentive transformers arose. While refactoring the whole zoo of models seems to be far from the accessible task, the interpretability community is forced to provide unification wrappers for handling such dissimilarities in similar models. The task is to provide a reasonable trade-off with the refactoring of the crucial models and providing the unified wrappers, and thus bring the unified interpretability API to the crucial HuggingFace models.

We could see this task from two prospects. First, one could unify the interpretability API of the sibling models such as BERT and RoBERTa . Second, one could think about bringing the unified interface to interpret and compare encoder models with e.g. encoder-decoder ones, allowing to study the similarities and distinctiveness in their behavior.

Coding Challenge

WIP

Lenguaje dominante
Sin datos de lenguaje
Estrellas
1
Forks
1
Sin PR fusionados en 30 d

Preparar el entorno

Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de bigscience-workshop/interpretability-ideas

Todos los issues de bigscience-workshop/interpretability-ideas

Issues similares

Más issues de AI Infra & Agents

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.