Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

Implement the unified activations interpretation API for similar models

Abierto
  • ¿Algo no está bien?
#5 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
5/5
Tiempo estimado
Más de una semana
Aptitud para principiantes
20/100
Tipo de issue
Nueva funcionalidad
Claridad
Necesita aclaración
Estado de actividad
Estancado
Stack tecnológico
python, pytorch, scikit-learn
Área
ai, machine-learning

Línea de trabajo

Comienza revisando el código base de NeuroX y Captum, y después compara cómo se gestionan los modelos BERT, RoBERTa, encoder y encoder-decoder mencionados. Define el alcance unificado de la interpretabilidad y los límites de los modelos antes de la implementación; al finalizar se debe proporcionar una API coherente para los modelos de HuggingFace seleccionados.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

difficulty: scalable, can be both 170 and 340 hours
mentor: @oserikov , TBD
requirements:

  1. pytorch
  2. sklearn
  3. python engineering code, OOP, etc.
  4. experience with Transformer Language models

useful links:

  • NeuroX codebase
  • Bert re-invents the classical NLP pipeline
  • Captum

Idea Description:

While HuggingFace quickly became the standard way to publish language models, several architectural trade-offs have been made to support the quick growth of the models' zoo. This resulted in several theoretically similar models being implemented by different teams, thus e.g. several alternative implementations of self-attentive transformers arose. While refactoring the whole zoo of models seems to be far from the accessible task, the interpretability community is forced to provide unification wrappers for handling such dissimilarities in similar models. The task is to provide a reasonable trade-off with the refactoring of the crucial models and providing the unified wrappers, and thus bring the unified interpretability API to the crucial HuggingFace models.

We could see this task from two prospects. First, one could unify the interpretability API of the sibling models such as BERT and RoBERTa . Second, one could think about bringing the unified interface to interpret and compare encoder models with e.g. encoder-decoder ones, allowing to study the similarities and distinctiveness in their behavior.

Coding Challenge

WIP

Lenguaje dominante
Sin datos de lenguaje
Estrellas
1
Forks
1
Sin PR fusionados en 30 d

Preparar el entorno

Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de bigscience-workshop/interpretability-ideas

Todos los issues de bigscience-workshop/interpretability-ideas

Issues similares

Más issues de AI Infra & Agents

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.