Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

Integrate existing tools: Captum, LIT, AllenNLP Interpret, NeuroX into the HF pipeline

Abierto
  • ¿Algo no está bien?
#3 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
5/5
Tiempo estimado
Más de una semana
Aptitud para principiantes
20/100
Tipo de issue
Nueva funcionalidad
Claridad
Necesita aclaración
Estado de actividad
Estancado
Stack tecnológico
python, pytorch, scikit-learn
Área
ai, machine-learning

Línea de trabajo

Empieza con los enlaces de Captum, AllenNLP Interpret y NeuroX y con la Coding Challenge de la tarea 1. Analiza con el mentor indicado qué métodos seleccionar antes de definir la API de agregación compatible con HF; se considerará completado cuando estén seleccionados los métodos, exista un método de interpretación All-in-one, se haya realizado un análisis inicial del checkpoint de BigScience y haya código que pueda admitir más métodos.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

duration: scalable, can be both 175 and 350 hours
mentor: @oserikov
difficulty: medium
requirements:

  1. pytorch
  2. sklearn
  3. python engineering code, with OOP and patterns
  4. experience with Transformer Language models

useful links:

Idea Description:

There exist lots of interpretability tools, both for Industry and Academia users.
While some of them are general-purpose, and the others are very field-specific, all of them have several things in common.
One would typically apply them to HuggingFace models. All of these methods try to explain the black-boxes we have.

What we propose is, shortly, to put together the existing popular models interpretation stack. We've made a survey of interpretability for LLMs and now have both scientific and engineering vision of what we should implement in order to maximize the interpretability of the existing LLMs.

You need to implement the HF-compatible interpretability aggregation API. The exact tasks to accomplish are:

  1. choose the most important methods provided by Captum, Interpret and NeuroX (which ones? to better understand the task, try to figure it out yourself. having done this, reach out to us ASAP and we will discuss your vision)
  2. implement the all-in-one interpret method to run all the chosen ones
  3. perform the initial analysis of the BigScience models checkpoints
  4. ensure the codebase is easy to cover the new methods
Coding Challenge

see task 1.

Lenguaje dominante
Sin datos de lenguaje
Estrellas
1
Forks
1
Sin PR fusionados en 30 d

Preparar el entorno

Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de bigscience-workshop/interpretability-ideas

Todos los issues de bigscience-workshop/interpretability-ideas

Issues similares

Más issues de AI Infra & Agents

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.