Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

Question: Can modality row selection be moved before the output projections?

Abierto
  • ¿Algo no está bien?
#65 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
4/5
Tiempo estimado
3-5 días
Aptitud para principiantes
42/100
Tipo de issue
Refactorización
Claridad
Necesita aclaración
Estado de actividad
Activo
Stack tecnológico
python
Área
distributed-systems, machine-learning

Línea de trabajo

Comienza en MiniMaxH3Transformer3DModel.forward y sigue cómo norm_out, proj_out, audio_proj_out, video_indices y audio_indices interactúan con la recopilación de salidas context-parallel. Comprueba si los índices son locales o globales y si la inferencia distribuida o las predicciones de filas de referencia dependen del orden actual; se considera terminado cuando se haya establecido la validez de la optimización y se haya documentado cualquier restricción.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

Question

In MiniMaxH3Transformer3DModel.forward, the output heads are currently applied to the entire packed sequence before selecting the video and audio rows:

hidden_states = self.norm_out(hidden_states, temb, timestep_indices)

video_output = self.proj_out(hidden_states).index_select(1, video_indices)
audio_output = self.audio_proj_out(hidden_states).index_select(1, audio_indices)

Since both output projections operate independently on the last feature dimension, would the following be mathematically equivalent?

hidden_states = self.norm_out(hidden_states, temb, timestep_indices)

video_hidden_states = hidden_states.index_select(1, video_indices)
audio_hidden_states = hidden_states.index_select(1, audio_indices)

video_output = self.proj_out(video_hidden_states)
audio_output = self.audio_proj_out(audio_hidden_states)

In other words:
index_select(Linear(H), I) = Linear(index_select(H, I))
This would avoid applying proj_out and audio_proj_out to rows that are not needed by the corresponding output head.
Is there any reason why the current order is required, such as:

  • context-parallel output gathering;
  • global versus local sequence indices;
  • distributed inference constraints;
  • numerical or checkpoint compatibility;
  • or the need to preserve predictions for all reference rows?
    I would appreciate any clarification about whether selecting the rows before the modality-specific output projections is a valid optimization.
Lenguaje dominante
Python
Estrellas
9.8k
Forks
738
Sin PR fusionados en 30 d

Preparar el entorno

Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de MiniMax-AI/MiniMax-H3

Todos los issues de MiniMax-AI/MiniMax-H3

Issues similares

Más issues de Python

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.