Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

Question: Can modality row selection be moved before the output projections?

Aperta
  • Qualcosa non va?
#65 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
42/100
Tipo di issue
Refactoring
Chiarezza
Da chiarire
Stato di attività
Attiva
Stack tecnologico
python
Ambito
distributed-systems, machine-learning

Direzione di ricerca

Inizia da MiniMaxH3Transformer3DModel.forward e traccia il modo in cui norm_out, proj_out, audio_proj_out, video_indices e audio_indices interagiscono con la raccolta degli output context-parallel. Verifica se gli indici sono locali o globali e se l'inferenza distribuita o le predizioni delle righe di riferimento dipendono dall'ordine corrente; il lavoro è completato quando viene stabilita la validità dell'ottimizzazione e vengono documentati eventuali vincoli.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Question

In MiniMaxH3Transformer3DModel.forward, the output heads are currently applied to the entire packed sequence before selecting the video and audio rows:

hidden_states = self.norm_out(hidden_states, temb, timestep_indices)

video_output = self.proj_out(hidden_states).index_select(1, video_indices)
audio_output = self.audio_proj_out(hidden_states).index_select(1, audio_indices)

Since both output projections operate independently on the last feature dimension, would the following be mathematically equivalent?

hidden_states = self.norm_out(hidden_states, temb, timestep_indices)

video_hidden_states = hidden_states.index_select(1, video_indices)
audio_hidden_states = hidden_states.index_select(1, audio_indices)

video_output = self.proj_out(video_hidden_states)
audio_output = self.audio_proj_out(audio_hidden_states)

In other words:
index_select(Linear(H), I) = Linear(index_select(H, I))
This would avoid applying proj_out and audio_proj_out to rows that are not needed by the corresponding output head.
Is there any reason why the current order is required, such as:

  • context-parallel output gathering;
  • global versus local sequence indices;
  • distributed inference constraints;
  • numerical or checkpoint compatibility;
  • or the need to preserve predictions for all reference rows?
    I would appreciate any clarification about whether selecting the rows before the modality-specific output projections is a valid optimization.
Lingua principale
Python
Stelle
9.8k
Fork
738
Nessuna PR unita negli ultimi 30g

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di MiniMax-AI/MiniMax-H3

Tutte le issue di MiniMax-AI/MiniMax-H3

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.