NVIDIA-NeMo/Megatron-Bridge

[model] JoyAI-LLM Flash

Aperta

#3189 aperta il 7 apr 2026

Vedi su GitHubGuida contributor
 (2 commenti) (0 reazioni) (0 assegnatari)Python (413 fork)auto 404
area:modelfeaturehelp wantedtracking

Metriche repository

Star
 (800 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

Hugging Face repository

https://huggingface.co/joyailab

Architecture family

MoE decoder-only (e.g. DeepSeek V2/V3, OLMoE, Qwen3-MoE, MiniMax-M2)

Required deliverables

  • Model providers
  • HF conversion bridge
  • Unit tests (config and bridge)
  • Model conversion functional tests
  • Optimal pretraining recipe
  • Optimal finetuning recipe
  • Recipe unit tests
  • Recipe functional tests
  • End-to-end CI coverage

Owner if known

No response

Extra context

Request to add JoyAI-LLM Flash (48.9B total / 2.7B active) as a supported model in Megatron-Bridge. The architecture is DeepSeek-V3-style (MLA + MoE) and should map closely to the existing DeepSeek-V3 bridge implementation.

Model was trained with Muon optimizer on an extended Megatron-Core (PP=2, EP=8, ZeRO-1) over 20T tokens.

Guida contributor

Direzione di ricerca
Studia l'implementazione esistente del bridge DeepSeek V3 in Megatron Bridge, comprendi i dettagli dell'architettura MLA e MoE dal paper JoyAI LLM e replica gli script di conversione e addestramento di conseguenza.
Tech stack
pythonpytorch
Dominio
backendaitesting
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
4
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Oltre 1 settimana
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonPyTorchGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
20