ggml-org/ggml

New model: AudioCraft for audio generation

Open

#429 aperta il 2 ago 2023

Vedi su GitHub
 (2 commenti) (13 reazioni) (1 assegnatario)C++ (1646 fork)auto 404
help wantedmodel

Metriche repository

Star
 (14.741 star)
Metriche merge PR
 (Merge medio 33m) (12 PR mergiate in 30 g)

Descrizione

Meta just released their new open-source model AudioCraft consisting of three pieces: MusicGen, AudioGen and Encodec. Given encodec.cpp is already implemented, we should be able to implement it AudioCraft fairly easily with ggml.

I've already opened an issue in bark.cpp and plan to implement it as soon as i'm finished with bark.

Source: https://ai.meta.com/blog/audiocraft-musicgen-audiogen-encodec-generative-ai-audio/

Guida contributor

Direzione di ricerca
Studia l'implementazione esistente di encodec.cpp e il documento AudioCraft; quindi implementa il modello utilizzando i primitivi ggml.
Tech stack
cpp
Dominio
machine learning
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
GitC++
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70