ggml-org/ggml

New model: AudioCraft for audio generation

Open

Aperta il 2 ago 2023

Vedi su GitHub
 (2 commenti) (13 reazioni) (1 assegnatario)C++ (14.741 star) (1646 fork)auto 404
help wantedmodel

Descrizione

Meta just released their new open-source model AudioCraft consisting of three pieces: MusicGen, AudioGen and Encodec. Given encodec.cpp is already implemented, we should be able to implement it AudioCraft fairly easily with ggml.

I've already opened an issue in bark.cpp and plan to implement it as soon as i'm finished with bark.

Source: https://ai.meta.com/blog/audiocraft-musicgen-audiogen-encodec-generative-ai-audio/

Guida contributor

Tech stack
cpp
Dominio
machine learning
Tipo issue
feature
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
half day
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
active
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
clear
Prerequisiti
GitC++
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70
Direzione di ricerca
Study the existing encodec.cpp implementation and the AudioCraft paper; then implement the model using ggml primitives.