ggml-org/ggml

New model: AudioCraft for audio generation

Open

#429 aberto em 2 de ago. de 2023

Ver no GitHub
 (2 comments) (13 reactions) (1 assignee)C++ (1.646 forks)auto 404
help wantedmodel

Métricas do repositório

Stars
 (14.741 stars)
Métricas de merge de PR
 (Mesclagem média 33m) (12 fundiu PRs em 30d)

Description

Meta just released their new open-source model AudioCraft consisting of three pieces: MusicGen, AudioGen and Encodec. Given encodec.cpp is already implemented, we should be able to implement it AudioCraft fairly easily with ggml.

I've already opened an issue in bark.cpp and plan to implement it as soon as i'm finished with bark.

Source: https://ai.meta.com/blog/audiocraft-musicgen-audiogen-encodec-generative-ai-audio/

Guia do colaborador

Direção de pesquisa
Estude a implementação existente do encodec.cpp e o artigo do AudioCraft; em seguida, implemente o modelo usando os primitivos ggml.
Pilha de tecnologia
cpp
Domain
machine learning
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
GitC++
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
70