ggml-org/ggml

New model: AudioCraft for audio generation

Open

#429 geöffnet am 2. Aug. 2023

Auf GitHub ansehen
 (2 Kommentare) (13 Reaktionen) (1 zugewiesene Person)C++ (1.646 Forks)auto 404
help wantedmodel

Repository-Metriken

Stars
 (14.741 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 33m) (12 gemergte PRs in 30 T)

Beschreibung

Meta just released their new open-source model AudioCraft consisting of three pieces: MusicGen, AudioGen and Encodec. Given encodec.cpp is already implemented, we should be able to implement it AudioCraft fairly easily with ggml.

I've already opened an issue in bark.cpp and plan to implement it as soon as i'm finished with bark.

Source: https://ai.meta.com/blog/audiocraft-musicgen-audiogen-encodec-generative-ai-audio/

Contributor Guide

Research-Richtung
Studieren Sie die bestehende encodec.cpp Implementierung und das AudioCraft Papier; implementieren Sie dann das Modell mit ggml Primitiven.
Tech Stack
cpp
Domain
machine learning
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
GitC++
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
70