Error when input file is longer than 5min
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 45/100
- Tipo de issue
- Error
- Claridad
- Bastante claro
- Estado de actividad
- Tranquilo
- Stack tecnológico
- cpp
- Área
- audio-video-rtc
Línea de trabajo
Comienza con el punto de entrada transcribe de parakeet-cli y reproduce la diferencia entre la entrada de 5 minutos que funciona y la entrada de 10 minutos que falla usando los comandos del issue. Inspecciona la ruta de asignación y cómputo de Vulkan alrededor de los errores reportados en ggml_gallocr y Backend::compute. Se considera completado cuando el audio más largo ya no agota la memoria del dispositivo ni provoca un segfault, manteniendo la salida de transcripción.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Transcription with parakeet is working ok with small files, but with files a longer than 5min it gives the following error: ErrorOutOfDeviceMemory.
I'm using the vulkan version.
Steps to reproduce
I have a 2hr+ recording that want to transcribe, gives error and did try with 10min, like this:
$ ffmpeg -t 00:10:00 -i in.wav -c copy p1.wav
$ ffprobe p1.wav
Input #0, wav, from 'p1.wav':
Metadata:
encoder : Lavf62.12.102
Duration: 00:10:00.00, bitrate: 705 kb/s
Stream #0:0: Audio: pcm_s16le ([1][0][0][0] / 0x0001), 44100 Hz, 1 channels, s16, 705 kb/s
$ parakeet-cli transcribe --model $HOME/00_M/tdt-0.6b-v3-q4_k.gguf --input p1.wav --json > out.json
ggml_vulkan: Found 1 Vulkan devices:
ggml_vulkan: 0 = NVIDIA GeForce GTX 1660 SUPER (NVIDIA) | uma: 0 | fp16: 1 | bf16: 0 | warp size: 32 | shared memory: 49152 | int dot: 1 | matrix cores: none
[parakeet] pk::Backend using device: Vulkan0
ggml_vulkan: Device memory allocation of size 900240064 failed.
ggml_vulkan: vk::Device::allocateMemory: ErrorOutOfDeviceMemory
ggml_gallocr_reserve_n_impl: failed to allocate Vulkan0 buffer of size 16698365856
[parakeet] Backend::compute: ggml_gallocr_alloc_graph failed
Segmentation fault (core dumped) parakeet-cli transcribe --model $HOME/00_M/tdt-0.6b-v3-q4_k.gguf --input p1.wav --json > out.json
- I also did try the pipe example with
ffmpeg, gives same error. - If I do the same, but with 5min, works.
- I can do the the full 2hr+ audio with Whisper without any problem, but I'm trying
parakeetnow, because is faster. - I can chop the audio in many 5 min files, but is more like a workaround than a solution, also gives problems to join subtitles.
- I did use frequently
llama.cppand sometimessd.cpp, if it counts as experience. - My system is updated.
System
distro: Arch Linux x86_64
kernel: 6.18.25-1-lts
cpu: Intel i7-4790 (8) @ 3.600GHz
ram: 32 GB
gpu: NVIDIA GeForce GTX 1660 SUPER (6GB VRAM)
- Lenguaje dominante
- C++
- Estrellas
- 786
- Forks
- 93
- Merge medio
- 9 d 19 h
- PR fusionados (30 d)
- 4
Preparar el entorno
Aún no hemos revisado los archivos de configuración de este proyecto. Empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de mudler/parakeet.cpp
-
Dificultad 4/5 3-5 días Aptitud para principiantes 55/100
mudler/parakeet.cpp#68 ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 58/100
mudler/parakeet.cpp#62 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 58/100
mudler/parakeet.cpp#61 ·
-
Real streaming from a micAbierto
Dificultad 3/5 1-2 días Aptitud para principiantes 48/100
mudler/parakeet.cpp#60 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 48/100
mudler/parakeet.cpp#59 · 3 comentarios ·
Todos los issues de mudler/parakeet.cpp
Issues similares
-
Dificultad 2/5 Medio día Aptitud para principiantes 84/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
Los mantenedores suelen responder en 1 día
-
Dificultad 1/5 1-3 horas Aptitud para principiantes 88/100
ROCm/rocm-libraries#12703 ·
Los mantenedores suelen responder en 2 días
-
bug
Dificultad 1/5 1-3 horas Aptitud para principiantes 88/100
isl-org/Open3D#7585 · 1 comentario ·
Los mantenedores suelen responder en 2 días
-
Feature request
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
qbittorrent/qBittorrent#24975 ·
Los mantenedores suelen responder en 3 días