Error when input file is longer than 5min
维护者通常 1 天内回复
还没有人认领这个 Issue。
评估
- 难度
- 4/5
- 预计耗时
- 3-5 天
- 新手友好度
- 45/100
- Issue 类型
- 缺陷
- 描述清晰度
- 基本清楚
- 活跃度
- 冷清
- 技术栈
- cpp
调研方向
从 parakeet-cli 的 transcribe 入口点开始，使用 issue 中的命令重现可正常工作的 5 分钟输入与失败的 10 分钟输入之间的差异。检查报告的 ggml_gallocr 和 Backend::compute 失败附近的 Vulkan 分配与计算路径。完成的标准是：更长的音频不再耗尽设备内存或导致 segfault，同时保留转录输出。
由索引模型根据 Issue 内容生成。
描述
Transcription with parakeet is working ok with small files, but with files a longer than 5min it gives the following error: ErrorOutOfDeviceMemory.
I'm using the vulkan version.
Steps to reproduce
I have a 2hr+ recording that want to transcribe, gives error and did try with 10min, like this:
$ ffmpeg -t 00:10:00 -i in.wav -c copy p1.wav
$ ffprobe p1.wav
Input #0, wav, from 'p1.wav':
Metadata:
encoder : Lavf62.12.102
Duration: 00:10:00.00, bitrate: 705 kb/s
Stream #0:0: Audio: pcm_s16le ([1][0][0][0] / 0x0001), 44100 Hz, 1 channels, s16, 705 kb/s
$ parakeet-cli transcribe --model $HOME/00_M/tdt-0.6b-v3-q4_k.gguf --input p1.wav --json > out.json
ggml_vulkan: Found 1 Vulkan devices:
ggml_vulkan: 0 = NVIDIA GeForce GTX 1660 SUPER (NVIDIA) | uma: 0 | fp16: 1 | bf16: 0 | warp size: 32 | shared memory: 49152 | int dot: 1 | matrix cores: none
[parakeet] pk::Backend using device: Vulkan0
ggml_vulkan: Device memory allocation of size 900240064 failed.
ggml_vulkan: vk::Device::allocateMemory: ErrorOutOfDeviceMemory
ggml_gallocr_reserve_n_impl: failed to allocate Vulkan0 buffer of size 16698365856
[parakeet] Backend::compute: ggml_gallocr_alloc_graph failed
Segmentation fault (core dumped) parakeet-cli transcribe --model $HOME/00_M/tdt-0.6b-v3-q4_k.gguf --input p1.wav --json > out.json
- I also did try the pipe example with
ffmpeg, gives same error. - If I do the same, but with 5min, works.
- I can do the the full 2hr+ audio with Whisper without any problem, but I'm trying
parakeetnow, because is faster. - I can chop the audio in many 5 min files, but is more like a workaround than a solution, also gives problems to join subtitles.
- I did use frequently
llama.cppand sometimessd.cpp, if it counts as experience. - My system is updated.
System
distro: Arch Linux x86_64
kernel: 6.18.25-1-lts
cpu: Intel i7-4790 (8) @ 3.600GHz
ram: 32 GB
gpu: NVIDIA GeForce GTX 1660 SUPER (6GB VRAM)
- 主要语言
- C++
- 星标
- 844
- 派生
- 103
- 平均合并
- 8 小时 27 分钟
- 30 天内合并 PR
- 26
环境准备
- 提供 Dockerfile 或 Docker Compose 文件
- 没有 Pull Request 模板
- 没有贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
mudler/parakeet.cpp 的其他 Issue
-
Mention parakeet-ffm in README可能已有人在做 @localai-org-maint-bot 于 7 天前认领。 未关闭
难度 1/5 1 小时以内 新手友好度 72/100
mudler/parakeet.cpp#99 ·
维护者通常 1 天内回复
-
难度 4/5 3-5 天 新手友好度 47/100
mudler/parakeet.cpp#101 ·
维护者通常 1 天内回复
-
难度 4/5 3-5 天 新手友好度 55/100
mudler/parakeet.cpp#68 ·
维护者通常 1 天内回复
-
难度 3/5 1-2 天 新手友好度 58/100
mudler/parakeet.cpp#62 ·
维护者通常 1 天内回复
-
难度 4/5 3-5 天 新手友好度 58/100
mudler/parakeet.cpp#61 ·
维护者通常 1 天内回复
查看 mudler/parakeet.cpp 的全部 Issue
相似的 Issue
-
v9.6.0: CMake incorrectly enforces presence of libevdev可能已有人在做 关联的 PR 仍在进行中或已合并。 未关闭
难度 2/5 1-3 小时 新手友好度 67/100
维护者通常 1 天内回复
-
难度 1/5 1 小时以内 新手友好度 65/100
mltframework/shotcut#1943 ·
维护者通常 1 天内回复
-
Rowan (2017) electron heating gives NaN for beta > beta_max; clip() then sets electrons to kel_min未关闭
难度 2/5 1-3 小时 新手友好度 72/100
parthenon-hpc-lab/kharma#213 · 1 条评论 ·
维护者通常 3 天内回复
-
enhancement
难度 2/5 1-3 小时 新手友好度 68/100
metasequoiaime/msime#9113 ·
维护者通常 1 天内回复
-
bug
难度 2/5 1-3 小时 新手友好度 65/100
tone-3000/tone3000-plugin#257 · 1 条评论 ·
维护者通常 1 天内回复