Support for AI4Bharat IndicConformer Models
维护者通常 1 天内回复
还没有人认领这个 Issue。
评估
- 难度
- 4/5
- 预计耗时
- 3-5 天
- 新手友好度
- 55/100
- Issue 类型
- 功能
- 描述清晰度
- 基本清楚
- 活跃度
- 冷清
- 技术栈
- cpp
调研方向
从 Subsampling::build_graph() 开始，检查现有的 FastConformer depthwise 路径，然后将其与 IndicConformer 图所需的 ggml_conv_2d() 操作进行比较。使用 AI4Bharat GGUF 模型运行 parakeet-cli transcribe，以验证加载和推理能够完成，同时现有的 FastConformer 行为保持不变。
由索引模型根据 Issue 内容生成。
描述
Feature Description
Please add support for AI4Bharat IndicConformer models.
Currently loading the GGUF model crashes during the feature downsampling/subsampling block.
Error
GGML_ASSERT(a->ne[2] == 1) failed
Stack:
ggml_conv_2d_dw_direct()
Subsampling::build_graph()
Root Cause
The current implementation assumes FastConformer subsampling:
conv.2 depthwise
conv.3 pointwise
conv.5 depthwise
conv.6 pointwise
However AI4Bharat IndicConformer uses:
conv.0 Conv2d
ReLU
conv.2 Conv2d
ReLU
ONNX inspection:
conv.0.weight
[512,1,3,3]
group=1
conv.2.weight
[512,512,3,3]
group=1
GGUF:
encoder.pre_encode.conv.2.weight
[3,3,512,512]
This is a different computation graph, not only a tensor layout issue.
Proposed implementation
-
Detect subsampling architecture during loading.
-
Preserve existing FastConformer depthwise path.
-
Add IndicConformer path:
Conv2d(conv.0)
→ ReLU
→ Conv2d(conv.2)
→ ReLU
using ggml_conv_2d().
- Reuse existing encoder blocks after subsampling.
Additional observation
The GGUF file itself is valid:
parakeet-cli infoworks correctly.parakeet-cli quantizeworks correctly.
The failure only occurs during parakeet-cli transcribe, when the inference graph is constructed and the subsampling layer is executed.
Use Case
Standalone C++ Speech-to-Text inference for Indian languages.
- 主要语言
- C++
- 星标
- 844
- 派生
- 103
- 平均合并
- 8 小时 27 分钟
- 30 天内合并 PR
- 26
环境准备
- 提供 Dockerfile 或 Docker Compose 文件
- 没有 Pull Request 模板
- 没有贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
mudler/parakeet.cpp 的其他 Issue
-
Mention parakeet-ffm in README可能已有人在做 @localai-org-maint-bot 于 4 天前认领。 未关闭
难度 1/5 1 小时以内 新手友好度 72/100
mudler/parakeet.cpp#99 ·
维护者通常 1 天内回复
-
难度 4/5 3-5 天 新手友好度 55/100
mudler/parakeet.cpp#68 ·
维护者通常 1 天内回复
-
难度 3/5 1-2 天 新手友好度 58/100
mudler/parakeet.cpp#62 ·
维护者通常 1 天内回复
-
难度 4/5 3-5 天 新手友好度 58/100
mudler/parakeet.cpp#61 ·
维护者通常 1 天内回复
-
Real streaming from a mic可能已有人在做 关联的 PR 仍在进行中或已合并。 未关闭
难度 3/5 1-2 天 新手友好度 48/100
mudler/parakeet.cpp#60 ·
维护者通常 1 天内回复
查看 mudler/parakeet.cpp 的全部 Issue
相似的 Issue
-
enhancement source/qq
难度 2/5 1-3 小时 新手友好度 72/100
metasequoiaime/msime-windows#1054 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 88/100
amnezia-vpn/amnezia-client#3297 · 1 条评论 ·
维护者通常 1 天内回复
-
enhancement
难度 2/5 1-3 小时 新手友好度 68/100
metasequoiaime/msime#8620 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 85/100
returnoftheshadow/RotS_Live#414 ·
维护者通常 1 天内回复
-
agent:WSL bug code-review linux LOW
难度 2/5 1-3 小时 新手友好度 88/100
维护者通常 1 天内回复