Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Support for AI4Bharat IndicConformer Models

Đang mở
  • Có gì không ổn?
#47 1 bình luận 1 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
55/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Ít trao đổi
Công nghệ
cpp
Lĩnh vực
machine-learning

Hướng nghiên cứu

Bắt đầu tại Subsampling::build_graph() và kiểm tra đường dẫn depthwise hiện có của FastConformer, sau đó so sánh nó với các thao tác ggml_conv_2d() cần thiết cho đồ thị IndicConformer. Sử dụng parakeet-cli transcribe với một mô hình GGUF của AI4Bharat để xác minh rằng quá trình tải và suy luận hoàn tất, trong khi hành vi hiện có của FastConformer vẫn không thay đổi.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Feature Description

Please add support for AI4Bharat IndicConformer models.

Currently loading the GGUF model crashes during the feature downsampling/subsampling block.

Error

GGML_ASSERT(a->ne[2] == 1) failed

Stack:
ggml_conv_2d_dw_direct()
Subsampling::build_graph()

Root Cause

The current implementation assumes FastConformer subsampling:

conv.2 depthwise
conv.3 pointwise
conv.5 depthwise
conv.6 pointwise

However AI4Bharat IndicConformer uses:

conv.0 Conv2d
ReLU
conv.2 Conv2d
ReLU

ONNX inspection:

conv.0.weight
[512,1,3,3]
group=1

conv.2.weight
[512,512,3,3]
group=1

GGUF:

encoder.pre_encode.conv.2.weight
[3,3,512,512]

This is a different computation graph, not only a tensor layout issue.

Proposed implementation

  1. Detect subsampling architecture during loading.

  2. Preserve existing FastConformer depthwise path.

  3. Add IndicConformer path:

Conv2d(conv.0)
→ ReLU
→ Conv2d(conv.2)
→ ReLU

using ggml_conv_2d().

  1. Reuse existing encoder blocks after subsampling.
Additional observation

The GGUF file itself is valid:

  • parakeet-cli info works correctly.
  • parakeet-cli quantize works correctly.

The failure only occurs during parakeet-cli transcribe, when the inference graph is constructed and the subsampling layer is executed.

Use Case

Standalone C++ Speech-to-Text inference for Indian languages.

Ngôn ngữ chính
C++
Star
786
Fork
93
Merge trung bình
9 ngày 19 giờ
Pull request đã merge (30 ngày)
4

Chuẩn bị môi trường

Chúng tôi chưa kiểm tra các tệp thiết lập môi trường của dự án này. Hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của mudler/parakeet.cpp

Tất cả issue của mudler/parakeet.cpp

Issue tương tự

Thêm issue về C++

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.