Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

MODEL-MM-GLM53-FLASH: the compose — glm5_next_device.cpp and the remaining nine arms

Đang mở
  • Có gì không ổn?
#3,174 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
35/100
Loại issue
Tái cấu trúc
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
cpp
Lĩnh vực
backend, machine-learning

Hướng nghiên cứu

Bắt đầu với glm5_next_forward.cpp:288 và so sánh cấu trúc được yêu cầu với mẫu thiết bị cư trú một hàng đợi của kimi_linear_device.cpp. Theo dõi sáu nhánh được liệt kê và các provider tương ứng được nêu tên, đồng thời giữ MLA attention và mHC là các vùng host-fallback độc lập. Hoàn tất có nghĩa là glm5_next_device.cpp bao phủ sáu nhánh được provider hỗ trợ và duy trì hai fallback đó.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

enhancement

Row: MODEL-MM-glm5-next-glm5-next-for-conditional-generation

Glm5NextForConditionalGeneration (GLM-5.3-Flash) has three of eleven arms on a
device queue after W9c-3a (expert GEMM), W9c-2 (KDA recurrence, MoE router
topk), and W9c-3b (KV binding). The other eight still run on the interposed CPU
queue that Glm5NextHostForward constructs at glm5_next_forward.cpp:288. O43
discloses that, and this issue owns the wave that closes it.

Scope

Create glm5_next_device.cpp following kimi_linear_device.cpp's
single-queue, device-resident pattern. Move six arms from host to device where
providers exist on both CUDA and ROCm:

  • RMSNorm (vt::RmsNorm)
  • Embedding gather (vt::Embedding / vt::EmbeddingQuant)
  • Chunked lm_head (vt::Matmul)
  • DSA k-pool indexer (vt::Glm5NextKpoolCompress / Select — O36)
  • MoE combine (vt::MoeCombine)
  • Dense and shared MLPs (vt::Matmul)

Two arms stay as host-fallback islands:

  • Eager MLA attention (needs W9c-1's port to mla::ForwardMlaAttentionBlock)
  • mHC sites (O34 — kDeepseekV4Mhc has no ROCm provider)

Owed

  • W9c-1 (MLA attention onto mla::ForwardMlaAttentionBlock) — REFUSED, owns
    the MLA host-fallback island
  • O34 (kDeepseekV4Mhc ROCm provider) — owns the mHC host-fallback island
  • O36 (k-pool device ops wired) — DISCHARGED by this wave
Ngôn ngữ chính
C++
Star
423
Fork
53
Merge trung bình
1 ngày 4 giờ
Pull request đã merge (30 ngày)
366

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của mudler/vllm.cpp

Tất cả issue của mudler/vllm.cpp

Issue tương tự

Thêm issue về C++

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.