Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Adaptive Compression

Đang mở
  • Có gì không ổn?
#2,807 4 bình luận 2 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 2 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
30/100
Loại issue
Tài liệu
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Sôi nổi
Công nghệ
python
Lĩnh vực
documentation, machine-learning, performance

Hướng nghiên cứu

Issue không xác định tệp, bài kiểm thử hay điểm vào nào. Hãy bắt đầu bằng cách kiểm tra tài liệu Transformer Engine hiện có và các ví dụ công khai về Adaptive Compression, sau đó xác định xem các chi tiết triển khai được yêu cầu có sẵn hay không. Hoàn thành khi có một phần giải thích được maintainer xác nhận, kèm các ví dụ liên quan hoặc tham chiếu đến tài liệu đề cập đến sparsity động và cách sử dụng.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

question

Hello team,

I recently came across the SemiAnalysis article “Vera Rubin: Extreme Co-Design as an Evolution” (https://newsletter.semianalysis.com/p/vera-rubin-extreme-co-design-an-evolution) where Adaptive Compression for transformer workloads was discussed. The article mentions significant speedups (50 PFLOPS vs 35 FLOPS), but I could not find detailed information on how this is implemented in the Transformer Engine.

Now that GTC 2026 has concluded, I wanted to ask for clarification on the following:

  1. Could you provide more details on the implementation of Adaptive Compression in Transformer Engine?
  2. Specifically, how is sparsity identified and exploited dynamically?
  3. Are there any public code examples, demos, or documentation illustrating this feature?

Any guidance or pointers would be greatly appreciated, as I am interested in evaluating and experimenting with this feature for transformer model acceleration.

Thank you for your time and support.

Best regards,
Guanchen

Ngôn ngữ chính
Python
Star
3.6k
Fork
851
Merge trung bình
5 ngày 1 giờ
Pull request đã merge (30 ngày)
52

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của NVIDIA/TransformerEngine

Tất cả issue của NVIDIA/TransformerEngine

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.