Autotuning kernel launch parameters

Đang mở
#40 8 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 3 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
35/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Đình trệ
Công nghệ
julia
Lĩnh vực
hpc, performance

Hướng nghiên cứu

Bắt đầu bằng cách đọc experimental/src/cuda/tile_experimental/_autotuner.py và ví dụ sử dụng của nó trong samples/AttentionFMHA.py. Theo dõi cách các tham số khởi chạy như kích thước tile và gợi ý mục occupancy được chọn, sau đó xác định cách các tổ hợp ứng viên cần được đánh giá cho kích thước mảng, phần cứng và kiến trúc. Hoàn thành có nghĩa là hệ thống có thể tự động tìm và sử dụng một tổ hợp tham số phù hợp cho workload hiện tại.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

There are often significant performance gains from e.g. increasing the tile size when a smaller type is used, or sometimes simply setting the entry hint occupancy=2 will have a big impact. It would be nice to be able to automatically find a good combination of parameters specific to the current array sizes, hardware, and arch.

See _autotuner.py with example usage in AttentionFMHA.py

Ngôn ngữ chính
Julia
Star
90
Fork
13
Merge trung bình
4 ngày 8 giờ
Pull request đã merge (30 ngày)
19

Chuẩn bị môi trường

Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của JuliaGPU/cuTile.jl

Tất cả issue của JuliaGPU/cuTile.jl

Issue tương tự

Thêm issue về Julia

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.