MPS: GPT-2 produces NaN logits and invalid token IDs
Maintainer thường phản hồi trong vòng 1 ngày
Đánh giá
- Độ khó
- 2/5
- Thời gian dự kiến
- 1-3 giờ
- Mức phù hợp với người mới
- 70/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Đặc tả rõ ràng
- Mức độ hoạt động
- Sôi nổi
- Công nghệ
- cpp, objective-c
- Lĩnh vực
- backend, machine-learning
Hướng nghiên cứu
Bắt đầu trong src/mps/kernels.mm: hai lời gọi tanh hỗ trợ GELU (và kernel kích hoạt còn lại) là nguồn NaN được báo cáo trên MPS, và issue đã nói rằng precise::tanh khắc phục các trường hợp FP32/FP16/BF16 đã được kiểm thử. Trước tiên hãy đọc các định nghĩa kernel xung quanh và thiết lập build MPS, sau đó build lại trên Apple silicon và chạy script chuyển đổi-cộng-device="mps" từ issue. Hoàn tất nghĩa là generate_batch trả về các token ID hợp lệ với logits hữu hạn khớp với lần chạy CPU cho các trường hợp FP32, FP16 và BF16.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Reproduced with CTranslate2 4.9.0, Apple M4 Pro, macOS 15.7.7.
import ctranslate2 as ct
from transformers import AutoTokenizer
name = "openai-community/gpt2"
ct.converters.TransformersConverter(name).convert(
"gpt2-ct2", quantization="float32"
)
tokenizer = AutoTokenizer.from_pretrained(name)
model = ct.Generator("gpt2-ct2", device="mps", compute_type="float32")
prompt = tokenizer.tokenize("The capital of France is")
model.generate_batch([prompt], beam_size=2, max_length=16)
Actual: Raises:
Invalid token ID 18446744073709551615:
valid IDs are between 0 and 50256
Greedy decoding returns !!!!!!!!!!!!!!!! with score -inf. All 251,285 forward logits are nonfinite. The same converted model works on CPU.
Cause identified: MPS returns NaN for finite inputs such as tanh-based GELU(20) and tanh(100). GPT-2 first produces NaN in its first feed-forward layer.
Replacing the two tanh calls in src/mps/kernels.mm with precise::tanh fixes the tested FP32, FP16 and BF16 cases in an isolated build.
Separate from #2153.
- Ngôn ngữ chính
- C++
- Star
- 4.8k
- Fork
- 557
- Merge trung bình
- 1 ngày 6 giờ
- Pull request đã merge (30 ngày)
- 24
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Không có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của OpenNMT/CTranslate2
-
Allow no-timestamp Whisper decoding beyond 224 tokensCó thể đã có người làm @Emre-Akgul đã nhận 127 ngày trước. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
OpenNMT/CTranslate2#2074 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
T5Gemma fails on MPS: incorrect beam expansion with padded batchesCó thể đã có người làm @TBO22 đã nhận hôm nay. Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 30/100
OpenNMT/CTranslate2#2153 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 8/100
OpenNMT/CTranslate2#2152 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 55/100
OpenNMT/CTranslate2#2149 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100
OpenNMT/CTranslate2#2105 ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của OpenNMT/CTranslate2
Issue tương tự
-
Documentation: Fix parameter markup, legacy branch link, and phrasing in Detachable Joints and Model Command tutorialsCó thể đã có người làm @patelshivani2283-lab đã nhận hôm nay. Đang mở
Độ khó 1/5 1-3 giờ Mức phù hợp với người mới 88/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
Maintainer thường phản hồi trong vòng 1 ngày
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
Niko1221/Strata#6071 · 2 bình luận ·
Maintainer thường phản hồi trong vòng 4 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
KhronosGroup/Vulkan-Tutorial#551 ·
Maintainer thường phản hồi trong vòng 1 ngày