MPS: GPT-2 produces NaN logits and invalid token IDs

Đang mở Phù hợp với người mới
#2,154 1 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

@TBO22 đang làm issue này rồi.

Từ ngày 15/11/2026.

  • #2155 của @TBO22 — đang mở

Đánh giá

Độ khó
2/5
Thời gian dự kiến
1-3 giờ
Mức phù hợp với người mới
70/100
Loại issue
Lỗi
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
cpp, objective-c
Lĩnh vực
backend, machine-learning

Hướng nghiên cứu

Bắt đầu trong src/mps/kernels.mm: hai lời gọi tanh hỗ trợ GELU (và kernel kích hoạt còn lại) là nguồn NaN được báo cáo trên MPS, và issue đã nói rằng precise::tanh khắc phục các trường hợp FP32/FP16/BF16 đã được kiểm thử. Trước tiên hãy đọc các định nghĩa kernel xung quanh và thiết lập build MPS, sau đó build lại trên Apple silicon và chạy script chuyển đổi-cộng-device="mps" từ issue. Hoàn tất nghĩa là generate_batch trả về các token ID hợp lệ với logits hữu hạn khớp với lần chạy CPU cho các trường hợp FP32, FP16 và BF16.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Reproduced with CTranslate2 4.9.0, Apple M4 Pro, macOS 15.7.7.

import ctranslate2 as ct
from transformers import AutoTokenizer

name = "openai-community/gpt2"
ct.converters.TransformersConverter(name).convert(
    "gpt2-ct2", quantization="float32"
)
tokenizer = AutoTokenizer.from_pretrained(name)
model = ct.Generator("gpt2-ct2", device="mps", compute_type="float32")
prompt = tokenizer.tokenize("The capital of France is")

model.generate_batch([prompt], beam_size=2, max_length=16)

Actual: Raises:

Invalid token ID 18446744073709551615:
valid IDs are between 0 and 50256

Greedy decoding returns !!!!!!!!!!!!!!!! with score -inf. All 251,285 forward logits are nonfinite. The same converted model works on CPU.

Cause identified: MPS returns NaN for finite inputs such as tanh-based GELU(20) and tanh(100). GPT-2 first produces NaN in its first feed-forward layer.

Replacing the two tanh calls in src/mps/kernels.mm with precise::tanh fixes the tested FP32, FP16 and BF16 cases in an isolated build.

Separate from #2153.

Ngôn ngữ chính
C++
Star
4.8k
Fork
557
Merge trung bình
1 ngày 6 giờ
Pull request đã merge (30 ngày)
24

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của OpenNMT/CTranslate2

Tất cả issue của OpenNMT/CTranslate2

Issue tương tự

Thêm issue về C++

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.