Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Cuda error in RULER notebook

Đang mở
  • Có gì không ổn?
#436 1 bình luận 1 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 3 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
25/100
Loại issue
Lỗi
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Đình trệ
Công nghệ
jupyter-notebook, python, pytorch
Lĩnh vực
machine-learning

Hướng nghiên cứu

Mở notebook Google Colab được liên kết và trước tiên chạy luồng huấn luyện RULER đi tới vLLM, ghi lại môi trường và lỗi torch.cuda.MemPool được báo cáo. Công việc được xem là hoàn tất khi notebook có thể tải một model đã chọn và bắt đầu huấn luyện mà không gặp lỗi runtime này, với kết quả được ghi lại trong issue.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

bug

I am using the RULER notebook to train a model, but I get this error:

---------------------------------------------------------------------------
RuntimeError                              Traceback (most recent call last)
/usr/local/lib/python3.12/dist-packages/unsloth_zoo/vllm_utils.py in load_vllm(model_name, config, gpu_memory_utilization, max_seq_length, dtype, training, float8_kv_cache, random_state, enable_lora, max_lora_rank, max_loras, use_async, use_engine, disable_log_stats, enforce_eager, enable_prefix_caching, compilation_config, conservativeness, max_logprobs, use_bitsandbytes, unsloth_vllm_standby, return_args)
   1499             if use_async:
-> 1500                 llm = AsyncLLMEngine.from_engine_args(AsyncEngineArgs(**engine_args))
   1501             elif use_engine:

31 frames
RuntimeError: torch.cuda.MemPool doesn't currently support expandable_segments.

During handling of the above exception, another exception occurred:

RuntimeError                              Traceback (most recent call last)
/usr/local/lib/python3.12/dist-packages/unsloth_zoo/vllm_utils.py in load_vllm(model_name, config, gpu_memory_utilization, max_seq_length, dtype, training, float8_kv_cache, random_state, enable_lora, max_lora_rank, max_loras, use_async, use_engine, disable_log_stats, enforce_eager, enable_prefix_caching, compilation_config, conservativeness, max_logprobs, use_bitsandbytes, unsloth_vllm_standby, return_args)
   1525                 )
   1526             else:
-> 1527                 raise RuntimeError(error)
   1528         pass
   1529     pass

RuntimeError: torch.cuda.MemPool doesn't currently support expandable_segments.

I have tried upgrading transformers, vllm, and ART, and I have also tried multiple models, including GPT-OSS 20b and Qwen/Qwen2.5-7B-Instruct, but nothing resolved this issue. Here is my notebook's code: https://colab.research.google.com/drive/13Ax7eQ313WxTHXzosUciHdBYXlnG9047?usp=sharing

Ngôn ngữ chính
Python
Star
10.8k
Fork
989
Merge trung bình
11 giờ 38 phút
Pull request đã merge (30 ngày)
104

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của OpenPipe/ART

Tất cả issue của OpenPipe/ART

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.