Cuda error in RULER notebook
维护者通常 1 天内回复
还没有人认领这个 Issue。
评估
- 难度
- 4/5
- 预计耗时
- 3-5 天
- 新手友好度
- 25/100
- Issue 类型
- 缺陷
- 描述清晰度
- 需要澄清
- 活跃度
- 停滞
调研方向
打开链接的 Google Colab notebook，首先运行到达 vLLM 的 RULER 训练流程，记录环境和报告的 torch.cuda.MemPool 错误。当 notebook 能够加载所选模型并在不出现此运行时错误的情况下开始训练，且结果已记录在 issue 中时，即表示完成。
由索引模型根据 Issue 内容生成。
描述
I am using the RULER notebook to train a model, but I get this error:
---------------------------------------------------------------------------
RuntimeError Traceback (most recent call last)
/usr/local/lib/python3.12/dist-packages/unsloth_zoo/vllm_utils.py in load_vllm(model_name, config, gpu_memory_utilization, max_seq_length, dtype, training, float8_kv_cache, random_state, enable_lora, max_lora_rank, max_loras, use_async, use_engine, disable_log_stats, enforce_eager, enable_prefix_caching, compilation_config, conservativeness, max_logprobs, use_bitsandbytes, unsloth_vllm_standby, return_args)
1499 if use_async:
-> 1500 llm = AsyncLLMEngine.from_engine_args(AsyncEngineArgs(**engine_args))
1501 elif use_engine:
31 frames
RuntimeError: torch.cuda.MemPool doesn't currently support expandable_segments.
During handling of the above exception, another exception occurred:
RuntimeError Traceback (most recent call last)
/usr/local/lib/python3.12/dist-packages/unsloth_zoo/vllm_utils.py in load_vllm(model_name, config, gpu_memory_utilization, max_seq_length, dtype, training, float8_kv_cache, random_state, enable_lora, max_lora_rank, max_loras, use_async, use_engine, disable_log_stats, enforce_eager, enable_prefix_caching, compilation_config, conservativeness, max_logprobs, use_bitsandbytes, unsloth_vllm_standby, return_args)
1525 )
1526 else:
-> 1527 raise RuntimeError(error)
1528 pass
1529 pass
RuntimeError: torch.cuda.MemPool doesn't currently support expandable_segments.
I have tried upgrading transformers, vllm, and ART, and I have also tried multiple models, including GPT-OSS 20b and Qwen/Qwen2.5-7B-Instruct, but nothing resolved this issue. Here is my notebook's code: https://colab.research.google.com/drive/13Ax7eQ313WxTHXzosUciHdBYXlnG9047?usp=sharing
- 主要语言
- Python
- 星标
- 10.8k
- 派生
- 1k
- 平均合并
- 12 小时 33 分钟
- 30 天内合并 PR
- 126
环境准备
- 没有 Dockerfile 或 Docker Compose 文件
- 没有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
OpenPipe/ART 的其他 Issue
-
gather_trajectory_groups / gather_trajectories leave sibling rollouts running after a failure可能已有人在做 @salma2vec 于 1 天前认领。 未关闭
难度 2/5 1-3 小时 新手友好度 78/100
维护者通常 1 天内回复
-
Distributed group_mean casts group ids to float32, losing precision vs non-distributed path可能已有人在做 @OnePunchMonk 于 20 天前认领。 未关闭
难度 2/5 1-3 小时 新手友好度 82/100
维护者通常 1 天内回复
-
Add from_entity parameter to _experimental_fork_checkpoint可能重新可做 关联的 PR 已关闭且未合并。 未关闭
难度 2/5 1-3 小时 新手友好度 72/100
维护者通常 1 天内回复
-
ruler_score_group drops group exceptions, metadata and metrics, and trajectory policy versions可能已有人在做 @salma2vec 于 1 天前认领。 未关闭
难度 2/5 1-3 小时 新手友好度 35/100
维护者通常 1 天内回复
-
trajectory_group_batches leaves started rollouts running after close, error or cancellation可能已有人在做 @salma2vec 于 1 天前认领。 未关闭
难度 3/5 1-2 天 新手友好度 25/100
维护者通常 1 天内回复
相似的 Issue
-
bug
难度 1/5 1 小时以内 新手友好度 88/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 68/100
维护者通常 1 天内回复
-
documentation
难度 2/5 1-3 小时 新手友好度 84/100
sergey-miryanov/gcmon#230 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 78/100
Azure-Samples/azure-search-openai-demo#3249 ·
维护者通常 1 天内回复
-
[BUG] Failed archive extraction deletes the dataset cache可能已有人在做 @dajiaohuang 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 78/100
alibaba/GraphScope#4674 ·