关于L1 G4000文档的修改小建议
還沒有人認領這個 Issue。
評估
- 難度
- 2/5
- 預估耗時
- 1-3 小時
- 新手友好度
- 35/100
- Issue 類型
- 文件
- 描述清晰度
- 基本清楚
- 活躍度
- 停滯
研究方向
在 InternLM/Tutorial 儲存庫中,尋找 L1 G4000 教學以及列出的 conda 和 pip 指令。檢查相依性安裝順序和 torch/CUDA 驗證程式碼片段。文件中的操作順序保留 PyTorch 2.0.1 與 CUDA 11.7,並說明如何在模型推論前進行驗證,即視為完成。
由索引模型根據 Issue 內容生成。
描述
关于这个教程文档,我有些修改的小建议。
文档中的配置环境的顺序是这样的:
# 1. 创建并激活环境
conda create -n llamaindex python=3.10
conda activate llamaindex
# 2. 首先安装特定版本的 PyTorch,并确保使用 CUDA 11.7
conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pytorch-cuda=11.7 -c pytorch -c nvidia
# 3. 安装基础依赖
pip install einops==0.7.0 protobuf==5.26.1
# 4. 安装 LLamaIndex 相关
pip install llama-index==0.10.38
pip install llama-index-llms-huggingface==0.2.0
pip install "transformers[torch]==4.41.1"
pip install "huggingface_hub[inference]==0.23.1" huggingface_hub==0.23.1
pip install sentence-transformers==2.7.0
pip install sentencepiece==0.2.0
# 5. 安装向量依赖包
pip install llama-index-embeddings-huggingface==0.2.0
pip install llama-index-embeddings-instructor==0.1.3
存在的问题是:匹配cuda11.7的torch安装在前,但是其后安装 LLamaIndex 相关的指令会稳定触发torch的升级到最新版本,而新版本的PyTorch (2.5.1) 默认使用CUDA 12.4
pip install llama-index==0.10.38 llama-index-llms-huggingface==0.2.0 "transformers[torch]==4.41.1" "huggingface_hub[inference]==0.23.1" huggingface_hub==0.23.1 sentence-transformers==2.7.0 sentencepiece==0.2.0
pip install llama-index-embeddings-huggingface==0.2.0 llama-index-embeddings-instructor==0.1.3
这样,当进行到模型推理的步骤时,就会有
RuntimeError: CUDA error: CUBLAS_STATUS_NOT_INITIALIZED when calling cublasCreate(handle)
报错,也就是说安装教程的顺序走,稳定会在模型推理的的时候遇到cuda报错(虽然文档有一行对应的提示)
必须再次重新安装正确的torch:
conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pytorch-cuda=11.7 -c pytorch -c nvidia
文档里关于环境配置的内容也许可以这样修改:
# 1. 创建并激活环境
conda create -n llamaindex python=3.10
conda activate llamaindex
# 2. 安装基础依赖
pip install einops==0.7.0 protobuf==5.26.1
# 3. 先安装 LlamaIndex 和相关包,让它自动处理依赖关系
# 注意:此时 pip 会安装与你当前环境不同的 torch 版本。
pip install llama-index==0.10.38 llama-index-llms-huggingface==0.2.0 "transformers[torch]==4.41.1" "huggingface_hub[inference]==0.23.1" huggingface_hub==0.23.1 sentence-transformers==2.7.0 sentencepiece==0.2.0
# 4. 安装向量依赖包
pip install llama-index-embeddings-huggingface==0.2.0 llama-index-embeddings-instructor==0.1.3
# 5. 强制重装特定版本的 PyTorch (这会覆盖/降级之前自动安装的版本)
conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pytorch-cuda=11.7 -c pytorch -c nvidia
安装完成后,验证 torch 是否正确安装并使用了指定的 CUDA 版本:
import torch
print(torch.__version__) # 应输出类似 '2.0.1'
print(torch.version.cuda) # 应输出 '11.7'
print(torch.cuda.is_available())# 应输出 True
- 主要語言
- Python
- 星號
- 2k
- 分支
- 1.5k
- PR 合併指標
- 30 天內沒有已合併 PR
環境準備
這個專案沒有提供開發容器、Dockerfile 或貢獻指南,環境需要你自己搭建:先看它的 README,通用步驟見我們的新手貢獻指南。
從這裡開始
- 先讀完整個 Issue,再讀專案的貢獻指南。
- 在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
- Fork 儲存庫,在一個分支上完成修改。
- 送出 Pull Request,並在描述裡引用這個 Issue 編號。
InternLM/Tutorial 的其他 Issue
-
難度 1/5 1 小時以內 新手友好度 85/100
-
難度 1/5 1 小時以內 新手友好度 65/100
-
使用100%A100运行报错未關閉
難度 4/5 3-5 天 新手友好度 30/100
-
test未關閉
難度 5/5 一週以上 新手友好度 1/100
-
難度 5/5 一週以上 新手友好度 20/100
查看 InternLM/Tutorial 的全部 Issue
相似的 Issue
-
dependencies feature github_actions good first issue
難度 2/5 1-3 小時 新手友好度 62/100
wemake-services/wemake-django-template#3149 ·
維護者通常 1 天內回覆
-
upstream update
難度 2/5 1-3 小時 新手友好度 65/100
conan-io/conan-center-index#31142 ·
維護者通常 1 天內回覆
-
area:core bug
難度 2/5 1-3 小時 新手友好度 78/100
維護者通常 1 天內回覆
-
request-theme
難度 2/5 1 小時以內 新手友好度 70/100
LizardByte/ThemerrDB#8877 · 1 則留言 ·
維護者通常 1 天內回覆
-
area/install-update comp/gateway P0 sweeper:risk-compatibility type/bug
難度 2/5 1 小時以內 新手友好度 72/100
NousResearch/hermes-agent#135997 · 3 則留言 ·
維護者通常 1 天內回覆