RuntimeError: CUDA error: an illegal memory access was encountered

Aperta
  • Qualcosa non va?
#208 2 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
25/100
Tipo di issue
Bug
Chiarezza
Da chiarire
Stato di attività
Ferma
Stack tecnologico
jupyter-notebook, python, pytorch
Ambito
computer-vision, machine-learning

Direzione di ricerca

Inizia da notebooks/how-to-auto-train-yolov8-model-with-autodistill.ipynb e dalla cella che chiama target_model.train(DATA_YAML_PATH, epochs=2). Riproduci il traceback nell’ambiente Google Colab V100 riportato, quindi identifica la configurazione di training che causa il problema o l’interazione tra dipendenze. Il lavoro è completato quando il notebook esegue il training senza l’accesso illegale alla memoria oppure documenta una limitazione confermata e una soluzione alternativa.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

bug
Search before asking
  • I have searched the Roboflow Notebooks issues and found no similar bug report.
Notebook name

how-to-auto-train-yolov8-model-with-autodistill.ipynb

Bug

Train target model - YOLOv8:
Default epochs=50, got error and tried again with epochs=2 and got same error.

New https://pypi.org/project/ultralytics/8.0.189 available 😃 Update with 'pip install -U ultralytics'
Ultralytics YOLOv8.0.81 🚀 Python-3.10.12 torch-2.0.1+cu118 CUDA:0 (Tesla V100-SXM2-16GB, 16151MiB)
/content
---------------------------------------------------------------------------
RuntimeError                              Traceback (most recent call last)
[<ipython-input-22-8c0827b8627e>](https://localhost:8080/#) in <cell line: 6>()
      4 
      5 target_model = YOLOv8("yolov8n.pt")
----> 6 target_model.train(DATA_YAML_PATH, epochs=2)

7 frames
[/usr/local/lib/python3.10/dist-packages/torch/cuda/random.py](https://localhost:8080/#) in cb()
    109         for i in range(device_count()):
    110             default_generator = torch.cuda.default_generators[i]
--> 111             default_generator.manual_seed(seed)
    112 
    113     _lazy_call(cb, seed_all=True)

RuntimeError: CUDA error: an illegal memory access was encountered
CUDA kernel errors might be asynchronously reported at some other API call, so the stacktrace below might be incorrect.
For debugging consider passing CUDA_LAUNCH_BLOCKING=1.
Compile with `TORCH_USE_CUDA_DSA` to enable device-side assertions.
Environment
  • google colab V100 51GB RAM
Minimal Reproducible Example

No response

Additional

No response

Are you willing to submit a PR?
  • Yes I'd like to help by submitting a PR!
Lingua principale
Jupyter Notebook
Stelle
9.7k
Fork
1.5k
Nessuna PR unita negli ultimi 30g

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di roboflow/notebooks

Tutte le issue di roboflow/notebooks

Issue simili

Altre issue su Computer Vision

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.