unslothai/unsloth

OOM-ing on Nvidia Jetson Orin Nano

Open

#3,443 opened on 2025年10月13日

GitHub で見る
 (12 comments) (0 reactions) (0 assignees)Python (5,658 forks)batch import
help wanted

Repository metrics

Stars
 (64,271 stars)
PR merge metrics
 (平均マージ 3d 15h) (30d で 525 merged PRs)

説明

I've installed unsloth from this index: https://pypi.jetson-ai-lab.io/jp6/cu126

The device has 8 GB of RAM/GPU, which should be enough for the following models: Gemma3 variants, 0.3B, 1B & 3B.

With ollama, I can easily do inference with all the above-mentioned models.

コントリビューターガイド

調査方針
Jetson Orin Nano上でのunslothとollamaのメモリ使用量を比較し、unslothのOOMの原因となる操作を特定します。unslothが追加のモデル部分をロードしたり、メモリリークがないか確認してください。
技術スタック
python
領域
backendmachine learningai
Issue 種別
バグ
難度新しい貢献者にとっての実装難度です。1 は非常に小さな変更、5 は専門的な作業です。
2
推定時間経験ある貢献者が調査、実装、テスト、pull request 準備にかけるおおよその時間範囲です。
1-3時間
活動状況Issue が今どれだけ取り組みやすいかを示します。新しい、活発、古い、ブロック中、またはメンテナー入力待ちなどです。
アクティブ
明確さ期待される変更、受け入れ条件、次の手順がどれだけ明確かを示します。
調査が必要
前提条件
Python
初心者向け度初回貢献者にどれだけ取り組みやすいかを 1-100 で推定したスコアです。
65