Here are the current steps for builing BitNet.cpp for Raspberry Pi 5
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 3/5
- Geschätzter Aufwand
- 1-2 Tage
- Anfängerfreundlichkeit
- 45/100
- Issue-Typ
- Dokumentation
- Klarheit
- Muss geklärt werden
- Aktivitätsstatus
- Ruhig
- Bereich
- build-system, documentation, embedded-iot, machine-learning
Rechercherichtung
Beginne damit, die Einstiegspunkte der Repository-Dokumentation zu prüfen, und verifiziere anschließend die Befehle für requirements.txt, utils/codegen_tl1.py, den CMake-Build und run_inference.py auf dem Raspberry Pi 5. Erledigt bedeutet, dass die getesteten Schritte mit Voraussetzungen, dem festgelegten Revisionstand und einer erfolgreichen Inferenzprüfung in der passenden Dokumentation eingetragen sind.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
It took me a while to get this all working properly, so I thought I'd share steps that work:
#!/bin/bash
# Flash the latest Rasbperry Pi OS Lite onto an 32GB+ SD card, and run it on a Pi 5.
# Log in via SSH, a then:
# Prepare
sudo apt update
sudo apt install python3-pip python3-dev cmake build-essential git clang
wget -O - https://apt.llvm.org/llvm.sh | sudo bash -s 18
# Get the working version of BitNet.cpp
git clone --recursive https://github.com/microsoft/BitNet.git
cd BitNet
git reset --hard 404980e
git pull
# An alternative command would be:
# git clone --recursive --revision=c1e9a9a237f847f8aac9f7015b756cf4faf66d0e --depth=1 https://github.com/microsoft/BitNet.git
# ..but the version of Git available on Raspberry Pi OS doesn't support --revision yet
# Create and activate a new conda environment with Python 3.9
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-aarch64.sh
bash Miniconda3-latest-Linux-aarch64.sh
source ~/.bashrc
conda create -n bitnet-cpp python=3.9
conda activate bitnet-cpp
# Install Python dependencies
conda install "pip<21.0.2"
pip install -r requirements.txt
# Build BitNet.cpp
python utils/codegen_tl1.py --model bitnet_b1_58-3B --BM 160,320,320 --BK 64,128,64 --bm 32,64,32
export CC=clang-18 CXX=clang++-18
rm -rf build && mkdir build && cd build
cmake .. -DCMAKE_BUILD_TYPE=Release
make -j$(nproc)
cd ..
# Download the model
pip install huggingface_hub
hf download microsoft/BitNet-b1.58-2B-4T-gguf --local-dir models/BitNet-b1.58-2B-4T
# Test if everything works
python run_inference.py -m "models/BitNet-b1.58-2B-4T/ggml-model-i2_s.gguf" -p "You are a helpful assistant." -cnv
Related issues:
https://github.com/microsoft/BitNet/issues/195
https://github.com/microsoft/BitNet/issues/240
https://github.com/microsoft/BitNet/issues/305
https://github.com/microsoft/BitNet/issues/348
https://github.com/microsoft/BitNet/issues/411
https://github.com/microsoft/BitNet/issues/470
- Vorherrschende Sprache
- C++
- Sterne
- 40.6k
- Forks
- 3.8k
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Entwicklungsumgebung
Dieses Projekt bietet weder Dev-Container noch Dockerfile noch Beitragsleitfaden – die Einrichtung liegt bei Ihnen. Beginnen Sie mit der README; die allgemeinen Schritte stehen in unserem Leitfaden für den ersten Beitrag.
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus microsoft/BitNet
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 86/100
-
i2_s SIGSEGVs at n_ubatch >= 32: BLAS backend dequantises by a row stride 4x the real packed rowOffen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 76/100
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 86/100
-
Warning: `huggingface-cli` is deprecated and no longer works. Use `hf` instead.Evtl. vergeben @ousamabenyounes hat das vor 61 Tagen übernommen. Offen
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 92/100
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 76/100
Alle Issues in microsoft/BitNet
Ähnliche Issues
-
bug derived types format I/O medium priority semantics
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
Maintainer antworten meist innerhalb von 1 Tag
-
CartLineConstraint Jacobian always writes 6 rows, overruns when indices has fewer than 6 entriesOffen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
tesseract-robotics/trajopt#618 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Incorrect Link in README.mdEvtl. vergeben Ein verknüpfter Pull Request ist offen oder bereits gemergt. Offen
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 95/100
flameshot-org/flameshot#4996 ·
Maintainer antworten meist innerhalb von 2 Tagen
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 64/100
utopia-rise/godot-jvm#1004 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 70/100
Maintainer antworten meist innerhalb von 3 Tagen