Here are the current steps for builing BitNet.cpp for Raspberry Pi 5
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 3/5
- Temps estimé
- 1-2 jours
- Accessibilité débutants
- 45/100
- Type d'issue
- Documentation
- Clarté
- À clarifier
- Activité
- Calme
- Domaine
- build-system, documentation, embedded-iot, machine-learning
Piste de recherche
Commencez par vérifier les points d’entrée de la documentation du dépôt, puis vérifiez les commandes concernant requirements.txt, utils/codegen_tl1.py, la compilation CMake et run_inference.py sur Raspberry Pi 5. C’est terminé lorsque les étapes testées sont ajoutées à la documentation appropriée avec les prérequis, la révision figée et une vérification d’inférence réussie.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
It took me a while to get this all working properly, so I thought I'd share steps that work:
#!/bin/bash
# Flash the latest Rasbperry Pi OS Lite onto an 32GB+ SD card, and run it on a Pi 5.
# Log in via SSH, a then:
# Prepare
sudo apt update
sudo apt install python3-pip python3-dev cmake build-essential git clang
wget -O - https://apt.llvm.org/llvm.sh | sudo bash -s 18
# Get the working version of BitNet.cpp
git clone --recursive https://github.com/microsoft/BitNet.git
cd BitNet
git reset --hard 404980e
git pull
# An alternative command would be:
# git clone --recursive --revision=c1e9a9a237f847f8aac9f7015b756cf4faf66d0e --depth=1 https://github.com/microsoft/BitNet.git
# ..but the version of Git available on Raspberry Pi OS doesn't support --revision yet
# Create and activate a new conda environment with Python 3.9
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-aarch64.sh
bash Miniconda3-latest-Linux-aarch64.sh
source ~/.bashrc
conda create -n bitnet-cpp python=3.9
conda activate bitnet-cpp
# Install Python dependencies
conda install "pip<21.0.2"
pip install -r requirements.txt
# Build BitNet.cpp
python utils/codegen_tl1.py --model bitnet_b1_58-3B --BM 160,320,320 --BK 64,128,64 --bm 32,64,32
export CC=clang-18 CXX=clang++-18
rm -rf build && mkdir build && cd build
cmake .. -DCMAKE_BUILD_TYPE=Release
make -j$(nproc)
cd ..
# Download the model
pip install huggingface_hub
hf download microsoft/BitNet-b1.58-2B-4T-gguf --local-dir models/BitNet-b1.58-2B-4T
# Test if everything works
python run_inference.py -m "models/BitNet-b1.58-2B-4T/ggml-model-i2_s.gguf" -p "You are a helpful assistant." -cnv
Related issues:
https://github.com/microsoft/BitNet/issues/195
https://github.com/microsoft/BitNet/issues/240
https://github.com/microsoft/BitNet/issues/305
https://github.com/microsoft/BitNet/issues/348
https://github.com/microsoft/BitNet/issues/411
https://github.com/microsoft/BitNet/issues/470
- Langage dominant
- C++
- Étoiles
- 40.4k
- Forks
- 3.7k
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Préparer son environnement
Ce projet ne fournit ni conteneur de développement, ni Dockerfile, ni guide de contribution : l'installation est à votre charge. Commencez par son README, et consultez notre guide de la première contribution pour les étapes générales.
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de microsoft/BitNet
-
Difficulté 2/5 1-3 heures Accessibilité débutants 86/100
-
i2_s SIGSEGVs at n_ubatch >= 32: BLAS backend dequantises by a row stride 4x the real packed rowOuverte
Difficulté 2/5 1-3 heures Accessibilité débutants 76/100
-
Difficulté 2/5 1-3 heures Accessibilité débutants 86/100
-
Warning: `huggingface-cli` is deprecated and no longer works. Use `hf` instead.Peut-être pris @ousamabenyounes l’a pris il y a 60 jours. Ouverte
Difficulté 1/5 Moins d'une heure Accessibilité débutants 92/100
-
Difficulté 2/5 1-3 heures Accessibilité débutants 76/100
Toutes les issues de microsoft/BitNet
Issues similaires
-
[request] vsg/1.1.16Ouverteupstream update
Difficulté 2/5 1-3 heures Accessibilité débutants 65/100
conan-io/conan-center-index#31142 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
-
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 1/5 Moins d'une heure Accessibilité débutants 84/100
NVIDIA/DeepStream#78 ·