ggml-org/llama.cpp

Question: How to generate an MPS gputrace

Offen

#6.506 geöffnet am 05.04.2024

Auf GitHub ansehenContributor Guide
 (11 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)C++ (21.786 Forks)batch import
help wantedhigh priority

Repository-Metriken

Stars
 (124.222 Sterne)
PR-Merge-Metriken
 (Durchschn. Merge 6T 8h) (389 gemergte PRs in 30 T)

Beschreibung

We're doing some work over at https://github.com/huggingface/candle to improve our Metal backend, I've been collecting various gputraces for the different frameworks and was wondering if there was a documented/known way to generate one for llama.cpp during model inference.

Specifically talking about this type of debugger output: https://developer.apple.com/documentation/xcode/metal-debugger

Contributor Guide

Research-Richtung
Untersuche, wie man eine GPU Ablaufverfolgung für Metal mit dem Metal Debugger von Xcode oder Instruments erstellt. Überprüfe das Build System von llama.cpp auf Metal Unterstützung und suche nach vorhandener Dokumentation oder Skripten zur Profilerstellung.
Tech Stack
ccpp
Domain
backend
Issue Type
Dokumentation
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
XcodeMetal Developer Tools
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
65