ggml-org/llama.cpp

Question: How to generate an MPS gputrace

Aperta

#6506 aperta il 5 apr 2024

Vedi su GitHubGuida contributor
 (11 commenti) (0 reazioni) (0 assegnatari)C++ (21.786 fork)batch import
help wantedhigh priority

Metriche repository

Star
 (124.222 stelle)
Metriche merge PR
 (Merge medio 6g 8h) (389 PR mergiate in 30 g)

Descrizione

We're doing some work over at https://github.com/huggingface/candle to improve our Metal backend, I've been collecting various gputraces for the different frameworks and was wondering if there was a documented/known way to generate one for llama.cpp during model inference.

Specifically talking about this type of debugger output: https://developer.apple.com/documentation/xcode/metal-debugger

Guida contributor

Direzione di ricerca
Indaga come generare una traccia GPU per Metal utilizzando il debugger Metal di Xcode o Instruments. Controlla il sistema di build di llama.cpp per il supporto Metal e cerca documentazione esistente o script per il profiling.
Tech stack
ccpp
Dominio
backend
Tipo issue
Documentazione
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
XcodeMetal Developer Tools
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
65