lutzroeder/netron

GGUF support

Open

#1209 aperta il 31 dic 2023

Vedi su GitHub
 (2 commenti) (4 reazioni) (0 assegnatari)JavaScript (3101 fork)batch import
featurehelp wanted

Metriche repository

Star
 (32.743 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

Source: gguf_init_from_file

Examples: all-MiniLM-L6-v2.F16.gguf.zip deepseek-ocr-Q4_K_M.gguf.zip Falcon-H1-Tiny-90M-Instruct-Q4_K_M.gguf.zip flan-t5-small-q2_k.gguf.zip gemma-3-1b-it-Q4_K_M.gguf.zip gemma-4-E2B-it-Q8_0.gguf.zip gpt-oss-20b-MXFP4.gguf.zip HunyuanOCR-Q8_0.gguf.zip mamba-130m-hf.Q8_0.gguf.zip Mistral-Small-4-119B-2603-IQ1_S.gguf.zip mixtral-8x7b-v0.1.Q4_K_M.gguf.zip phi-2.Q2_K.gguf.zip qwen2.5-coder-7b-instruct-q4_k_m.gguf.zip vicuna-33b.Q2_K.gguf.zip

Instructions:

  • Run ./tools/gguf sync install schema metadata for latest updates
  • If there are gguf-metadata.json changes investigate the reference implementation if related code changes are required.
  • The reference implementation is under ./third_party/source/llama.cpp
  • npm run test gguf to run test validation.

Guida contributor

Direzione di ricerca
Studia la specifica GGUF e il codice esistente relativo a GGUF nel repository sotto `./third party/source/llama.cpp`. Esegui `./tools/gguf sync install schema metadata` per ottenere lo schema più recente. Esamina `gguf metadata.json` per eventuali modifiche necessarie. Usa `npm run test gguf` per eseguire i test. L'obiettivo è implementare il parsing dei file GGUF per visualizzare l'architettura del modello nel visualizzatore.
Tech stack
javascript
Dominio
machine learningbackend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
GitJavaScript
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60