ggml-org/llama.cpp

feature request - disabling tokenizer in conversion / inference

Chiusa

#1765 aperta il 8 giu 2023

Vedi su GitHubGuida contributor
 (7 commenti) (1 reazione) (0 assegnatari)C++ (21.737 fork)batch import
enhancementgood first issuehelp wanted

Metriche repository

Star
 (124.043 stelle)
Metriche merge PR
 (Merge medio 6g 8h) (389 PR mergiate in 30 g)

Descrizione

in #1764 i asked if it'd be possible to add a Huggingface tokenizer. but - HF tokenizers are quite flexible and officially supporting them in llama.cpp (or ggml?) might be a lot of hassle.

a much easier workaround would be allowing to disable tokenizers in both model conversion and inference. this means the users are supposed to encode(text)/decode(ids) in their implementation for using llama.cpp. in my case, for example, i'll use a python GUI and a wrapper anyway.

i'd like to work on it, but honestly i don't think i understand enough to be able to do this. i'd appreciate very much if anyone's interested in it.

Guida contributor

Direzione di ricerca
Esamina l'integrazione del tokenizer in llama.cpp rivedendo lo script di conversione e il codice di inferenza. Fai riferimento alla discussione nell'issue collegato #1764 per il contesto. Identifica dove avviene la codifica/decodifica del tokenizer e considera l'aggiunta di un flag di configurazione per bypassarla.
Tech stack
ccpp
Dominio
backendmachine learning
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Datata
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
Basic C++Understanding of tokenizer internals
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
45