ggml-org/llama.cpp

feature request - disabling tokenizer in conversion / inference

Geschlossen

#1.765 geöffnet am 08.06.2023

Auf GitHub ansehenContributor Guide
 (7 Kommentare) (1 Reaktion) (0 zugewiesene Personen)C++ (21.764 Forks)batch import
enhancementgood first issuehelp wanted

Repository-Metriken

Stars
 (124.134 Sterne)
PR-Merge-Metriken
 (Durchschn. Merge 6T 8h) (389 gemergte PRs in 30 T)

Beschreibung

in #1764 i asked if it'd be possible to add a Huggingface tokenizer. but - HF tokenizers are quite flexible and officially supporting them in llama.cpp (or ggml?) might be a lot of hassle.

a much easier workaround would be allowing to disable tokenizers in both model conversion and inference. this means the users are supposed to encode(text)/decode(ids) in their implementation for using llama.cpp. in my case, for example, i'll use a python GUI and a wrapper anyway.

i'd like to work on it, but honestly i don't think i understand enough to be able to do this. i'd appreciate very much if anyone's interested in it.

Contributor Guide

Research-Richtung
Untersuchen Sie die Tokenizer Integration in llama.cpp, indem Sie das Konvertierungsskript und den Inferenzcode überprüfen. Beziehen Sie sich auf die Diskussion im verknüpften Issue #1764 für den Kontext. Identifizieren Sie, wo die Tokenizer Kodierung/Dekodierung stattfindet, und erwägen Sie, ein Konfigurationsflag hinzuzufügen, um sie zu umgehen.
Tech Stack
ccpp
Domain
backendmachine learning
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Veraltet
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Meist klar
Voraussetzungen
Basic C++Understanding of tokenizer internals
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
45