facebookresearch/metaseq

Unify tokenizers

Open

#308 aperta il 20 ago 2022

Vedi su GitHub
 (1 commento) (1 reazione) (1 assegnatario)Python (701 fork)batch import
better-engenhancementgood first issue

Metriche repository

Star
 (6195 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

🚀 Feature Request

With #305, we now have two ways to specify a tokenizer: with the GPT2 tokenizer (provided as two files), and with the universal HF format (specified as one file). These are in two separate code paths, but they don't need to be: we could (manually) merge the two GPT2 files into the universal HF format and switch to only that, and we should.

The resulting code would be cleaner, but catching all the other places the old method is used (e.g. API and old sweeps) needs thorough review.

Guida contributor

Direzione di ricerca
Studia entrambi i percorsi del codice tokenizer esistenti (tokenizer GPT2 tramite due file e formato HF universale tramite un file). Comprendi come vengono utilizzati nel codebase, in particolare nell'API e nelle configurazioni sweep. Quindi proponi un piano per unificarli, garantendo la retrocompatibilità.
Tech stack
python
Dominio
machine learning
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
PythonGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40