facebookresearch/fairseq

Add tokens to extend embeddings during fine-tuning

Open

#2632 aperta il 18 set 2020

Vedi su GitHub
 (13 commenti) (0 reazioni) (0 assegnatari)Python (6224 fork)batch import
enhancementhelp wantedneeds triage

Metriche repository

Star
 (29.107 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

🚀 Feature Request

Like add_tokens() in huggingface/transformers (link), this will allow fine-tuning add new embeddings of tokens, which will not be sperated.

Motivation

Some NLG tasks may have non-terminals, which are expected not to be separated by subwords.

Guida contributor

Direzione di ricerca
Studia l'implementazione di 'add tokens' nella libreria transformers di Hugging Face, poi identifica dove la tokenizzazione e l'embedding sono gestiti in fairseq (es. in Dictionary e TransformerModel). Proponi un metodo per aggiungere nuovi token ed estendere la matrice di embedding di conseguenza.
Tech stack
pythonpytorch
Dominio
machine learning
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonPyTorchTokenizers
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40