pytorch/text

Ignoring UNK words

Open

#355 aperta il 22 lug 2018

Vedi su GitHub
 (7 commenti) (0 reazioni) (0 assegnatari)Python (822 fork)batch import
enhancementhelp wanted

Metriche repository

Star
 (3396 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

Cannot find the way to ignore UNK words when numericalising, i.e. instead by substituting them by a 0, it just ignore that word.

Is that implemented?

This is useful in classification problems, when you just want to remove 'UNK' words.

Guida contributor

Direzione di ricerca
Cerca le funzioni esistenti che gestiscono le parole sconosciute nel processo di numericalizzazione e considera l'aggiunta di un'opzione per ignorarle invece di sostituirle con 0.
Tech stack
pythonpytorch
Dominio
machine learning
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonPyTorch
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60