PetrochukM/PyTorch-NLP

Add BPE Text Encoder

Open

#7 aperta il 25 mar 2018

Vedi su GitHub
 (3 commenti) (0 reazioni) (0 assegnatari)Python (262 fork)batch import
enhancementgood first issuehelp wanted

Metriche repository

Star
 (2205 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

Tokenizer Reference: https://github.com/eladhoffer/seq2seq.pytorch/blob/master/seq2seq/tools/tokenizer.py

Guida contributor

Direzione di ricerca
Studiare l'implementazione del tokenizer di riferimento e integrarla nell'interfaccia del tokenizer esistente della libreria.
Tech stack
pythonpytorch
Dominio
machine learning
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
PythonPyTorchTokenization basics
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
65