facebookresearch/fairseq

Invalid suffix of raw dataset when preprocessing without language

Open

#1426 aperta il 25 nov 2019

Vedi su GitHub
 (2 commenti) (0 reazioni) (0 assegnatari)Python (6224 fork)batch import
bughelp wanted

Metriche repository

Star
 (29.107 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

When preprocessing using --dataset-impl raw and no source and target languages are specified, the datasets are stored under train.None-None due to this line:

https://github.com/pytorch/fairseq/blob/5349052aae4ec1350822c894fbb6be350dff61a0/preprocess.py#L218

Is this expected behavior or can we remove this suffix?

Guida contributor

Direzione di ricerca
Ispeziona il codice di preprocessing alla riga 218 di preprocess.py per determinare se il suffisso della lingua debba essere rimosso quando non vengono specificate lingue. Considera se questo suffisso influisce sul caricamento del dataset e se è sicuro rimuoverlo.
Tech stack
python
Dominio
backend
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
GitPython
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
75