google/seq2seq

Prepare WMT'17 Datasets

Open

#21 ouverte le 11 mars 2017

Voir sur GitHub
 (3 commentaires) (0 réactions) (0 assignés)Python (1 329 forks)batch import
datahelp wanted

Métriques du dépôt

Stars
 (5 587 stars)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

We should prepare datasets for All WMT'17 language pairs. This is also a change to try out google/sentencepiece as a preprocessor.

Each dataset should come in different configurations, i.e. different vocabulary sizes and also have a character-level version.

Together with the raw data files we also need the script that was used for the process.

Guide contributeur

Direction de recherche
Examinez les liens du jeu de données WMT'17, implémentez la tokenisation avec sentencepiece et créez des scripts de prétraitement pour chaque paire de langues avec des tailles de vocabulaire configurables et des versions au niveau des caractères.
Stack technique
pythontensorflow
Domaine
backenddatamachine learning
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Ancienne
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
PythonTensorFlow
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
75