PetrochukM/PyTorch-NLP

Add GLUE datasets

Open

#26 aperta il 27 apr 2018

Vedi su GitHub
 (7 commenti) (0 reazioni) (0 assegnatari)Python (262 fork)batch import
enhancementgood first issuehelp wanted

Metriche repository

Star
 (2205 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

GLUE datasets are standard for evaluating NLU tasks.

In pursuit of this objective, we introduce the General Language Understanding Evaluation benchmark (GLUE), a tool for evaluating and analyzing the performance of models across a diverse range of existing NLU tasks.

Guida contributor

Direzione di ricerca
Implementa una classe di dataset GLUE che eredita da torch.utils.data.Dataset, caricando ciascun task GLUE (es. SST 2, QQP, MNLI) dalla libreria datasets di Hugging Face o da file di dati grezzi. Assicurati una corretta tokenizzazione e mappatura delle etichette.
Tech stack
python
Dominio
machine learning
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonPyTorch
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
75