PetrochukM/PyTorch-NLP

Add GLUE datasets

Open

#26 opened on 2018年4月27日

GitHub で見る
 (7 comments) (0 reactions) (0 assignees)Python (262 forks)batch import
enhancementgood first issuehelp wanted

Repository metrics

Stars
 (2,205 stars)
PR merge metrics
 (30d に merged PR はありません)

説明

GLUE datasets are standard for evaluating NLU tasks.

In pursuit of this objective, we introduce the General Language Understanding Evaluation benchmark (GLUE), a tool for evaluating and analyzing the performance of models across a diverse range of existing NLU tasks.

コントリビューターガイド

調査方針
torch.utils.data.Datasetを継承するGLUEデータセットクラスを実装し、Hugging Faceデータセットライブラリまたは生データファイルから各GLUEタスク（SST 2、QQP、MNLIなど）をロードします。適切なトークン化とラベルマッピングを確保してください。
技術スタック
python
領域
machine learning
Issue 種別
機能
難度新しい貢献者にとっての実装難度です。1 は非常に小さな変更、5 は専門的な作業です。
3
推定時間経験ある貢献者が調査、実装、テスト、pull request 準備にかけるおおよその時間範囲です。
半日
活動状況Issue が今どれだけ取り組みやすいかを示します。新しい、活発、古い、ブロック中、またはメンテナー入力待ちなどです。
アクティブ
明確さ期待される変更、受け入れ条件、次の手順がどれだけ明確かを示します。
明確
前提条件
PythonPyTorch
初心者向け度初回貢献者にどれだけ取り組みやすいかを 1-100 で推定したスコアです。
75