dbiir/UER-py

BERT添加新的预训练任务

Open

#189 aperta il 6 ago 2021

Vedi su GitHub
 (2 commenti) (0 reazioni) (0 assegnatari)Python (520 fork)github user discovery
help wanted

Metriche repository

Star
 (3108 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

你好，我想尝试将其他预训练模型中的目标任务改写到bert中，比如ernie的实体掩码方法，是否有一些教程有说明当前的代码结构能够帮助我写新的目标任务？

Guida contributor

Direzione di ricerca
Esamina i compiti di pre addestramento esistenti nel repository (ad es., modellazione del linguaggio mascherato, previsione della frase successiva) per comprendere la struttura del codice, quindi implementa un nuovo compito come il mascheramento delle entità di ERNIE seguendo il modello di aggiunta di una nuova classe che eredita dalla classe base del compito e si integra con il ciclo di addestramento.
Tech stack
pythonpytorch
Dominio
machine learningai
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
PythonPyTorchBERT basics
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
65