rajatsainju2025/code-explainer

Add tests for seq2seq tokenization and causal masking

Aperta

#2 aperta il 8 ago 2025

Vedi su GitHubGuida contributor
 (0 commenti) (0 reazioni) (0 assegnatari)Python (0 fork)auto 404
good first issuehelp wanted

Metriche repository

Star
 (1 stella)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

Write unit tests covering:\n- Seq2seq preprocessing: source/target tokenization, -100 label masking for pad tokens.\n- Causal preprocessing: prompt masking (-100) and padding masking.\nUse tiny configs to avoid large downloads. Ensure tests run in CI.

Guida contributor

Direzione di ricerca
Leggi il codice di tokenizzazione e comprendi come funzionano la tokenizzazione source/target e il masking causale. Cerca pattern di test esistenti nel repository. Imposta una configurazione minuscola per evitare download pesanti. Scrivi test unitari usando pytest o il framework di test esistente. Assicurati che i test coprano il masking dei token di padding con etichetta 100. Esegui i test in locale e verifica che passino.
Tech stack
python
Dominio
backend
Tipo issue
Test
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70