rajatsainju2025/code-explainer

Add tests for seq2seq tokenization and causal masking

Ouverte

#2 ouverte le 8 août 2025

Voir sur GitHubGuide contributeur
 (0 commentaire) (0 réaction) (0 personne assignée)Python (0 fork)auto 404
good first issuehelp wanted

Métriques du dépôt

Stars
 (1 étoile)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

Write unit tests covering:\n- Seq2seq preprocessing: source/target tokenization, -100 label masking for pad tokens.\n- Causal preprocessing: prompt masking (-100) and padding masking.\nUse tiny configs to avoid large downloads. Ensure tests run in CI.

Guide contributeur

Direction de recherche
Lisez le code de tokenization et comprenez comment la tokenization source/cible et le masquage causal sont implémentés. Cherchez des modèles de test existants dans le dépôt. Configurez un petit config pour éviter les téléchargements volumineux. Rédigez des tests unitaires en utilisant pytest ou le framework de test existant. Assurez vous que les tests couvrent le masquage des jetons de padding avec les étiquettes 100. Exécutez les tests localement et vérifiez qu'ils réussissent.
Stack technique
python
Domaine
backend
Type d'issue
Test
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Récente
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
PythonGit
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
70