rajatsainju2025/code-explainer

Add tests for seq2seq tokenization and causal masking

Aberta

#2 aberto em 8 de ago. de 2025

Ver no GitHubGuia do colaborador
 (0 comentário) (0 reação) (0 responsável)Python (0 fork)auto 404
good first issuehelp wanted

Métricas do repositório

Stars
 (1 estrela)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

Write unit tests covering:\n- Seq2seq preprocessing: source/target tokenization, -100 label masking for pad tokens.\n- Causal preprocessing: prompt masking (-100) and padding masking.\nUse tiny configs to avoid large downloads. Ensure tests run in CI.

Guia do colaborador

Direção de pesquisa
Leia o código de tokenização e entenda como a tokenização de origem/destino e a máscara causal são implementadas. Procure por padrões de teste existentes no repositório. Configure um pequeno config para evitar downloads grandes. Escreva testes unitários usando pytest ou o framework de teste existente. Certifique se de que os testes cubram o mascaramento de tokens de preenchimento com rótulos 100. Execute os testes localmente e verifique se passam.
Pilha de tecnologia
python
Domain
backend
Tipo Issue
Teste
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Recente
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PythonGit
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
70