verl-project/verl

[FR] Tests for gradient accumulation

Fechada

#907 aberto em 3 de abr. de 2025

Ver no GitHubGuia do colaborador
 (0 comentário) (0 reação) (0 responsável)Python (4.440 forks)auto 404
enhancementgood first issue

Métricas do repositório

Stars
 (23.087 estrelas)
Métricas de merge de PR
 (Mesclagem média 3d 6h) (125 fundiu PRs em 30d)

Description

Summary

Promise from #906.

Add tests to assert the losses on the same mini-batch are equal

  • between w/o & w/ gradient accumulation
  • using all the different loss aggregation modes

Plan

We might went to test end-to-end to avoid potential implication by any other changes.

Plan Pro
A) Inherit a new Trainer class to test Standalone without affecting the main config
B) Add a config term and modify update_* to test 1) Minimal code modification 2) Compatibility to any Trainer

Guia do colaborador

Direção de pesquisa
Investigue os dois planos propostos: A) criar uma nova subclasse de Trainer para testes a fim de evitar afetar a configuração principal, ou B) adicionar um termo de configuração e modificar os métodos update *. Os testes devem afirmar que as perdas no mesmo mini lote são iguais com e sem acumulação de gradientes em todos os modos de agregação de perdas. Examine a suíte de testes existente no repositório para entender a estrutura de teste e considere implementar ambas as opções se viável. Examine a implementação de acumulação de gradientes no treinador para identificar os métodos update * e os modos de agregação de perdas.
Pilha de tecnologia
pythonpytorch
Domain
testing
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Recente
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PythonPyTorchgradient accumulation
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
70