aidotse/LeakPro

Loss in training loops

Offen

#239 geöffnet am 24.02.2025

Auf GitHub ansehenContributor Guide
 (1 Kommentar) (0 Reaktionen) (0 zugewiesene Personen)Python (26 Forks)auto 404
good first issue

Repository-Metriken

Stars
 (23 Sterne)
PR-Merge-Metriken
 (PR-Metriken ausstehend)

Beschreibung

Issue

Problem Description

The last batch of each epoch is usually smaller than the others. One approach is to sum the losses and divide by the total number of samples.

Currently, loss calculations in handlers sum the average loss of each batch and divide by the length of the dataloader.

Expected Behavior

What Needs to be Done

How Can It Be Tested or Reproduced

Contributor Guide

Research-Richtung
Untersuche die Verlustberechnung in den Trainings Handlern und ändere sie so, dass die Verluste einzelner Batches summiert und durch die Gesamtzahl der Stichproben geteilt werden, anstatt die Batch Verluste zu mitteln und durch die Anzahl der Batches zu teilen.
Tech Stack
python
Domain
machine learning
Issue Type
Fehler
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
Python
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
70