tracel-ai/burn

Training metrics

Offen

#544 geöffnet am 25.07.2023

Auf GitHub ansehenContributor Guide
 (19 Kommentare) (2 Reaktionen) (0 zugewiesene Personen)Rust (964 Forks)auto 404
featuregood first issue

Repository-Metriken

Stars
 (15.550 Sterne)
PR-Merge-Metriken
 (Durchschn. Merge 2T 22h) (129 gemergte PRs in 30 T)

Beschreibung

In burn-train, several metrics can be used during training. It would be great to have more!

  • Accuracy
  • Loss (the one in use)
  • CUDA utilization (memory&compute)
  • Top-k accuracy
  • CPU utilization
  • CPU memory usage
  • General GPU utilization
  • General GPU memory usage
  • Precision Recall
  • AUC - ROC
  • BLEU score
  • ROUGE score

Contributor Guide

Research-Richtung
Implementieren Sie die fehlenden Trainingsmetriken: allgemeine GPU Auslastung, AUC ROC, BLEU Score und ROUGE Score. Studieren Sie zunächst die vorhandenen Metrikimplementierungen in burn train, wie Genauigkeit und Verlust, und passen Sie dann das Muster für jede neue Metrik an. Für GPU Metriken müssen Sie möglicherweise mit CUDA APIs interagieren. Für NLP Metriken wie BLEU und ROUGE verweisen Sie auf vorhandene Implementierungen in Rust oder integrieren Sie Bibliotheken.
Tech Stack
rust
Domain
machine learningai
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
RustDeep Learning basics
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
60