tracel-ai/burn

Training metrics

開放

#544 建立於 2023年7月25日

在 GitHub 查看貢獻者指南
 (19 則留言) (2 個反應) (0 位負責人)Rust (964 個分叉)auto 404
featuregood first issue

倉庫指標

星標
 (15,550 顆星)
PR 合併指標
 (平均合併 2天 22小時) (30 天內合併 129 個 PR)

描述

In burn-train, several metrics can be used during training. It would be great to have more!

  • Accuracy
  • Loss (the one in use)
  • CUDA utilization (memory&compute)
  • Top-k accuracy
  • CPU utilization
  • CPU memory usage
  • General GPU utilization
  • General GPU memory usage
  • Precision Recall
  • AUC - ROC
  • BLEU score
  • ROUGE score

貢獻者指南

研究方向
實現缺失的訓練指標：通用 GPU 利用率、AUC ROC、BLEU 分數和 ROUGE 分數。首先研究 burn train 中現有的指標實現，如準確率和損失，然後為每個新指標調整模式。對於 GPU 指標，可能需要與 CUDA API 接口。對於 NLP 指標如 BLEU 和 ROUGE，參考 Rust 中的現有實現或集成庫。
技術棧
rust
領域
machine learningai
議題類型
功能
難度面向新貢獻者的預計實作難度，1 表示很小改動，5 表示專家級工作。
3
預計時間有經驗貢獻者完成調查、實作、測試並準備 pull request 的粗略時間範圍。
半天
活動狀態議題目前的可參與程度：新鮮、活躍、陳舊、阻塞或等待維護者輸入。
活躍
清晰度議題是否清楚說明預期改動、驗收標準和下一步。
清晰
前置要求
RustDeep Learning basics
新手友善度1-100 的估計分數，表示該議題對首次貢獻者的友善程度。
60