[QUESTION] Emulator: to which precision is this consider correct ?

オープン
#68 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度
3/5
見積もり時間
1〜2日
初心者へのやさしさ
30/100
issue の種類
バグ
明瞭さ
説明が足りない
活発さ
停滞
技術スタック
python, pytorch
領域
testing

調査の方向性

Start by locating test_all_reduce in the emulator test suite and the all-reduce implementation it exercises; run it to reproduce the mismatch at roughly seven digits. Check whether the test asserts exact equality or an explicit floating-point tolerance, and compare with similar emulator tests. Done means the expected precision/tolerance is documented and the test either uses a justified tolerance or the mismatch is explained.

索引モデルが issue の本文から書いたものです。

説明

Hi, I was running the test_all_reduce which fails because the tensors are not similar enough after around 7 digits. Is this an expected behavior ? or do we want exact matching value ?

torch.set_printoptions(precision=10)

ground_truth[torch_rank]
tensor([ 2.1518430710, -3.1110968590, -3.0482885838, -0.1535055935,
         0.5451227427,  0.6111478806, -0.0351422131, -0.0474908650,
        -1.0834826231,  0.4075058699], device='cuda:0')
data_list[torch_rank]
tensor([ 2.1518430710, -3.1110968590, -3.0482888222, -0.1535055935,
         0.5451227427,  0.6111478806, -0.0351421833, -0.0474908650,
        -1.0834826231,  0.4075058401], device='cuda:0')
主要言語
Python
スター
1k
フォーク
65
平均マージ
21時間 34分
マージ済み PR(30日)
1

環境構築

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

volcengine/veScale のほかの issue

volcengine/veScale の issue をすべて見る

似ている issue

Python の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。