Binary pretrained model can't train a multi-class classifier?
まだ誰も着手していません。
評価
- 難易度
- 3/5
- 見積もり時間
- 1〜2日
- 初心者へのやさしさ
- 35/100
- issue の種類
- バグ
- 明瞭さ
- おおむね明確
- 活発さ
- 停滞
調査の方向性
GraphormerForGraphClassification.from_pretrained の呼び出しと graphml-classification.md の例から始め、clefourrier/graphormer-base-pcqm4mv2 checkpoint と 168 クラスを使って Python スクリプトを再現します。対処すべき問題が classifier-size warning なのか、停止したトレーニングの進行なのかを確認します。マルチクラスのトレーニング実行が進むか、失敗の原因が明確に説明されれば完了です。
索引モデルが issue の本文から書いたものです。
説明
I use model_checkpoint = "clefourrier/graphormer-base-pcqm4mv2" # pre-trained model from which to fine-tune
to be my pretrained model, and my dataset is here.
I follow the code in this website.
But change the
model = GraphormerForGraphClassification.from_pretrained(
model_checkpoint,
# We have 167 attack patterns and 1 benign
num_classes=168,
# provide this in case you're planning to fine-tune an already fine-tuned checkpoint
ignore_mismatched_sizes = True,
Since I have 168 class to be classified.
Then when I run the python script, I encountered:
Some weights of GraphormerForGraphClassification were not initialized from the model checkpoint at clefourrier/graphormer-base-pcqm4mv2 and are newly initialized because the shapes did not match:
- classifier.classifier.weight: found shape torch.Size([1, 768]) in the checkpoint and torch.Size([168, 768]) in the model instantiated
You should probably TRAIN this model on a down-stream task to be able to use it for predictions and inference.
0%| | 0/23120 [00:00<?, ?it/s]
For about 20 min, the log didn't move at all.
- 主要言語
- Python
- スター
- 2.5k
- フォーク
- 374
- 平均マージ
- 14時間 51分
- マージ済み PR（30日）
- 3
環境構築
このプロジェクトの環境構築ファイルはまだ確認していません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
microsoft/Graphormer のほかの issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
microsoft/Graphormer#211 ·
-
SAS updataオープン
難易度 5/5 1週間以上 初心者へのやさしさ 20/100
microsoft/Graphormer#210 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
microsoft/Graphormer#208 ·
-
CUDA out of memoryオープン
難易度 4/5 3〜5日 初心者へのやさしさ 20/100
microsoft/Graphormer#207 · コメント 1 件 ·
-
難易度 3/5 1〜2日 初心者へのやさしさ 35/100
microsoft/Graphormer#205 ·
microsoft/Graphormer の issue をすべて見る
似ている issue
-
難易度 1/5 1時間未満 初心者へのやさしさ 72/100
letsencrypt/cp-cps#353 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
-
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
PedestrianDynamics/pyFDS-Evac#394 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
DOI-USGS/pywatershed#421 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
python-pillow/Pillow#10087 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信