Error with customized dataset
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 3/5
- Thời gian dự kiến
- 1-2 ngày
- Mức phù hợp với người mới
- 35/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- python
- Lĩnh vực
- machine-learning
Hướng nghiên cứu
Bắt đầu trong graphormer/tasks/graph_prediction.py, đặc biệt là __import_user_defined_datasets, và so sánh nó với giá trị --user-data-dir trong lệnh shell được cung cấp. Kiểm tra cách module customized_dataset được kỳ vọng là sẽ được phát hiện, sau đó chạy lại lệnh; hoàn tất khi quá trình huấn luyện tiếp tục mà không gặp ModuleNotFoundError đã báo cáo.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Hallo everone,
I wanted to train a customized dataset. Following the instructions in https://graphormer.readthedocs.io/en/latest/Datasets.html#id5
I added my code before the create_customized_dataset function to build a dgl dataset class. Then I wrote a shell file to run the training process. But I got ModuleNotFoundError error when I started the training.
Here was the error information
Traceback (most recent call last):
File "/root/anaconda3/envs/graphormer/bin/fairseq-train", line 8, in <module>
sys.exit(cli_main())
File "/root/anaconda3/envs/graphormer/lib/python3.9/site-packages/fairseq_cli/train.py", line 528, in cli_main
distributed_utils.call_main(cfg, main)
File "/root/anaconda3/envs/graphormer/lib/python3.9/site-packages/fairseq/distributed/utils.py", line 369, in call_main
main(cfg, **kwargs)
File "/root/anaconda3/envs/graphormer/lib/python3.9/site-packages/fairseq_cli/train.py", line 85, in main
task = tasks.setup_task(cfg.task)
File "/root/anaconda3/envs/graphormer/lib/python3.9/site-packages/fairseq/tasks/__init__.py", line 46, in setup_task
return task.setup_task(cfg, **kwargs)
File "/workspace/Graphormer/graphormer/tasks/graph_prediction.py", line 179, in setup_task
return cls(cfg)
File "/workspace/Graphormer/graphormer/tasks/graph_prediction.py", line 142, in __init__
self.__import_user_defined_datasets(cfg.user_data_dir)
File "/workspace/Graphormer/graphormer/tasks/graph_prediction.py", line 165, in __import_user_defined_datasets
importlib.import_module(module_name)
File "/root/anaconda3/envs/graphormer/lib/python3.9/importlib/__init__.py", line 127, in import_module
return _bootstrap._gcd_import(name[level:], package, level)
File "<frozen importlib._bootstrap>", line 1030, in _gcd_import
File "<frozen importlib._bootstrap>", line 1007, in _find_and_load
File "<frozen importlib._bootstrap>", line 984, in _find_and_load_unlocked
ModuleNotFoundError: No module named 'customized_dataset'
Here was the shell file
#!/usr/bin/env bash
CUDA_VISIBLE_DEVICES=0 fairseq-train \
--user-dir ../../graphormer \
--user-data-dir /workspace/Graphormer/examples/customized_dataset \
--num-workers 16 \
--ddp-backend=legacy_ddp \
--dataset-name MonomerTg_dataset \
--task graph_prediction \
--criterion l1_loss \
--arch graphormer_slim \
--num-classes 1 \
--attention-dropout 0.1 --act-dropout 0.1 --dropout 0.0 \
--optimizer adam --adam-betas '(0.9, 0.999)' --adam-eps 1e-8 --clip-norm 5.0 --weight-decay 0.01 \
--lr-scheduler polynomial_decay --power 1 --warmup-updates 60000 --total-num-update 400000 \
--lr 2e-4 --end-learning-rate 1e-9 \
--batch-size 64 \
--fp16 \
--data-buffer-size 20 \
--encoder-layers 12 \
--encoder-embed-dim 80 \
--encoder-ffn-embed-dim 80 \
--encoder-attention-heads 8 \
--max-epoch 10000 \
--save-dir ./ckpts
Anyone knows why it happens and maybe a solution for it?
Thank you very much!
- Ngôn ngữ chính
- Python
- Star
- 2.5k
- Fork
- 374
- Merge trung bình
- 14 giờ 51 phút
- Pull request đã merge (30 ngày)
- 3
Chuẩn bị môi trường
Chúng tôi chưa kiểm tra các tệp thiết lập môi trường của dự án này. Hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của microsoft/Graphormer
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
microsoft/Graphormer#211 ·
-
SAS updataĐang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 20/100
microsoft/Graphormer#210 ·
-
Interpolation between statesĐang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
microsoft/Graphormer#208 ·
-
CUDA out of memoryĐang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 20/100
microsoft/Graphormer#207 · 1 bình luận ·
-
How do I prepare OC20 dataset?Đang mở
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 35/100
microsoft/Graphormer#205 ·
Tất cả issue của microsoft/Graphormer
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
solana-foundation/pay-kit#341 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
nasa/python_cmr#123 ·
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 92/100
EleutherAI/lm-evaluation-harness#4243 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
area: dashboard bug perceived difficulty: 3
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
Nitjsefnie-Harness-Commons/daedalus#1179 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
cusp-ai-oss/tojax#17 ·