Issue in reproducibility
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 42/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Ít trao đổi
- Công nghệ
- python, pytorch
- Lĩnh vực
- machine-learning, testing-qa
Hướng nghiên cứu
Clone nhánh main của mateomorin/ttc-training, bỏ comment của test cuối cùng trong test_reproducibility và chạy uv run pytest với thiết lập seeding được cung cấp. So sánh kết quả của test về khả năng tái lập và các cảnh báo; được xem là hoàn tất khi test không còn cho thấy các kết quả khác nhau sau khi huấn luyện trên dữ liệu tổng hợp.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
I am unable to get the exact result after training a ttc model on my data (synthetic data), even after setting every possible seed:
torch.manual_seed(42)
random.seed(42)
np.random.seed(42)
torch.use_deterministic_algorithms(True)
if torch.cuda.is_available():
torch.cuda.manual_seed_all(42)
torch.backends.cudnn.deterministic = True
torch.backends.cudnn.benchmark = False
pytorch_lightning.seed_everything(42)
For full reproducibility:
git clone -b main https://github.com/mateomorin/ttc-training.git
# uncomment last test of test_reproducibility
# potentialy change your data path if you do not have access to bucket projet-ape
uv run pytest # should have 2 passed, 1 failed and potential warnings
- Ngôn ngữ chính
- Python
- Star
- 23
- Fork
- 7
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của InseeFrLab/torchTextClassifiers
-
GPU usage in docs Đang mở
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 78/100
-
Failed to use the release V1.0.3 Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 45/100
InseeFrLab/torchTextClassifiers#59 · 2 bình luận ·
-
enhancement
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 30/100
-
Dependency Dashboard Đang mở
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 15/100
Tất cả issue của InseeFrLab/torchTextClassifiers
Issue tương tự
-
essnmx good first issue
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 95/100
-
[Feature] 奇物选择添加优先级 Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 65/100
syfoud/Simulated_Scepter#174 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
Giskard-AI/giskard-oss#2840 · 1 bình luận ·
-
A claim comment carrying the issue number is silently declined while the workflow reports success Đang mởarea: repo bug perceived difficulty: 2
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
yeti-platform/yeti#1380 ·