TensorFlow image classification tests running out of memory on Linux x64
Maintainer thường phản hồi trong vòng 2 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 2/5
- Thời gian dự kiến
- 1-3 giờ
- Mức phù hợp với người mới
- 62/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Đặc tả rõ ràng
- Mức độ hoạt động
- Sôi nổi
- Công nghệ
- csharp, linux, tensorflow
- Lĩnh vực
- machine-learning, testing
Hướng nghiên cứu
Bắt đầu với sáu phương thức huấn luyện phân loại hình ảnh của TensorFlow và các thuộc tính kiểm thử của chúng trong dự án kiểm thử TensorFlow, sau đó kiểm tra cách áp dụng các điều kiện nền tảng và cấu hình build cho những kiểm thử lân cận. Cách ly nhóm các phương thức huấn luyện này cho những lần chạy cục bộ trên Linux x64 và cả hai cấu hình Debug, Release, đồng thời giữ nguyên các kiểm thử và nền tảng TensorFlow khác. Hoàn tất khi các trường hợp huấn luyện được chỉ định bị bỏ qua trên Linux x64, còn những kiểm thử khác vẫn được bật.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
System Information (please complete the following information):
- OS & Version: Ubuntu 22.04 and CentOS Stream 9 x64 Helix containers.
- ML.NET Version: PR #7833, commit
100af589f. - .NET Version: .NET 8, Debug and Release.
Describe the bug
Accurate native-library detection enables previously skipped TensorFlow tests. The process exits with code 137 during TensorFlowImageClassificationWithExponentialLRScheduling in Release and TensorFlowImageClassificationBadImages in Debug. Debug logs report peak memory up to 7.2 GB. An OOM kill is suspected, not kernel-confirmed.
Screenshots, Code, Sample Projects
Ubuntu Debug log · Ubuntu Release log
Additional context
Temporarily quarantine the six image-classification training methods (10 test cases) as a group on Linux x64, including local runs and both build configurations. This covers default training, architecture variants, learning-rate scheduling, early stopping, and bad images. Keep non-training TensorFlow tests and other platforms enabled.
Reproduced outside Helix in Ubuntu 22.04 WSL x64 with the original Release binaries, .NET 8.0.16 and two CPUs: at a 16 GiB limit, 36 tests passed with 2 existing skips (peak RSS about 14.2 GiB). At an experimental 8 GiB limit, the kernel OOM-killed dotnet during BadImages. This does not establish the actual Helix memory limit. Memory retention across tests may contribute, so individual skips may only move the failure later.
The two initial skips were honored, but build 1643911 was killed later in TensorFlowImageClassification or TensorFlowImageClassificationEarlyStopping (Ubuntu Release log). The latest payload also OOM-kills at 8 GiB in WSL. Enabling the existing per-test GC option did not prevent the OOM, so that experiment was reverted.
With the training-group quarantine, the same 8 GiB WSL reproduction completes successfully: 26 passed and 8 reported skips (6 training methods plus 2 existing model-unavailable skips), with peak RSS about 1.26 GiB. The two quarantined theories cover multiple data rows. Linux CI still needs to rerun; this is a temporary coverage reduction, not a fix for the memory retention.
- Ngôn ngữ chính
- C#
- Star
- 9.4k
- Fork
- 2k
- Merge trung bình
- 2 ngày 14 giờ
- Pull request đã merge (30 ngày)
- 50
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của dotnet/machinelearning
-
area-AutoML untriaged
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 90/100
dotnet/machinelearning#7839 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
area-Native untriaged
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
dotnet/machinelearning#7837 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
ToArrowRecordBatches accumulates arrays from previous batches, producing invalid record batchesĐang mởarea-DataFrame bug untriaged
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 62/100
dotnet/machinelearning#7799 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
LlamaTokenizer encodes some runs of repeated characters differently from SentencePieceCó thể đã có người làm @Laurianti đã nhận 21 ngày trước. Đang mởuntriaged
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
dotnet/machinelearning#7751 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 2 ngày
-
BertTokenizer merges words separated only by `\n`, `\t` or `\r`Có thể đã có người làm @rosebyte đã nhận 29 ngày trước. Đang mởarea-Tokenizers green
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 85/100
dotnet/machinelearning#7724 · 3 bình luận · 1 người được giao ·
Maintainer thường phản hồi trong vòng 2 ngày
Tất cả issue của dotnet/machinelearning
Issue tương tự
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
AvaloniaUI/Avalonia#22568 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
[bug] 截图失败日志冲爆硬盘Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 63/100
babalae/better-genshin-impact#3846 · 2 bình luận ·
Maintainer thường phản hồi trong vòng 2 ngày
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
lugassawan/swe-workbench#823 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
microsoft/fluentui-blazor#5518 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
devtools
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
Maintainer thường phản hồi trong vòng 1 ngày