TensorFlow image classification tests running out of memory on Linux x64
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 2/5
- Tempo stimato
- 1-3 ore
- Idoneità per principianti
- 62/100
- Tipo di issue
- Bug
- Chiarezza
- Specificata chiaramente
- Stato di attività
- Attiva
- Stack tecnologico
- csharp, linux, tensorflow
- Ambito
- machine-learning, testing
Direzione di ricerca
Inizia dai sei metodi di addestramento per la classificazione delle immagini di TensorFlow e dai relativi attributi di test nel progetto di test TensorFlow. Poi verifica come vengono applicate le condizioni di piattaforma e di configurazione della build ai test vicini. Metti in quarantena i metodi di addestramento come gruppo per le esecuzioni locali su Linux x64 e per entrambe le configurazioni Debug e Release, mantenendo gli altri test e le altre piattaforme TensorFlow. Il lavoro è completato quando i casi di addestramento specificati vengono ignorati su Linux x64 e gli altri test restano abilitati.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
System Information (please complete the following information):
- OS & Version: Ubuntu 22.04 and CentOS Stream 9 x64 Helix containers.
- ML.NET Version: PR #7833, commit
100af589f. - .NET Version: .NET 8, Debug and Release.
Describe the bug
Accurate native-library detection enables previously skipped TensorFlow tests. The process exits with code 137 during TensorFlowImageClassificationWithExponentialLRScheduling in Release and TensorFlowImageClassificationBadImages in Debug. Debug logs report peak memory up to 7.2 GB. An OOM kill is suspected, not kernel-confirmed.
Screenshots, Code, Sample Projects
Ubuntu Debug log · Ubuntu Release log
Additional context
Temporarily quarantine the six image-classification training methods (10 test cases) as a group on Linux x64, including local runs and both build configurations. This covers default training, architecture variants, learning-rate scheduling, early stopping, and bad images. Keep non-training TensorFlow tests and other platforms enabled.
Reproduced outside Helix in Ubuntu 22.04 WSL x64 with the original Release binaries, .NET 8.0.16 and two CPUs: at a 16 GiB limit, 36 tests passed with 2 existing skips (peak RSS about 14.2 GiB). At an experimental 8 GiB limit, the kernel OOM-killed dotnet during BadImages. This does not establish the actual Helix memory limit. Memory retention across tests may contribute, so individual skips may only move the failure later.
The two initial skips were honored, but build 1643911 was killed later in TensorFlowImageClassification or TensorFlowImageClassificationEarlyStopping (Ubuntu Release log). The latest payload also OOM-kills at 8 GiB in WSL. Enabling the existing per-test GC option did not prevent the OOM, so that experiment was reverted.
With the training-group quarantine, the same 8 GiB WSL reproduction completes successfully: 26 passed and 8 reported skips (6 training methods plus 2 existing model-unavailable skips), with peak RSS about 1.26 GiB. The two quarantined theories cover multiple data rows. Linux CI still needs to rerun; this is a temporary coverage reduction, not a fix for the memory retention.
- Lingua principale
- C#
- Stelle
- 9.4k
- Fork
- 2k
- Merge medio
- 2g 12h
- PR unite (30g)
- 49
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di dotnet/machinelearning
-
AutoML MulticlassClassificationExperiment minimizes LogLossReduction — MultiClassMetricManager.IsMaximize returns false for itForse già presa @zjdangge l’ha presa 4 giorni fa. Apertaarea-AutoML untriaged
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 90/100
dotnet/machinelearning#7839 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
area-Native untriaged
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
dotnet/machinelearning#7837 ·
I maintainer di solito rispondono entro 1 giorno
-
ToArrowRecordBatches accumulates arrays from previous batches, producing invalid record batchesApertaarea-DataFrame bug untriaged
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
dotnet/machinelearning#7799 ·
I maintainer di solito rispondono entro 1 giorno
-
LlamaTokenizer encodes some runs of repeated characters differently from SentencePieceForse già presa @Laurianti l’ha presa 25 giorni fa. Apertauntriaged
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
dotnet/machinelearning#7751 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
BertTokenizer merges words separated only by `\n`, `\t` or `\r`Forse già presa @rosebyte l’ha presa 33 giorni fa. Apertaarea-Tokenizers green
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
dotnet/machinelearning#7724 · 3 commenti · 1 assegnatario ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di dotnet/machinelearning
Issue simili
-
Bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
I maintainer di solito rispondono entro 1 giorno
-
bug 🐞 Untriaged user issue
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
valkey-io/valkey-glide#7443 ·
I maintainer di solito rispondono entro 1 giorno
-
A-connection C-bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
rabbitmq/rabbitmq-dotnet-client#2106 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 64/100
I maintainer di solito rispondono entro 1 giorno
-
good first issue help wanted
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100