pytorch/ignite

Are there any ways to filter out or ignore a batch in engine?

Open

#996 geöffnet am 30. Apr. 2020

Auf GitHub ansehen
 (7 Kommentare) (1 Reaktion) (0 zugewiesene Personen)Python (602 Forks)batch import
enhancementhelp wanted

Repository-Metriken

Stars
 (4.313 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 18T 23h) (19 gemergte PRs in 30 T)

Beschreibung

❓ Questions/Help/Support

I'm really new to the ML area and I'm trying to train a network with a dataset that when sampling batches, it can create batches with really large sizes (the sampling method is just torch's weightedSampling). Though the batch size is fixed the data size in the batch will be really large sometimes. It seems pretty complicated to define a customized sampler, and the way I originally did was just ignore that batch when the data size in the batch is too large. Now, I'm trying to use ignite as the framework to train the network, I don't know how to do this. I think it might relate to event_filter? But it seems to be triggered by event, so are there any ways to pass in a batch instead?

Thanks so much for your time!

Contributor Guide

Research-Richtung
Untersuchen Sie den Ereignisfiltermechanismus von Ignite und erwägen Sie, den DataLoader anzupassen, um zu große Batches zu überspringen. Sehen Sie sich Beispiele für die Verwendung von `event filter` oder das Überschreiben des Batch Providers an.
Tech Stack
pythonpytorch
Domain
machine learningai
Issue Type
Recherche
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
PythonPyTorchIgniteGit
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
70