pytorch/ignite

Are there any ways to filter out or ignore a batch in engine?

Open

#996 aperta il 30 apr 2020

Vedi su GitHub
 (7 commenti) (1 reazione) (0 assegnatari)Python (602 fork)batch import
enhancementhelp wanted

Metriche repository

Star
 (4313 star)
Metriche merge PR
 (Merge medio 18g 23h) (19 PR mergiate in 30 g)

Descrizione

❓ Questions/Help/Support

I'm really new to the ML area and I'm trying to train a network with a dataset that when sampling batches, it can create batches with really large sizes (the sampling method is just torch's weightedSampling). Though the batch size is fixed the data size in the batch will be really large sometimes. It seems pretty complicated to define a customized sampler, and the way I originally did was just ignore that batch when the data size in the batch is too large. Now, I'm trying to use ignite as the framework to train the network, I don't know how to do this. I think it might relate to event_filter? But it seems to be triggered by event, so are there any ways to pass in a batch instead?

Thanks so much for your time!

Guida contributor

Direzione di ricerca
Indaga il meccanismo di filtraggio degli eventi di Ignite e considera la personalizzazione del DataLoader per saltare batch troppo grandi. Guarda esempi di utilizzo di `event filter` o di override del provider di batch.
Tech stack
pythonpytorch
Dominio
machine learningai
Tipo issue
Ricerca
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonPyTorchIgniteGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70