NVIDIA/DALI

Is there a function for chunking operations on numpy data?

Open

#4140 aperta il 5 ago 2022

Vedi su GitHub
 (3 commenti) (0 reazioni) (1 assegnatario)C++ (670 fork)auto 404
help wanted

Metriche repository

Star
 (5722 star)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

I want to split a single npy file read by fn.readers.numpy in 100-bit units according to the first dimension, is there any function available?

Guida contributor

Direzione di ricerca
Controlla la documentazione di DALI e il codice sorgente per operatori esistenti che supportano il chunking o la suddivisione dei dati numpy lungo la prima dimensione. Esamina i parametri di fn.readers.numpy come 'pad last batch' o 'batch size' e considera l'utilizzo di 'fn.experimental.inputs' o 'fn.transforms' per ottenere il chunking. Se non esiste una funzione incorporata, considera l'implementazione di un operatore personalizzato utilizzando fn.experimental.decorators.
Tech stack
python
Dominio
datamachine learning
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonBasic understanding of DALI
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
75