PaddlePaddle/models

data/dataset/youtube8m将tfrecord转为pkl

Open

#3803 aperta il 29 ott 2019

Vedi su GitHub
 (2 commenti) (0 reazioni) (1 assegnatario)Python (2956 fork)batch import
help wanted

Metriche repository

Star
 (6853 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

当文件较多时，后面的转换速度会越来越慢，有没有好的处理方式？tf2pkl.py

Guida contributor

Direzione di ricerca
Analizza lo script tf2pkl.py per comprendere la logica di conversione attuale. Profila il codice per identificare perché le prestazioni peggiorano con più file, possibilmente a causa di colli di bottiglia di memoria o I/O. Considera l'implementazione dell'elaborazione in batch o l'uso del multiprocessing. Controlla le discussioni del repository o i commenti dei manutentori per soluzioni note o miglioramenti pianificati.
Tech stack
pythontensorflow
Dominio
datamachine learning
Tipo issue
Performance
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Datata
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Richiede indagine
Prerequisiti
Basic Python knowledgeUnderstanding of TFRecord format
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
20