PaddlePaddle/models

data/dataset/youtube8m将tfrecord转为pkl

Aperta

#3803 aperta il 29 ott 2019

Vedi su GitHub
 (2 commenti) (0 reazioni) (1 assegnatario)Python (2956 fork)batch import
help wanted

Metriche repository

Star
 (6853 stelle)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

当文件较多时，后面的转换速度会越来越慢，有没有好的处理方式？tf2pkl.py

Guida contributor

Direzione di ricerca
Analizza lo script tf2pkl.py per identificare i colli di bottiglia delle prestazioni durante l'elaborazione di molti file. Considera l'utilizzo di elaborazione batch, multiprocessing o caricamento lazy.
Tech stack
pythontensorflow
Dominio
data
Tipo issue
Performance
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Python
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70