PaddlePaddle/models

data/dataset/youtube8m将tfrecord转为pkl

Open

#3,803 创建于 2019年10月29日

在 GitHub 查看
 (2 评论) (0 反应) (1 负责人)Python (6,853 star) (2,956 fork)batch import
help wanted

描述

当文件较多时，后面的转换速度会越来越慢，有没有好的处理方式？tf2pkl.py

贡献者指南

技术栈
pythontensorflow
领域
datamachine learning
议题类型
performance
难度面向新贡献者的预计实现难度，1 表示很小改动，5 表示专家级工作。
3
预计时间有经验贡献者完成调查、实现、测试并准备 pull request 的粗略时间范围。
1-2 days
活动状态议题当前的可参与程度：新鲜、活跃、陈旧、阻塞或等待维护者输入。
stale
清晰度议题是否清楚说明期望改动、验收标准和下一步。
needs investigation
前置要求
Basic Python knowledgeUnderstanding of TFRecord format
新手友好度1-100 的估计分数，表示该议题对首次贡献者的友好程度。
20
研究方向
Investigate the tf2pkl.py script to understand the current conversion logic. Profile the code to identify why performance degrades with more files, possibly due to memory or I/O bottlenecks. Consider implementing batch processing or using multiprocessing. Check the repository's discussions or maintainer comments for known solutions or planned improvements.