队列读取样本数据

来自软件实验室
Tengxing讨论 | 贡献2017年1月17日 (二) 13:00的版本 (创建页面,内容为“ 在tensorflow中,读取数据一般有三种。一就是constant定义,二是通过placeholder,三是通过队列的方式读取二进制文件。 比较一...”)

(差异) ←上一版本 | 最后版本 (差异) | 下一版本→ (差异)
跳转至: 导航搜索
 在tensorflow中,读取数据一般有三种。一就是constant定义,二是通过placeholder,三是通过队列的方式读取二进制文件。
比较一下,第一种就不说了;
第二种通过批量读取,数据转换,手动输入,在数据量不大的情况下还是听不错的选择,但是在数据量大的情况下,显然速度就跟不上了,效率太低,比如在集群分布中,不可能使用这种方式来喂数据,我们平时来玩玩还是挺不错的。
第三种通过队列的形式,把需要喂的数据放在一个队列中,学过数据结构就知道,速度必然上升,官方都说了:在使用TensorFlow进行异步计算时,队列是一种强大的机制。但官方这里说的队列是图中的tensor,就是节点。
下面说一下如何通过队列读取文件,文件的制作看上一篇就好。