TensorFlow 数据IO(Python函数)

TFRecords 文件表示(二进制)字符串的序列。格式不是随机访问,因此适合于流量大量数据,但是如果需要快速分片或其他非顺序访问,则不适合。

TFRecords 格式详细信息

TFRecords 文件包含具有 CRC 散列的字符串序列。每个记录都有格式

uint64 length
uint32 masked_crc32_of_length
byte   data[length]
uint32 masked_crc32_of_data

并将记录连接起来生成文件。CRC32 在这里描述,CRC的掩码是

masked_crc = ((crc >> 15) | (crc << 17)) + 0xa282ead8ul

发表评论

电子邮件地址不会被公开。 必填项已用*标注