Python tf.io.TFRecordWriter用法及代碼示例

將記錄寫入 TFRecords 文件的類。

用法

tf.io.TFRecordWriter(
    path, options=None
)

TFRecords 教程

TFRecords 是一種二進製格式，針對高吞吐量數據檢索進行了優化，通常與 tf.data 結合使用。 TFRecordWriter 用於將序列化的示例寫入文件以供以後使用。關鍵步驟是：

提前時間：

• 將數據轉換為序列化格式

• 將序列化數據寫入一個或多個文件

  在訓練或評估期間：

• 將序列化的示例讀入內存

• 解析(反序列化)示例

下麵給出了一個最小的例子：

import tempfile
example_path = os.path.join(tempfile.gettempdir(), "example.tfrecords")
np.random.seed(0)

# Write the records to a file.
with tf.io.TFRecordWriter(example_path) as file_writer:
  for _ in range(4):
    x, y = np.random.random(), np.random.random()

    record_bytes = tf.train.Example(features=tf.train.Features(feature={
        "x":tf.train.Feature(float_list=tf.train.FloatList(value=[x])),
        "y":tf.train.Feature(float_list=tf.train.FloatList(value=[y])),
    })).SerializeToString()
    file_writer.write(record_bytes)

# Read the data back out.
def decode_fn(record_bytes):
  return tf.io.parse_single_example(
      # Data
      record_bytes,

      # Schema
      {"x":tf.io.FixedLenFeature([], dtype=tf.float32),
       "y":tf.io.FixedLenFeature([], dtype=tf.float32)}
  )

for batch in tf.data.TFRecordDataset([example_path]).map(decode_fn):
  print("x = {x:.4f},  y = {y:.4f}".format(**batch))
x = 0.5488,  y = 0.7152
x = 0.6028,  y = 0.5449
x = 0.4237,  y = 0.6459
x = 0.4376,  y = 0.8918

此類實現 __enter__ 和 __exit__ ，並且可以像普通文件一樣在 with 塊中使用。 (參見上麵的使用示例。)