Python tf.data.Dataset.interleave用法及代碼示例

用法

interleave(
    map_func, cycle_length=None, block_length=None, num_parallel_calls=None,
    deterministic=None, name=None
)

跨此數據集映射map_func，並交錯結果。

類型簽名是：

def interleave(
  self:Dataset[T],
  map_func:Callable[[T], Dataset[S]]
) -> Dataset[S]

例如，您可以使用 Dataset.interleave() 來同時處理多個輸入文件：

# Preprocess 4 files concurrently, and interleave blocks of 16 records
# from each file.
filenames = ["/var/data/file1.txt", "/var/data/file2.txt",
             "/var/data/file3.txt", "/var/data/file4.txt"]
dataset = tf.data.Dataset.from_tensor_slices(filenames)
def parse_fn(filename):
  return tf.data.Dataset.range(10)
dataset = dataset.interleave(lambda x:
    tf.data.TextLineDataset(x).map(parse_fn, num_parallel_calls=1),
    cycle_length=4, block_length=16)

cycle_length 和 block_length 參數控製生成元素的順序。 cycle_length 控製同時處理的輸入元素的數量。如果將 cycle_length 設置為 1，則此轉換將一次處理一個輸入元素，並將產生與 tf.data.Dataset.flat_map 相同的結果。通常，此轉換會將map_func 應用於cycle_length 輸入元素，在返回的Dataset 對象上打開迭代器，並在它們之間循環，從每個迭代器生成block_length 連續元素，並在每次執行時消耗下一個輸入元素到達迭代器的末尾。

例如：

dataset = Dataset.range(1, 6)  # ==> [ 1, 2, 3, 4, 5 ]
# NOTE:New lines indicate "block" boundaries.
dataset = dataset.interleave(
    lambda x:Dataset.from_tensors(x).repeat(6),
    cycle_length=2, block_length=4)
list(dataset.as_numpy_iterator())
[1, 1, 1, 1,
 2, 2, 2, 2,
 1, 1,
 2, 2,
 3, 3, 3, 3,
 4, 4, 4, 4,
 3, 3,
 4, 4,
 5, 5, 5, 5,
 5, 5]

注意：隻要 map_func 是純函數且 deterministic=True ，此轉換產生的元素的順序是確定的。如果map_func 包含任何有狀態操作，則訪問該狀態的順序是未定義的。

性能通常可以通過設置num_parallel_calls 來提高，這樣interleave 將使用多個線程來獲取元素。如果不需要確定性，設置 deterministic=False 也可以提高性能。

filenames = ["/var/data/file1.txt", "/var/data/file2.txt",
             "/var/data/file3.txt", "/var/data/file4.txt"]
dataset = tf.data.Dataset.from_tensor_slices(filenames)
dataset = dataset.interleave(lambda x:tf.data.TFRecordDataset(x),
    cycle_length=4, num_parallel_calls=tf.data.AUTOTUNE,
    deterministic=False)