Python PyTorch InMemoryCacheHolder用法及代码示例

本文简要介绍python语言中 torchdata.datapipes.iter.InMemoryCacheHolder 的用法。

用法:

class torchdata.datapipes.iter.InMemoryCacheHolder(source_dp: IterDataPipe[torchdata.datapipes.iter.util.cacheholder.T_co], size: Optional[int] = None)

参数：

• source_dp-源 DataPipe 从中读取元素并将其存储在内存中

• size-此 DataPipe 可在内存中保存的最大大小(以兆字节为单位)。默认为无限制。

将源 DataPipe 中的元素存储在内存中，如果指定，最多可达大小限制(函数名称：in_memory_cache )。该缓存是 FIFO 的 - 一旦缓存已满，更多的元素将不会添加到缓存中，直到先前的元素被生成并从缓存中弹出。

示例

>>> from torchdata.datapipes.iter import IterableWrapper
>>> source_dp = IterableWrapper(range(10))
>>> cache_dp = source_dp.in_memory_cache(size=5)
>>> list(cache_dp)
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]