Python PyTorch InMemoryCacheHolder用法及代碼示例

本文簡要介紹python語言中 torchdata.datapipes.iter.InMemoryCacheHolder 的用法。

用法:

class torchdata.datapipes.iter.InMemoryCacheHolder(source_dp: IterDataPipe[torchdata.datapipes.iter.util.cacheholder.T_co], size: Optional[int] = None)

參數：

• source_dp-源 DataPipe 從中讀取元素並將其存儲在內存中

• size-此 DataPipe 可在內存中保存的最大大小(以兆字節為單位)。默認為無限製。

將源 DataPipe 中的元素存儲在內存中，如果指定，最多可達大小限製(函數名稱：in_memory_cache )。該緩存是 FIFO 的 - 一旦緩存已滿，更多的元素將不會添加到緩存中，直到先前的元素被生成並從緩存中彈出。

示例

>>> from torchdata.datapipes.iter import IterableWrapper
>>> source_dp = IterableWrapper(range(10))
>>> cache_dp = source_dp.in_memory_cache(size=5)
>>> list(cache_dp)
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]