Python PyTorch EndOnDiskCacheHolder用法及代码示例

本文简要介绍python语言中 torchdata.datapipes.iter.EndOnDiskCacheHolder 的用法。

用法:

class torchdata.datapipes.iter.EndOnDiskCacheHolder(datapipe, mode='wb', filepath_fn=None, *, same_filepath_fn=False, skip_read=False)

参数：

• datapipe-IterDataPipe 图中至少有一个OnDiskCacheHolder。

• mode-打开缓存文件以将数据写入磁盘的模式。这需要与 datapipe 中的数据类型或文件句柄对齐。默认使用"wb"。

• filepath_fn-从 datapipe 的元数据中提取文件路径的可选函数。默认情况下，它将直接使用元数据作为文件路径。

• same_filepath_fn-设置为 True 以使用与 OnDiskCacheHolder 相同的 filepath_fn 。

• skip_read-跳过从 datapipe 读取文件句柄的布尔值。默认情况下，启用读取并基于 mode 创建读取函数。

指示何时将先前DataPipe的结果保存到filepath_fn指定的本地文件(函数名称：end_caching)。此外，源DataPipe的结果需要是元数据和数据的元组，或者元数据和文件句柄的元组。

示例

>>> from torchdata.datapipes.iter import IterableWrapper, HttpReader
>>> url = IterableWrapper(["https://path/to/filename", ])
>>> def _filepath_fn(url):
>>>     temp_dir = tempfile.gettempdir()
>>>     return os.path.join(temp_dir, os.path.basename(url))
>>> hash_dict = {"expected_filepath": expected_MD5_hash}
>>> # You must call ``.on_disk_cache`` at some point before ``.end_caching``
>>> cache_dp = url.on_disk_cache(filepath_fn=_filepath_fn, hash_dict=_hash_dict, hash_type="md5")
>>> # You must call ``.end_caching`` at a later point to stop tracing and save the results to local files.
>>> cache_dp = HttpReader(cache_dp).end_caching(mode="wb". filepath_fn=_filepath_fn)