Python distributed.Client.dump_cluster_state用法及代码示例

用法: dump_cluster_state(filename: str = 'dask-cluster-dump', exclude: collections.abc.Collection[str] =('run_spec',), format: Literal['msgpack', 'yaml'] = 'msgpack')

提取整个集群状态的转储并保存到磁盘。这仅用于调试目的。

警告：客户端的内存使用量可能很大。

结果将存储在字典中：

{
    "scheduler_info": {...},
    "worker_info": {
        worker_addr: {...},  # worker attributes
        ...
    }
}

参数：

filename:

输出文件名。将自动附加适当的文件后缀(.msgpack.gz 或 .yaml)。

exclude:

应该从转储中排除的属性名称的集合，例如排除代码、回溯、日志等。

默认排除 run_spec 这是序列化的用户代码。这通常不是调试所必需的。要允许对此进行序列化，请传递一个空元组。

format:

msgpack 或 yaml。如果使用 msgpack(默认)，输出将作为 msgpack 存储在 gzip 压缩文件中。

阅读：

import gzip, msgpack
with gzip.open("filename") as fd:
    state = msgpack.unpack(fd)

或者：

import yaml
try:
    from yaml import CLoader as Loader
except ImportError:
    from yaml import Loader
with open("filename") as fd:
    state = yaml.load(fd, Loader=Loader)

相关用法

注：本文由纯净天空筛选整理自dask.org大神的英文原创作品 distributed.Client.dump_cluster_state。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。