当前位置: 首页>>代码示例 >>用法及示例精选 >>正文

Python distributed.LocalCluster用法及代码示例


用法:

class distributed.LocalCluster(name=None, n_workers=None, threads_per_worker=None, processes=None, loop=None, start=None, host=None, ip=None, scheduler_port=0, silence_logs=30, dashboard_address=':8787', worker_dashboard_address=None, diagnostics_port=None, services=None, worker_services=None, service_kwargs=None, asynchronous=False, security=None, protocol=None, blocked_handlers=None, interface=None, worker_class=None, scheduler_kwargs=None, scheduler_sync_interval=1, **worker_kwargs)

创建本地调度程序和工作人员

这将创建一个 “cluster” 的调度程序和在本地机器上运行的工作人员。

参数：

n_workers: int：

开始工作的工人数量

processes: bool：

是使用进程 (True) 还是线程 (False)。默认为 True，除非worker_class=Worker，在这种情况下默认为 False。

threads_per_worker: int：

每个工人的线程数

scheduler_port: int：

调度程序的端口。默认8786，使用0选择随机端口

silence_logs: logging level：

要打印到标准输出的日志级别。 logging.WARN 默认情况下。使用 False 或 None 之类的虚假值来保持不变。

host: string：

调度程序将侦听的主机地址，默认仅为 localhost

ip: string：

已弃用。参见上面的host。

dashboard_address: str：

侦听 Bokeh 诊断服务器的地址，例如“localhost:8787”或“0.0.0.0:8787”。默认为“：8787”。设置为 None 以禁用仪表板。使用“：0”作为随机端口。

worker_dashboard_address: str：

监听 Bokeh 工作诊断服务器的地址，例如“localhost:8787”或“0.0.0.0:8787”。默认为 None 禁用仪表板。使用“：0”作为随机端口。

diagnostics_port: int：

已弃用。见dashboard_address。

asynchronous: bool (False by default)：

如果在 async/await 函数或 Tornado gen.coroutines 中使用此集群，则设置为 True。对于正常使用，这应该保持为 False。

blocked_handlers: List[str]：

字符串列表，指定在调度程序上禁止的处理程序的阻止列表，例如 ['feed', 'run_function']

service_kwargs: Dict[str, Dict]：

额外的关键字交给正在运行的服务

security：安全或布尔，可选

配置此集群中的通信安全性。可以是安全对象，也可以是 True。如果为 True，将自动创建临时 self-signed 凭据。

protocol: str (optional)：

使用的协议，如 tcp:// , tls:// , inproc:// 给定其他关键字参数，如 processes 和 security，这默认为明智的选择

interface: str (optional)：

要使用的网络接口。默认为 lo/localhost

worker_class: Worker：

工人类用于实例化工人。如果 processes=False 则默认为 Worker，如果 processes=True 或省略则默认为 Nanny。

**worker_kwargs:

额外的工人参数。任何其他关键字参数都将传递给Worker 类构造函数。

例子：

>>> cluster = LocalCluster()  # Create a local cluster  
>>> cluster  
LocalCluster("127.0.0.1:8786", workers=8, threads=8)
>>> c = Client(cluster)  # connect to local cluster

将集群扩展到三个工作人员

>>> cluster.scale(3)

将额外的关键字参数传递给 Bokeh

>>> LocalCluster(service_kwargs={'dashboard': {'prefix': '/foo'}})

相关用法


注：本文由纯净天空筛选整理自dask.org大神的英文原创作品 distributed.LocalCluster。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。