Python tf.data.experimental.service.DispatchServer用法及代码示例

in-process tf.data 服务调度服务器。

用法

tf.data.experimental.service.DispatchServer(
    config=None, start=True
)

参数

config (可选。)tf.data.experimental.service.DispatcherConfig 配置。如果 None ，调度程序将使用默认配置值。
start (可选。)布尔值，表示创建后是否启动服务器。默认为真。

属性

target 返回可用于连接服务器的目标。

dispatcher = tf.data.experimental.service.DispatchServer()
dataset = tf.data.Dataset.range(10)
dataset = dataset.apply(tf.data.experimental.service.distribute(
    processing_mode="parallel_epochs", service=dispatcher.target))

返回的字符串格式为协议：//地址，例如"grpc://localhost:5050"。

tf.data.experimental.service.DispatchServer 协调一个由 tf.data.experimental.service.WorkerServer 组成的集群。当工人开始时，他们向调度员注册自己。

dispatcher = tf.data.experimental.service.DispatchServer()
dispatcher_address = dispatcher.target.split("://")[1]
worker = tf.data.experimental.service.WorkerServer(
    tf.data.experimental.service.WorkerConfig(
    dispatcher_address=dispatcher_address))
dataset = tf.data.Dataset.range(10)
dataset = dataset.apply(tf.data.experimental.service.distribute(
    processing_mode="parallel_epochs", service=dispatcher.target))
print(list(dataset.as_numpy_iterator()))
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

启动专用的 tf.data 调度进程时，在启动服务器后使用join() 无限期阻塞。

dispatcher = tf.data.experimental.service.DispatchServer(
    tf.data.experimental.service.DispatcherConfig(port=5050))
dispatcher.join()

要在 fault-tolerant 模式下启动 DispatchServer，请设置 work_dir 和 fault_tolerant_mode，如下所示：

dispatcher = tf.data.experimental.service.DispatchServer(
    tf.data.experimental.service.DispatcherConfig(
        port=5050,
        work_dir="gs://my-bucket/dispatcher/work_dir",
        fault_tolerant_mode=True))

相关用法

注：本文由纯净天空筛选整理自tensorflow.org大神的英文原创作品 tf.data.experimental.service.DispatchServer。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。