Python PyTorch TCPStore用法及代碼示例

本文簡要介紹python語言中 torch.distributed.TCPStore 的用法。

用法:

class torch.distributed.TCPStore

參數：

• host_name(str) -服務器存儲應在其上運行的主機名或 IP 地址。

• port(int) -服務器存儲應偵聽傳入請求的端口。

• world_size(int,可選的) -商店用戶總數(客戶端數量 + 服務器 1)。默認值為 -1(負值表示商店用戶數量不固定)。

• is_master(bool,可選的) -初始化服務器存儲時為 True，客戶端存儲為 False。默認為假。

• timeout(時間增量,可選的) -存儲在初始化期間以及 get() 和 wait() 等方法使用的超時。默認為 timedelta(seconds=300)

• wait_for_worker(bool,可選的) -是否等待所有工作人員與服務器存儲連接。這僅適用於world_size 為固定值時。默認為真。

基於 TCP 的分布式鍵值存儲實現。服務器存儲保存數據，而客戶端存儲可以通過 TCP 連接到服務器存儲並執行諸如set() 插入鍵值對、get() 檢索鍵值對等操作。應該有始終是一個服務器存儲初始化，因為客戶端存儲將等待服務器建立連接。

例子：

>>> import torch.distributed as dist
>>> from datetime import timedelta
>>> # Run on process 1 (server)
>>> server_store = dist.TCPStore("127.0.0.1", 1234, 2, True, timedelta(seconds=30))
>>> # Run on process 2 (client)
>>> client_store = dist.TCPStore("127.0.0.1", 1234, 2, False)
>>> # Use any of the store methods from either the client or server after initialization
>>> server_store.set("first_key", "first_value")
>>> client_store.get("first_key")