Python PyTorch fp16_compress_hook用法及代碼示例

本文簡要介紹python語言中 torch.distributed.algorithms.ddp_comm_hooks.default_hooks.fp16_compress_hook 的用法。

用法: torch.distributed.algorithms.ddp_comm_hooks.default_hooks.fp16_compress_hook(process_group, bucket)

這個 DDP 通信掛鉤實現了一種簡單的梯度壓縮方法，將 GradBucket 張量轉換為 half-precision 浮點格式 (torch.float16)，然後將其除以進程組大小。它全部減少了那些float16 梯度張量。一旦壓縮梯度張量全部減少，鏈式回調 decompress 會將其轉換回輸入數據類型(例如 float32 )。

例子：

>>> ddp_model.register_comm_hook(process_group, fp16_compress_hook)

相關用法

Python PyTorch fp16_compress_wrapper用法及代碼示例
Python PyTorch frexp用法及代碼示例
Python PyTorch fft2用法及代碼示例
Python PyTorch fftn用法及代碼示例
Python PyTorch flip用法及代碼示例
Python PyTorch frombuffer用法及代碼示例
Python PyTorch float_power用法及代碼示例
Python PyTorch floor_divide用法及代碼示例
Python PyTorch fractional_max_pool3d用法及代碼示例
Python PyTorch frac用法及代碼示例
Python PyTorch freeze用法及代碼示例
Python PyTorch fftshift用法及代碼示例
Python PyTorch fake_quantize_per_channel_affine用法及代碼示例
Python PyTorch flipud用法及代碼示例
Python PyTorch fliplr用法及代碼示例
Python PyTorch fractional_max_pool2d用法及代碼示例
Python PyTorch fftfreq用法及代碼示例
Python PyTorch from_numpy用法及代碼示例
Python PyTorch filter_wikipedia_xml用法及代碼示例
Python PyTorch fuse_modules用法及代碼示例
Python PyTorch fasterrcnn_mobilenet_v3_large_320_fpn用法及代碼示例
Python PyTorch fmax用法及代碼示例
Python PyTorch fork用法及代碼示例
Python PyTorch fmin用法及代碼示例
Python PyTorch fasterrcnn_resnet50_fpn用法及代碼示例

注：本文由純淨天空篩選整理自pytorch.org大神的英文原創作品 torch.distributed.algorithms.ddp_comm_hooks.default_hooks.fp16_compress_hook。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。