Python PyTorch fp16_compress_hook用法及代码示例

本文简要介绍python语言中 torch.distributed.algorithms.ddp_comm_hooks.default_hooks.fp16_compress_hook 的用法。

用法:

torch.distributed.algorithms.ddp_comm_hooks.default_hooks.fp16_compress_hook(process_group, bucket)

这个 DDP 通信挂钩实现了一种简单的梯度压缩方法，将 GradBucket 张量转换为 half-precision 浮点格式 (torch.float16)，然后将其除以进程组大小。它全部减少了那些float16 梯度张量。一旦压缩梯度张量全部减少，链式回调 decompress 会将其转换回输入数据类型(例如 float32 )。

例子：

>>> ddp_model.register_comm_hook(process_group, fp16_compress_hook)