本文简要介绍python语言中 torch.distributed.algorithms.ddp_comm_hooks.default_hooks.bf16_compress_hook
的用法。
用法:
torch.distributed.algorithms.ddp_comm_hooks.default_hooks.bf16_compress_hook(process_group, bucket)
警告:此 API 是实验性的,需要 NCCL 版本高于 2.9.6。
此 DDP 通信钩子实现了一种简单的梯度压缩方法,将
GradBucket
张量转换为 half-precision Brain floating point format (torch.bfloat16
),然后将其除以进程组大小。它全部减少了那些bfloat16
梯度张量。一旦压缩梯度张量全部归约,链式回调decompress
会将其转换回输入数据类型(例如float32
)。>>> ddp_model.register_comm_hook(process_group, bf16_compress_hook)
例子:
相关用法
- Python PyTorch bf16_compress_wrapper用法及代码示例
- Python PyTorch bincount用法及代码示例
- Python PyTorch bitwise_right_shift用法及代码示例
- Python PyTorch bernoulli用法及代码示例
- Python PyTorch bitwise_and用法及代码示例
- Python PyTorch bitwise_not用法及代码示例
- Python PyTorch backward用法及代码示例
- Python PyTorch batched_powerSGD_hook用法及代码示例
- Python PyTorch binary_cross_entropy用法及代码示例
- Python PyTorch bitwise_xor用法及代码示例
- Python PyTorch binary_cross_entropy_with_logits用法及代码示例
- Python PyTorch bleu_score用法及代码示例
- Python PyTorch broadcast_tensors用法及代码示例
- Python PyTorch build_vocab_from_iterator用法及代码示例
- Python PyTorch broadcast_object_list用法及代码示例
- Python PyTorch broadcast_shapes用法及代码示例
- Python PyTorch bitwise_or用法及代码示例
- Python PyTorch bitwise_left_shift用法及代码示例
- Python PyTorch bmm用法及代码示例
- Python PyTorch baddbmm用法及代码示例
- Python PyTorch broadcast_to用法及代码示例
- Python PyTorch bucketize用法及代码示例
- Python PyTorch block_diag用法及代码示例
- Python PyTorch frexp用法及代码示例
- Python PyTorch jvp用法及代码示例
注:本文由纯净天空筛选整理自pytorch.org大神的英文原创作品 torch.distributed.algorithms.ddp_comm_hooks.default_hooks.bf16_compress_hook。非经特殊声明,原始代码版权归原作者所有,本译文未经允许或授权,请勿转载或复制。