Python PyTorch Quantize用法及代码示例

本文简要介绍python语言中 torch.nn.quantized.Quantize 的用法。

用法:

class torch.nn.quantized.Quantize(scale, zero_point, dtype, factory_kwargs=None)

参数：

• scale-输出量化张量的尺度

• zero_point-zero_point of output Quantized Tensor

• dtype-输出量化张量的数据类型

• factory_kwargs-用于配置内部缓冲区初始化的 kwargs 字典。目前支持device 和dtype。示例：factory_kwargs={‘device’: ‘cuda’, ‘dtype’: torch.float64} 将在当前 CUDA 设备上将内部缓冲区初始化为 torch.float64 类型。请注意，dtype 仅适用于浮点缓冲区。

量化传入的张量

例子：：

>>> t = torch.tensor([[1., -1.], [1., -1.]])
>>> scale, zero_point, dtype = 1.0, 2, torch.qint8
>>> qm = Quantize(scale, zero_point, dtype)
>>> qt = qm(t)
>>> print(qt)
tensor([[ 1., -1.],
        [ 1., -1.]], size=(2, 2), dtype=torch.qint8, scale=1.0, zero_point=2)