Python PyTorch Quantize用法及代碼示例

本文簡要介紹python語言中 torch.nn.quantized.Quantize 的用法。

用法:

class torch.nn.quantized.Quantize(scale, zero_point, dtype, factory_kwargs=None)

參數：

• scale-輸出量化張量的尺度

• zero_point-zero_point of output Quantized Tensor

• dtype-輸出量化張量的數據類型

• factory_kwargs-用於配置內部緩衝區初始化的 kwargs 字典。目前支持device 和dtype。示例：factory_kwargs={‘device’: ‘cuda’, ‘dtype’: torch.float64} 將在當前 CUDA 設備上將內部緩衝區初始化為 torch.float64 類型。請注意，dtype 僅適用於浮點緩衝區。

量化傳入的張量

例子：：

>>> t = torch.tensor([[1., -1.], [1., -1.]])
>>> scale, zero_point, dtype = 1.0, 2, torch.qint8
>>> qm = Quantize(scale, zero_point, dtype)
>>> qt = qm(t)
>>> print(qt)
tensor([[ 1., -1.],
        [ 1., -1.]], size=(2, 2), dtype=torch.qint8, scale=1.0, zero_point=2)