Python tf.linalg.LinearOperatorCirculant用法及代码示例

LinearOperator 就像循环矩阵一样。

继承自：LinearOperator，Module

用法

tf.linalg.LinearOperatorCirculant(
    spectrum, input_output_dtype=tf.dtypes.complex64, is_non_singular=None,
    is_self_adjoint=None, is_positive_definite=None, is_square=True,
    name='LinearOperatorCirculant'
)

该运算符的作用类似于循环矩阵 A ，对于某些 b >= 0 ，形状为 [B1,...,Bb, N, N] 。第一个 b 索引索引批处理成员。对于每个批次索引 (i1,...,ib) , A[i1,...,ib,::] 是一个 N x N 矩阵。此矩阵A 未具体化，但为了广播此形状将是相关的。

循环矩阵的说明

循环意味着 A 的条目由单个向量生成，即卷积核 h : A_{mn}:= h_{m-n mod N} 。使用 h = [w, x, y, z] ，

A = |w z y x|
    |x w z y|
    |y x w z|
    |z y x w|

这意味着矩阵乘法 v = Au 的结果具有在 h 与 u 的 Lth 列之间进行循环卷积的 Lth 列。

频谱方面的说明

在 [batch] 频谱 H 和傅里叶变换方面有一个等效的说明。这里我们考虑A.shape = [N, N] 并忽略批量维度。定义离散傅里叶变换 (DFT) 及其逆

DFT[ h[n] ] = H[k]:= sum_{n = 0}^{N - 1} h_n e^{-i 2pi k n / N}
IDFT[ H[k] ] = h[n] = N^{-1} sum_{k = 0}^{N - 1} H_k e^{i 2pi k n / N}

从这些定义中，我们看到

H[0] = sum_{n = 0}^{N - 1} h_n
H[1] = "the first positive frequency"
H[N - 1] = "the first negative frequency"

粗略地说，使用 * 逐元素乘法，矩阵乘法等于傅立叶乘法器的作用：A u = IDFT[ H * DFT[u] ]。准确地说，给定 [N, R] 矩阵 u ，让 DFT[u] 为 [N, R] 矩阵，其中 rth 列等于 u 的 rth 列的 DFT。类似地定义IDFT。矩阵乘法可以按列表示：

(A u)_r = IDFT[ H * (DFT[u])_r ]

从谱中推导出算子属性。

令 U 为 kth 欧几里得基向量，而 U = IDFT[u] 。上面的公式表明 A U = H_k * U 。我们得出结论H的元素是这个算子的特征值。所以

• 此运算符是正定的当且仅当 Real{H} > 0 。

傅立叶变换的一般性质是厄米特函数和实值变换之间的对应关系。

假设 H.shape = [B1,...,Bb, N] 。我们说 H 是 Hermitian 谱，如果 % 表示模除，

H[..., n % N] = ComplexConjugate[ H[..., (-n) % N] ]

• 当且仅当H 是 Hermitian 时，此运算符对应于实矩阵。
• 当且仅当 H 为实数时，此运算符是自伴的。

参见例如“Discrete-Time 信号处理”，奥本海姆和谢弗。

自伴正定算子示例

# spectrum is real ==> operator is self-adjoint
# spectrum is positive ==> operator is positive definite
spectrum = [6., 4, 2]

operator = LinearOperatorCirculant(spectrum)

# IFFT[spectrum]
operator.convolution_kernel()
==> [4 + 0j, 1 + 0.58j, 1 - 0.58j]

operator.to_dense()
==> [[4 + 0.0j, 1 - 0.6j, 1 + 0.6j],
     [1 + 0.6j, 4 + 0.0j, 1 - 0.6j],
     [1 - 0.6j, 1 + 0.6j, 4 + 0.0j]]

根据实际卷积核定义的示例

# convolution_kernel is real ==> spectrum is Hermitian.
convolution_kernel = [1., 2., 1.]]
spectrum = tf.signal.fft(tf.cast(convolution_kernel, tf.complex64))

# spectrum is Hermitian ==> operator is real.
# spectrum is shape [3] ==> operator is shape [3, 3]
# We force the input/output type to be real, which allows this to operate
# like a real matrix.
operator = LinearOperatorCirculant(spectrum, input_output_dtype=tf.float32)

operator.to_dense()
==> [[ 1, 1, 2],
     [ 2, 1, 1],
     [ 1, 2, 1]]

Hermitian 谱示例

# spectrum is shape [3] ==> operator is shape [3, 3]
# spectrum is Hermitian ==> operator is real.
spectrum = [1, 1j, -1j]

operator = LinearOperatorCirculant(spectrum)

operator.to_dense()
==> [[ 0.33 + 0j,  0.91 + 0j, -0.24 + 0j],
     [-0.24 + 0j,  0.33 + 0j,  0.91 + 0j],
     [ 0.91 + 0j, -0.24 + 0j,  0.33 + 0j]

当频谱为 Hermitian 时强制实数 dtype 的示例

# spectrum is shape [4] ==> operator is shape [4, 4]
# spectrum is real ==> operator is self-adjoint
# spectrum is Hermitian ==> operator is real
# spectrum has positive real part ==> operator is positive-definite.
spectrum = [6., 4, 2, 4]

# Force the input dtype to be float32.
# Cast the output to float32.  This is fine because the operator will be
# real due to Hermitian spectrum.
operator = LinearOperatorCirculant(spectrum, input_output_dtype=tf.float32)

operator.shape
==> [4, 4]

operator.to_dense()
==> [[4, 1, 0, 1],
     [1, 4, 1, 0],
     [0, 1, 4, 1],
     [1, 0, 1, 4]]

# convolution_kernel = tf.signal.ifft(spectrum)
operator.convolution_kernel()
==> [4, 1, 0, 1]

性能

假设 operator 是形状为 [N, N] 和 x.shape = [N, R] 的 LinearOperatorCirculant。然后

• operator.matmul(x) 是 O(R*N*Log[N])
• operator.solve(x) 是 O(R*N*Log[N])
• operator.determinant() 涉及大小 N reduce_prod 。

如果相反 operator 和 x 具有形状 [B1,...,Bb, N, N] 和 [B1,...,Bb, N, R] ，则每个操作的复杂性都会增加 B1*...*Bb 。

矩阵属性提示

此 LinearOperator 使用 is_X 形式的布尔标志初始化，用于 X = non_singular, self_adjoint, positive_definite, square 。它们具有以下含义：

• 如果 is_X == True ，调用者应该期望操作符具有属性 X 。这是一个应该实现的承诺，但不是运行时断言。例如，有限的浮点精度可能会导致违反这些承诺。
• 如果 is_X == False ，调用者应该期望操作符没有 X 。
• 如果is_X == None(默认)，调用者应该没有任何期望。

参考：

Toeplitz 和循环矩阵 - 评论：灰色，2006 年 (pdf)