矩阵乘以其矩阵转置「建议收藏」

在推导公式和计算中，常常能碰到矩阵乘以其矩阵转置，在此做个总结。

1.假设矩阵A是一个 $m\ast n$ 矩阵，那么
A ∗ A T A*A^T A∗AT 得到一个 $m\ast m$ 矩阵， A T ∗ A A^T*A AT∗A 得到一个 $n\ast n$ 的矩阵，这样我们就能得到一个方矩阵。
看一个例子:

$X\theta =H$ 求解$\theta$.
X T X θ = X T H X^TX\theta =X^TH XTXθ=XTH 这个矩阵X我们不能确定是否是方矩阵，所以我们在其左侧同时乘以X矩阵的转置，这样 就在$\theta$ 的左侧得到一个方矩阵。
X T X ) − 1 X T X θ = X T X ) − 1 X T H X^TX)^{-1}X^TX\theta =X^TX)^{-1}X^TH XTX)−1XTXθ=XTX)−1XTH 再在等式的两边乘以 X T X X^TX XTX的逆，就变成了单位矩阵$I$和$\theta$相乘，这样我们就得到了$\theta$的解:
θ = X T X ) − 1 X T H \theta=X^TX)^{-1}X^TH θ=XTX)−1XTH

2.对称矩阵
如果方阵A满足 A T = A A^T=A AT=A,就称A为对称矩阵。
假设 A = X T X A=X^TX A=XTX,A的转置 A T = X T X ) T = X T X = A A^T=X^TX)^T=X^TX=A AT=XTX)T=XTX=A,所以我们可以说 X T X ) X^TX) XTX)是一个对称矩阵。对称矩阵的特征向量两两正交。 ¹

3.奇异值分解SVD)
我们可以用与A相关的特征分解来解释A的奇异值分解。A的左奇异向量是 A A T AA^T AAT的特征向量，A的右奇异向量是 A T A A^TA ATA的特征向量，A的非零奇异值是 A T A A^TA ATA特征值的平方根，同时也是 A A T AA^T AAT特征值的平方根。 ²

Reference:

---

1. https://blog.csdn.net/BingeCuiLab/article/details/47209037 ↩︎

2. Goodfellow I, Bengio Y, Courville A, et al. Deep learning[M]. Cambridge: MIT press, 2016. ↩︎