这个矩阵乘法的观点看起来很奇怪，但是当我们研究矩阵分解时就变得非常重要。
逆
矩阵A的逆矩阵定义为:
属性：
注意：仅当A和B可逆时，上述才为真。即使A是非方形矩阵也不是这样。（逆矩阵假设A是n × n方阵。）为了求解线性方程组Ax = b，我们可以将A的逆矩阵与b相乘以求解x。
如果A不可逆，则此方法失败。我们需要一些其他方法，如高斯消元法来解它。我们在左侧引入上面的逆 - 左逆。如果它在右侧引入，则称为右逆。
对于方形矩阵，两者都是相同的，我们只称它为逆。
然而，即使逆矩阵在文献中似乎无处不在，但在实践中我们要避免对任意矩阵求逆。在机器学习(ML)中，我们处理许多稀疏矩阵——一个主要由零值元素组成的矩阵。由于空间和计算复杂性，稀疏矩阵的逆是密集的并且不太理想。此外，逆矩阵在数值上可能是不稳定的——输入中的一个小的不精确或误差可能触发一个大的误差。
奇异矩阵
那么什么矩阵不是可逆的呢?奇异(退化)矩阵是不具有逆的方形矩阵。下列方程计算一个3×3的逆矩阵。
对于存在的逆，行列式不能为0。例如，下面的矩阵是奇异矩阵。
它的行列式等于0.因此，它没有逆。
行空间和列空间
可以将向量分组以形成向量空间。Rⁿ是包含所有n维实数向量的向量空间。空间可以划分为子空间以供进一步研究。例如，R³是3-D空间，平面是R³的子空间。
根据定义，如果u和v在一个空间中，u v和cu(其中c是常数)必须在同一个空间中。这个定义也适用于子空间。这是一个非常抽象的定义。它不局限于向量。事实上，包括多项式函数在内的许多对象可以形成一个空间。例如，任意阶的多项式函数构成一个空间。两个x的多项式函数相加仍然是一个多项式。
列向量的所有线性组合的集合构成一个子空间，称为矩阵A的列空间(column space)或列张成(column span)，用符号CoI(A)表示。
如果上面的所有列向量都是线性无关的，那么列空间张成整个三维空间。但是，上面的列向量是线性相关的。第三列向量是前两列的线性组合。
