協方差的意義有哪些（協方差的定義及解釋詳解）

在概率論中，兩個隨機變量 X 與 Y 之間相互關系，大致有下列3種情景：

情景一,如上, 當 X, Y 的聯合分布像上圖那樣時，我們可以看出，大致上有： X 越大 Y 也越大， X 越小 Y 也越小，這種情景，我們稱為“正相關”。

情景二, 如上圖, 當X, Y 的聯合分布像上圖那樣時，我們可以看出，大致上有：X 越大Y 反而越小，X 越小 Y 反而越大，這種情景，我們稱為“負相關”。

情景三,如上圖, 當X, Y 的聯合分布像上圖那樣時，我們可以看出：既不是X 越大Y 也越大，也不是 X 越大 Y 反而越小，這種情景我們稱為“不相關”。

怎樣將這3種相關情景，用一個簡樸的數字表達出來呢？

在圖中的區域（1）中，有 X>EX ，Y-EY>0 ，所以(X-EX)(Y-EY)>0；

在圖中的區域（2）中，有 X<EX ，Y-EY>0 ，所以(X-EX)(Y-EY)<0；

在圖中的區域（3）中，有 X<EX ，Y-EY<0 ，所以(X-EX)(Y-EY)>0；

在圖中的區域（4）中，有 X>EX ，Y-EY<0 ，所以(X-EX)(Y-EY)<0。

當X 與Y 正相關時，它們的分布大部分在區域（1）和（3）中，小部分在區域（2）和（4）中，所以平均來說，有E(X-EX)(Y-EY)>0 。

當 X與 Y負相關時，它們的分布大部分在區域（2）和（4）中，小部分在區域（1）和（3）中，所以平均來說，有(X-EX)(Y-EY)<0 。

當 X與 Y不相關時，它們在區域（1）和（3）中的分布，與在區域（2）和（4）中的分布幾乎一樣多，所以平均來說，有(X-EX)(Y-EY)=0 。

所以，我們可以定義一個示意X, Y 相互關系的數字特征，也就是

協方差

cov(X, Y) = E(X-EX)(Y-EY)

當 cov(X, Y)>0時，表明X與Y正相關；

當 cov(X, Y)<0時，表明X與Y負相關；

當 cov(X, Y)=0時，表明X與Y不相關。

這就是協方差的意義。

另外補充：

求特征協方差矩陣，假如數據是3維，那么協方差矩陣是

這里只有x和y，求解得

對角線上分別是x和y的方差，非對角線上是協方差。協方差大于0示意x和y若有一個增，另一個也增；小于0示意一個增，一個減；協方差為0時，兩者獨立。協方差絕對值越大，兩者對彼此的影響越大，反之越小。