Kovariančna matrika

Kovariančna matrika (oznaka $Σ$ ) (tudi variančno-kovariančna matrika) je matrika, katere elementi so kovariance i-tega in j-tega elementa vektorja slučajne spremenljivke.

Definicija

Označimo z $\vec{X}$ stolpični vektor

\vec{X} = [\begin{matrix} X_{1} \\ ⋮ \\ X_{n} \end{matrix}]

kjer so $X_{n}$ posamezne komponente slučajne spremenljivke, ki imajo končno varianco.

Kovariančna matrika $Σ$ , ki ima za elemente kovariance tako, da je

Σ_{i j} = c o v (X_{i}, X_{j}) = E [\begin{matrix} (X_{i} - μ_{i}) (X_{j} - μ_{j}) \end{matrix}]

kjer je

Iz tega sledi, da kovariančno matriko lahko zapišemo kot

Σ = [\begin{matrix} E [(X_{1} - μ_{1}) (X_{1} - μ_{1})] & E [(X_{1} - μ_{1}) (X_{2} - μ_{2})] & \dots & E [(X_{1} - μ_{1}) (X_{n} - μ_{n})] \\ E [(X_{2} - μ_{2}) (X_{1} - μ_{1})] & E [(X_{2} - μ_{2}) (X_{2} - μ_{2})] & \dots & E [(X_{2} - μ_{2}) (X_{n} - μ_{n})] \\ ⋮ & ⋮ & ⋱ & ⋮ \\ E [(X_{n} - μ_{n}) (X_{1} - μ_{1})] & E [(X_{n} - μ_{n}) (X_{2} - μ_{2})] & \dots & E [(X_{n} - μ_{n}) (X_{n} - μ_{n})] \end{matrix}] .

.

Obratno matriko kovariančne matrike $Σ^{- 1}$ imenujejo tudi matrika natančnosti.

Kovariančno matriko imenujemo tudi variančno-kovariančna matrika, ker velja

Σ_{X} = var (\vec{X}) = var (\begin{matrix} X_{1} \\ ⋮ \\ X_{p} \end{matrix}) = (\begin{matrix} var (X_{1}) & cov (X_{1} X_{2}) & \dots & cov (X_{1} X_{p}) \\ cov (X_{2} X_{1}) & ⋱ & \dots & ⋮ \\ ⋮ & ⋮ & ⋱ & ⋮ \\ cov (X_{P} X_{1}) & \dots & \dots & var (X_{p}) \end{matrix}) = (\begin{matrix} σ_{x_{1}}^{2} & σ_{x_{1} x_{2}} & \dots & σ_{x_{1} x_{p}} \\ σ_{x_{2} x_{1}} & ⋱ & \dots & ⋮ \\ ⋮ & ⋮ & ⋱ & ⋮ \\ σ_{x_{p} x_{1}} & \dots & \dots & σ_{x_{p}}^{2} \end{matrix})

kjer je

$var (\vec{X})$ varianca vektorja $\vec{X}$
$cov$ kovarianca komponent $X_{i}$ in $X_{j}$
$σ_{n}$ varianca n-te komponente vektorja (na glavni diagonali so same variance, izven diagonale pa so kovariance). Zaradi tega ima matrika tudi ime variančno-kovariančna matrika.

Zgornja definicija je enakovredna zapisu

Σ = E [(X - E [X]) {(X - E [X])}^{⊤}]

.

Ta zapis lahko smatramo za posplošitev skalarne oblike variance na višje razsežnosti. Pri tem velja za slučajno spremenljivko s skalarnimi vrednostmi

σ^{2} = v a r (X) = E [(X - μ)^{2}],

kjer je

Za kovariančno matriko $Σ$

$Σ = E (𝐗 𝐗^{⊤}) - μ μ^{⊤}$
$Σ$ je pozitivno semidefinitna matrika (to pomeni, da je simetrična).
$var (𝐀 𝐗 + 𝐚) = 𝐀 var (𝐗) 𝐀^{⊤}$
$cov (𝐗, 𝐘) = cov (𝐘, 𝐗)^{⊤}$
$cov (𝐗_{1} + 𝐗_{2}, 𝐘) = cov (𝐗_{1}, 𝐘) + cov (𝐗_{2}, 𝐘)$
kadar velja p = q, potem je $var (𝐗 + 𝐘) = var (𝐗) + cov (𝐗, 𝐘) + cov (𝐘, 𝐗) + var (𝐘)$
$cov (𝐀 𝐗, 𝐁^{⊤} 𝐘) = 𝐀 cov (𝐗, 𝐘) 𝐁$
kadar sta $𝐗$ in $𝐘$ neodvisna, velja tudi $cov (𝐗 𝐘) = 0$ .