Linearna regresija

Ponazoritev premice linearne regresije

Regresija meri odvisnost dveh slučajnih spremenljivk - kakšen vpliv ima ena na drugo.

Na populaciji merimo 2 podatka, zanima nas vrsta odvisnosti med slučajnima spremenljivkama.

Razsevni grafikoni

1. in 2. : linearna regresija

Iščemo krivuljo ki bi se podatkom najboljše prilegala. Če je linearna regresija iščemo premico.

y = k*x+n

Glede na to kako bi krivulja »morala izgledati« začnemo graditi krivuljo ki se bo najbolje prilegala.

Zgledi

• Dnevna količina padavin in število gledalcev na nogometni tekmi.
• Starost in cena avtomobila.
• Število pokajenih cigaret in življenjska doba.

Linearna regresija

1. regresijska premica

$Y^{\prime }=a\cdot X+b=E(Y)+\frac{K(X,Y)}{D(X)}(X-E(X))$

Parametra a in b izberemo po metodi najmanjših kvadratov tako, da minimiziramo (pogledamo za vsako meritev koliko daleč navpično (y) leži od premice, vsota kvadratov vseh meritev mora biti čimmanjša).

$F(a,b)=\sum _{i=1}^n(Y_i-Y{\text{'}}_i{)}^2=\sum _{i=1}^n(Y_i-a\cdot X_i-b{)}^2$

$\frac{\partial F}{\partial a}(a,b)=0$

$\frac{\partial F}{\partial b}(a,b)=0$

2. regresijska premica

$X^{\prime }=E(X)+\frac{K(X,Y)}{D(Y)}(Y-E(Y))$

Drugo regresijsko premico dobimo tako, da minimiziramo vsoto kvadratov odstopanj v x smeri.

Regresijski premici tipično nista enaki.

$Y^{\prime }=\bar{Y}+\frac{\hat{k}(X,Y)}{(\hat{s}(X){)}^2}(X-\bar{X})$

$X^{\prime }=\bar{X}+\frac{\hat{k}(X,Y)}{(\hat{s}(Y){)}^2}(Y-\bar{Y})$

Definicija

$\hat{s}(X)=\sqrt{\frac{\sum (X_i-\bar{X}{)}^2}{n-1}}$

$\hat{k}(X,Y)=\frac{\sum (X_i-\bar{X})(Y_i-\bar{Y})}{n-1}$

Trditev

1. in 2. regresijska premica se sekata v točki (E(X),E(Y))