next up previous
Next: About this document ...

Lnuleg lkn

egar jafn fjldi mlinga er hverjum flokki sem liggur a baki fervikagreiningu er unnt a f einfld og gileg prf til a bera saman mealtl flokkanna. Fervikagreining er oft bygg ggnum sem eru annig a misjafn fjldi mlinga er flokkunum og einnig arf oft a nota samvikagreiningu, .e. ahvarfsgreiningu samt ttunum. vera jfnurnar flknari og tlkunin einnig. Oftast er gripi til ess rs a reyna einfaldlega a vinna me ``lnuleg lkn'' og finna tti og samfelldar breytur annig a lkan af gerinni


\begin{displaymath}
y_{ijk} = \mu + \alpha_i + \beta x + \gamma _ j x + e_{ijk}
\end{displaymath} (1)

tskri mlingarnar okkalega.

Lknin eru sett upp fylkjaformi, $\mathbf{y}=\mathbf{X}\boldsymbol{\beta} + \mathbf{e}$, oftast me v a sleppa dlkum $\mathbf{X}$ sem myndu gera dlkana lnulega ha (og setja tilsvarandi stk $\boldsymbol{\beta}$-vigrinum nll n ess a meta au frekar).

mynd 1 m sj myndrna framsetningu lnulegu lkani. Grunnlkani er hr $\mathbf{y}=\mathbf{X}\boldsymbol{\beta} + \mathbf{e}$ ar sem $\mathbf{X}$ er eitthvert fylki af strinni $n \times p$. Besta sp um $\mathbf{y}$ innan essa lkans fst me hornrttu ofanvarpi $\mathbf{y}$ plani sem spannast af dlkvigrum fylkisins $\mathbf{X}$. etta hornrtta ofanvarp tknum vi me $\hat{\mathbf{y}}$. ar sem ofanvarpi er $sp\{\mathbf{X}\}$, er a einhver lnuleg samantekt af dlkvigrum $\mathbf{X}$ og m v rita $\hat{\mathbf{y}}=\mathbf{X} \hat{\beta}$.

Figure 1: Lnuleg lkn.
\rotatebox{0}{\resizebox{12cm}{!}{
\includegraphics{linm1.ps}
}
}

Lausnin er velekkt, .e. $\hat{\beta}= \left ( \mathbf{X} ^T \mathbf{X} \right ) ^{-1}
\mathbf{X}^T \mathbf{y}$ og spin er $\hat{\mathbf{y}}=\mathbf{X}\boldsymbol{\hat{\beta}}=\mathbf{X}
\left ( \mathbf{X} ^T \mathbf{X} \right ) ^{-1} \mathbf{X}^T \mathbf{y}$. Metin frvik fr lkaninu vera $\hat{\mathbf{e}}=\mathbf{y} -
\hat{\mathbf{y}}=\mathbf{X}\boldsymbol{\hat{\beta...
...eft ( \mathbf{X} ^T \mathbf{X}
\right ) ^{-1} \mathbf{X}^T \right ) \mathbf{y}$.

Kvaratsumma frvika fr lkaninu er $SSE=\vert\vert\hat{\mathbf{e}}\vert\vert^2 =
\sum_i \left ( y_i - \hat{y}_i \right ) ^2$. egar veri er a ra um str (``Full'') lkn annars vegar og minni hins vegar, er $SSE$ tkna $SSE(F)$.

Nlltilgtur fjalla alltaf um, hvernig m ``minnka'' ea einfalda lkani, essu tilviki hvort megi fkka dlkum $\mathbf{X}$ ea annan htt fkka fjlda stula lkansins.

Mynd 2 snir, hvernig helstu kvaratsummur tveimur lnulegum lknum tengjast. Hr er grunnlkani eins og ur, $\mathbf{y}=\mathbf{X}\boldsymbol{\beta} + \mathbf{e}$, en kanna skal, hvort er hgt a einfalda lkani einhvern htt. Einfaldara lkani m tkna me $\mathbf{y}=\mathbf{Z} \gamma + \mathbf{e}$ ar sem $\mathbf{Z}$ er fylki me frri dlkum en $\mathbf{X}$ og er annig a dlkarnir $\mathbf{Z}$ spanna hlutrm af v sem dlkarnir $\mathbf{X}$ spanna.

Figure: Samanburur tveggja lnulegra lkana. Nlltilgtan segir a rita megi $\mathbf{y}=\mathbf{Z}\boldsymbol{\gamma}+\mathbf{e}$ ar sem dlkvigrarnir $\mathbf{Z}$ spanna hlutrm af $sp\{\mathbf{X}\}$.
\rotatebox{0}{\resizebox{16cm}{!}{
\includegraphics{xv.ps}
}
}

Dmigert vri a grunnlkani vri af gerinni $y_i=\alpha + \beta x_i + e_i$ og prfa tti nlltilgtuna $H_0: \beta = 0$ essu tilviki verur fylkjaformi


$\displaystyle \mathbf{X}=
\left ( \begin{array}{rr}
1 & x_1 \\
1 & x_2 \\
1 &...
...\cdot& \cdot \\
\cdot& \cdot \\
\cdot& \cdot \\
1 & x_n
\end{array} \right )$     (2)

Eins og ur verur lkani fylkjaformi $\mathbf{y}=\mathbf{X}\boldsymbol{\beta} + \mathbf{e}$ Ef nlltilgtan er rtt verur lkani hins vegar $\mathbf{y}=\mathbf{Z}\boldsymbol{\gamma}+\mathbf{e}$, ar sem


$\displaystyle \mathbf{Z}=
\left ( \begin{array}{r}
1 \\
1 \\
1 \\
\cdot \\
\cdot \\
\cdot \\
1
\end{array} \right ).$     (3)

Almennt m reikna kvaratsummurnar $SSE(F)$ eins og a ofan og reikna san kvaratsummuna fr minna lkaninu, $SSE(R)=\vert\vert\mathbf{y}-\mathbf{Z}\boldsymbol{\hat{\gamma}}\vert\vert^2$. Tknum tilsvarandi frgrur me $df(F)$ og $df(R)$, og gerum r fyrir v a bi $\mathbf{Z}$ og $\mathbf{X}$ su me fulla myndvdd (rank), .e. $rank(\mathbf{X})=p$ og $rank(\mathbf{Z})=r$. fst a $df(F)=n-p$ og $df(R)=n-r$. Nlltilgtuna m a lokum prfa me v a reikna

\begin{displaymath}
F= \frac{(SSE(R)-SSE(F))/(p-r)}
{SSE(F)/(n-p)}
\end{displaymath} (4)

sem kemur r F-dreifingu me $p-r$ og $n-p$ frgrum ef nlltilgtan er rtt.

etta m sj betur me v a skrifa upp einingargrunn, $\{\mathbf{u}_1, \ldots, \mathbf{u}_n\}$ fyrir $\mathbf{R}^n$, sem er byggur upp annig a fyrstu vigrarnir $\mathbf{u}_1, \ldots , \mathbf{u}_r$ spanna $sp\{\mathbf{Z}\}$, nstu vigrar, $\mathbf{u}_{r+1}, \ldots , \mathbf{u}_p$ eru valdir annig a $\mathbf{u}_1, \ldots , \mathbf{u}_p$ spanna $sp\{\mathbf{X}\}$, og restin, $\mathbf{u}_{p+1}, \ldots , \mathbf{u}_n$ er valin annig a $\mathbf{u}_1, \ldots , \mathbf{u}_n$ spannar $\mathbf{R}^n$. etta er alltaf hgt me Gram-Schmidt afer.

m skrifa

$\displaystyle \mathbf{Z}\boldsymbol{\hat{\gamma}}=\hat{\zeta}_{1}\mathbf{u}_1+ \ldots \hat{\zeta}_{r}\mathbf{u}_r$     (5)
$\displaystyle \mathbf{X}\boldsymbol{\hat{\beta}} =\hat{\zeta}_{1}\mathbf{u}_1+ ...
...bf{u}_r + \hat{\zeta}_{r+1}\mathbf{u}_{r+1}+ \ldots \hat{\zeta}_{p}\mathbf{u}_p$     (6)
$\displaystyle \mathbf{y} =\hat{\zeta}_{1}\mathbf{u}_1+ \ldots \hat{\zeta}_{r}\m...
...bf{u}_p + \hat{\zeta}_{p+1}\mathbf{u}_{p+1}+ \ldots \hat{\zeta}_{n}\mathbf{u}_n$     (7)

og vi fum


$\displaystyle SSE(F)$ $\textstyle = \vert\vert\mathbf{y}-\mathbf{X}\boldsymbol{\hat{\beta}}\vert\vert^2$ $\displaystyle =\sum_{i=p+1}^{n} \hat{\zeta}_i^2$ (8)
$\displaystyle SSE(F)-SSE(R)$ $\textstyle = \vert\vert\mathbf{Z}\boldsymbol{\hat{\gamma}}-\mathbf{X}\boldsymbol{\hat{\beta}}\vert\vert^2$ $\displaystyle =\sum_{i=r+1}^{p} \hat{\zeta}_i^2$ (9)
$\displaystyle SSE(R)$ $\textstyle = \vert\vert\mathbf{y}-\mathbf{Z}\boldsymbol{\hat{\gamma}}\vert\vert^2$ $\displaystyle = \sum_{i=r+1}^{n} \hat{\zeta}_i^2$ (10)

N er hvert $\hat{\zeta}_i$ hnit einingargrunni og v er $\hat{\zeta}_i=\mathbf{y}\cdot \mathbf{u}_i$. egar $Y_i$ eru har normaldreifar hendingar vera $\hat{\zeta}_i$ lka har. Afleiing af essu er s, a kvaratsummurnar tengjast $\sigma^2\cdot\chi^2$-dreifingum elilegan htt.




next up previous
Next: About this document ...
Gunnar Stefansson 2000-10-29