Kurs:Maschinelles Lernen/Lineare Regression in d Dimension

Vorherige Seite: K2 - Lineare Regression in einer Dimension
Nächste Seite: K2 - Feature Engineering

Verallgemeinerung auf $d$ Dimensionen

Wie lässt sich nun eine lineare Regression anwenden, wenn $X={ℝ}^d$ und $Y=ℝ$ vorliegt? In einem solchen Fall, kann für ein lineares Modell die Hypothese

$h_{\overrightarrow{w}}(\overrightarrow{x})=w_0+\sum _{k=1}^d{w}_k{x}_k=\sum _{k=0}^d{w}_k{x}_k$

mit $\overrightarrow{w}\in {ℝ}^{d+1}$, $\overrightarrow{x}\in {ℝ}^d$ und $x_0=1$ verwendet werden.

Darstellung als Skalarprodukt

Die obige Notation der Abbildung durch ein Skalarprodukt mit $\overrightarrow{x}=(x_1,\dots ,x_n)\in {ℝ}^d$, $x=(1,x_1,\dots ,x_n)\in {ℝ}^{d+1}$ und $\overrightarrow{w}=(w_0,w_1,\dots ,w_n)\in {ℝ}^{d+1}$ ausgedrückt werden:

$h_{\overrightarrow{w}}(\overrightarrow{x})=⟨\overrightarrow{w},x⟩=\sum _{k=0}^d{w}_k{x}_k=w_0\cdot 1+\sum _{k=1}^d{w}_k{x}_k$

Empirisches Risiko

Damit ist das empirische Risiko durch

$\hat{R}=\frac{1}{N}\sum _{i=1}^N(h_{\overrightarrow{w}}({\overrightarrow{x}}_i)-y_i{)}^2=\frac{1}{N}\sum _{i=1}^N{(\sum _{k=0}^d{w}_k{x}_{ik}-y_i)}^2$

gegeben und muss für alle Komponenten von $\overrightarrow{w}$ minimiert werden. Es müssen also alle Ableitungen von $\hat{R}$ nach $w_l$ für $l\in \{0,1,\dots ,d\}$ verschwinden. Daraus lassen sich die $l$ Bedinungen

$\sum _{k=0}^d{w}_{k}s(x_k,x_l)=s(y,x_l)$

herleiten. Bei diesen handelt es sich um ein lineares Gleichungssystem, das bspw. durch den Gauß-Algorithmus gelöst werden kann. Allerdings wird das Verfahren auf der nächsten Seite (Feature Engineering) so erweitert, dass keine linearen Systeme mehr auftreten, weshalb hier eine etwas andere Methode verwendet werden soll.

Gradienten-Abstiegsverfahren

Die Ableitungen des empirischen Risikos nach den einzelnen Parametern können auch als ein Vektor der Form

${\mathrm{\nabla }}_{\overrightarrow{w}}\hat{R}=\left(\begin{array}{c}\frac{\partial \hat{R}}{\partial w_0}\\ \frac{\partial \hat{R}}{\partial w_1}\\ ⋮\\ \frac{\partial \hat{R}}{\partial w_d}\end{array}\right)\in {ℝ}^{d+1}$

zusammen gefasst werden. Dieser Vektor wird als Gradient bezeichnet und zeigt in die Richtung des stärksten Anstiegs des empirischen Risikos. Damit zeigt sein negatives aber auch in jene Richtung, in der das empirische Risiko am stärksten abnimmt. Genau wie im Abschnitt über Ableitungen lässt sich so ein iteratives Verfahren für die Gewichte in der Form

${\overrightarrow{w}}^{(n+1)}={\overrightarrow{w}}^{(n)}-\eta {\mathrm{\nabla }}_{\overrightarrow{w}}\hat{R}({\overrightarrow{w}}^{(n)})$

aufstellen. Dieses wird als Gradientenabstieg bezeichnet. Die Proportionalitätskonstante $\eta$ wird als Lernrate bezeichnet und ist ein Hyperparameter. Typische Werte für die Lernrate liegen bei $\eta \approx 10^{-4}$. Die hier vorgestellte Iteration ist ein naiver Gradientenabstieg. Es kann passieren, dass dieser gar nicht oder nur sehr langsam zum gesuchten globalen Minimum führt. Stattdessen, kann auch ein stochastischer Gradientenabstieg mit einer Auswertung an einem einzelnen Datenpunkt oder mit einer Teilmenge des gesamten Datensatzes (einem Batch) durchgeführt werden. (Dann wird zwischen Iterationen und Epochen unterschieden: Iterationen sind die Anzahl der Updates der Gewichte, während die Zahl der Epochen angibt, wie oft der gesamte Datensatz zum Trainieren verwendet wurde)

Es lässt sich zeigen, dass bei einer linearen Regression der Gradient des empirischen Risikos mit der erweiterten Datenmatrix ${\underset{\_}{X}}^{\prime }$ und dem Ergebnisvektor $\overrightarrow{y}$ durch

${\mathrm{\nabla }}_{\overrightarrow{w}}\hat{R}({\overrightarrow{w}}^{(n)})=\frac{2}{N}\underset{\_}{X}{\text{'}}^T({\underset{\_}{X}}^{\prime }{\overrightarrow{w}}^{(n)}-\overrightarrow{y})$

dargestellt werden kann, wobei häufig der Faktor $\frac{2}{N}$ in der Praxis unterdrückt wird.