Mehrdimensionale lineare Regression/Gradientenabstieg und Fehlerfunktion

Einführung

In dieser Lerneinheit wird das gezeigt, wie man das Gradientenabstiegsverfahren auf die Fehlerfunktion von Daten anwenden kann. Daher benötigt man als Lernvoraussetzung allgemein eine affines Problem in ein lineares tranformieren kann und bei der Zerlegung in Komponentenfunktionen im Kern ein Optimierungsverfahren für Abbildungen $f_a:{ℝ}^n\to ℝ$ mit einem gesuchten $a\in {ℝ}^n$ verwandeln kann. An dieser geht es um die Anwendung des Gradientenabstiegs auf die Fehlerfunktion von $f_a$.

Lernvoraussetzungen

• Daten und Abbildungen - (Foliensatz)
  • Affine Abbildung in R
  • Rechenbeispiel
• Transformation - affin zu linear
• Zerlegung einer linearen Abbildung in Komponentenfunktionen
• Regression für Komponentenfunktion - exakte Lösung und Approximation
• Gradient - lineares Funktional - (Foliensatz)

Gradientenabstiegsverfahren und Fehlerfunktion

Ziel des Optimierungsproblems ist es, den Fehler bei mehrdimensionalen linearen Regression zu minimieren. In dem folgende Abschnitt wird das über das Gradientenabstiegsverfahren umgesetzt.

Bemerkung - Aggregation der absoluten Fehler über alle Daten

Bei der Berechnung des Gesamtfehlers über alle Daten macht es Sinn, dass man nicht die absoluten Fehler aufsummiert (da diese mit einem Vorzeichen) versehen sind, sondern Werte als Abweichung von den Daten aufsummiert, die nicht negativ sind. Der Betrag des absoluten Fehlers ist allerdings das Gradientenabstiegsverfahren ungeeignet, da die Betragsfunktion nicht differzierbar ist. Daher verwendet man für die Minimierung Fehlerquadrate.

Partielle Ableitungen des quadratischen Fehlers 1

Für ein lineares Funktional $f_a:{ℝ}^n\to ℝ$ und einem einzelnen Datenpunkt $(x,y)=(x_1,\dots ,x_n,y)\in {ℝ}^{n+1}$ kann man mit $f_a(x)=⟨a,x⟩$ ergibt sich der quadratische Fehler wie folgt:

$e_{{}_{LR1}}(a,x,y{)}^2=(f_a(x)-y{)}^2=(⟨a,x⟩-y{)}^2$

Partielle Ableitungen des quadratischen Fehlers 2

Für den Gradienten ${\mathrm{Grad}}_a(e_{{}_{LR}}^2)$ bzgl. der unbekannten Koeffizienten aus $a=(a_1,\dots ,a_n)\in {ℝ}^n$ benötigt man die partiellen Ableitungen $\frac{\partial e_{{}_{LR1}}^2}{\partial a_k}(a,x,y)$ der Fehlerquadrate. Mit der Kettenregel ergibt sich für diese partielle Ableitung mit $k\in \{1,\dots ,n\}$ wie folgt:

$\frac{\partial e_{{}_{LR}}^2}{\partial a_k}(a,x,y)=2\cdot (f_a(x)-y)\cdot x_k$

wobei $x_k$ die innere Ableitung von $⟨a,x⟩-y=(\sum _{i=1}^n{a}_i\cdot x_i)-y$ nach $a_k$ ist.

Gradient des quadratischen Fehlers 1

Der Gradient ${\mathrm{Grad}}_a(e^2)$ des quadratischen Fehlers ergibt sich aus den partiellen Ableitungen bzgl. der Argumente $a=(a_1,\dots ,a_n)$. Die weiteren Argumente $x$ und $y$ des quadratischen Fehlers $e^2$ werden durch die Trainingsdaten belegt. Da die Definition des Gradienten i.d.R. auf alle Argumente der Funktion bezieht, wird hier in der Definition ${\mathrm{Grad}}_a(e^2)$ statt $\mathrm{Grad}(e^2)$ verwendet.

Gradient des quadratischen Fehlers 2

Der Gradient ${\mathrm{Grad}}_a(e^2)$ des quadratischen Fehlers für einen einzelnen Datenpunkt $(x,y)=(x_1,\dots ,x_n,y)\in {ℝ}^{n+1}$ ergibt sich damit wie folgt.

$\begin{array}{ccc}{\mathrm{Grad}}_a(e^2)(a,x,y)& =& (\frac{\partial e^2}{\partial a_1}(a,x,y),\dots ,\frac{\partial e^2}{\partial a_n}(a,x,y))\\ & =& (2\cdot (f_a(x)-y)\cdot x_1,\dots ,2\cdot (f_a(x)-y)\cdot x_k)\\ & =& 2\cdot (f_a(x)-y)\cdot (x_1,\dots ,x_k)\\ & =& 2\cdot (f_a(x)-y)\cdot x\end{array}$

CAS4Wiki - Partielle Ableitungen

Mit CAS4Wiki können Sie die obigen Ableitung berechnen, siehe z.B. partielle Ableitungen

Beispiel

Für folgenden Vektor $a\in {ℝ}^3$ definiert man eine Abbildung $f_a:{ℝ}^3\to ℝ$:

$a=\left(\begin{array}{c}1\\ 3\\ 7\end{array}\right),x=\left(\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right)$

Es ergibt sich daher die folgende lineare Funktion:

$\begin{array}{ccc}{f}_a(x)& =& ⟨a,x⟩=1\cdot x_1+3\cdot x_2+7\cdot x_3\end{array}$

Bemerkung - Komponentenfunktionen

Die hier betrachteten linearen Funktionen $f_a:{ℝ}^3\to ℝ$ entstehen aus einer linearen Abbildung $f(x):=A\cdot x$ durch Zerlegung in Komponentenfunktionen.

Daten

Demo Daten

$x_1$	$x_2$	$x_3$	$y$
1	2	3	16.1
2	3	1	22.3
7	0	4	25.9
7	6	5	56.6

Vektoren in R

Die Vektoren werden in GNU R wie folgt definiert:

x1 <- c(1,2,7,7) 
x2 <- c(2,3,0,6)
x3 <- c(3,1,4,5)
y <- c(16.1,22.2,25.9,56.6)

Daten in Dataframe speichern

Aus den obigen Daten erzeugt man $x_{𝔻}$ und $y_{𝔻}$ als Dataframes und ein Dataframe $daten$ zum Speichern.

## x Vektoren aus dem IR^3
x_D  <- data.frame(x1,x2,x3)
## y Vektoren aus dem IR^1
y_D  <- data.frame(y)

## Dataframe (x1,x2,x3,y)
daten <- data.frame(x1,x2,x3,y)

## Daten in Datei schreiben
write.csv(daten, "daten3x1.csv", row.names = FALSE)

Gradient des Fehlers

Für $x:=(1,2,3)$ und $y=16.1$ ist der Gradient des quadratischen Fehlers mit $a:=(3,5,1)$

$\begin{array}{ccc}{\mathrm{Grad}}_a(e^2)(a,x,y)& =& 2\cdot (f_a(x)-y)\cdot x=2\cdot (⟨a,x⟩-y)\cdot x\\ & =& 2\cdot (⟨\left(\begin{array}{c}3\\ 5\\ 1\end{array}\right),\left(\begin{array}{c}1\\ 2\\ 3\end{array}\right)⟩-16.1)\cdot \left(\begin{array}{c}1\\ 2\\ 3\end{array}\right)\\ & =& 2\cdot (16-16.1)\cdot x=\left(\begin{array}{c}-0.2\\ -0.4\\ -0.6\end{array}\right)\end{array}$

Berechnung des Gradienten in R

## x ist erste Zeile aus x_D im IR^3
a <- c(3,5,1)
x <- x_D[1, ] ## erste Zeile der x-Daten x=(1,2,3)
y <- y_D[1, ] ## erste Zeile der y-Daten y=16.1

### Gradient des Einzelfehlers berechnen
grad4fehler <- 2*(sum(a*x)-y) * x

Gesamtfehler des mehrdimensionalen Regression

Für die Berechnung des Gesamtfehlers der muss man die quadratischen Fehler über alle Datenpunkte aggregrien. Die Daten $𝔻$ für die mehrdimensionale lineare Regression bestehen aus Datenpunkten der Form $(x^{(i)},y^{(i)})\in {ℝ}^n\times {ℝ}^m$:

$𝔻:=\{(x^{(i)},y^{(i)})\in {ℝ}^n\times {ℝ}^m:i\in \{1,\dots ,d\}\}$

Wertebereich - eindimensional

Im Folgenden verwendet man Daten mit einen eindimensionalen Wertebereich und einer linearen Funktion $f_a:{ℝ}^n\to ℝ$. Daher liegen die Daten in folgender Form vor.

$𝔻:=\{(x^{(i)},y^{(i)})\in {ℝ}^n\times ℝ:i\in \{1,\dots ,d\}\}$

Berechnung des Gesamtfehlers

Für die Berechnung des Gesamtfehlers $E_{LR}(a,𝔻)$ werden die quadratischen Fehler für einzelne Datenpunkte $(x^{(i)},y^{(i)})\in 𝔻$ aufsummiert mit $x_{𝔻}:=(x^{(1)},\dots ,x^{(d)})$ und $y_{𝔻}:=(y^{(1)},\dots ,y^{(d)})$.

$\begin{array}{ccc}{E}_{LR}(a,x_{𝔻},y_{𝔻})& :=& \sum _{i=1}^{d}e(a,x^{(i)},y^{(i)}{)}^2\\ & =& \sum _{i=1}^d{(⟨a,x^{(i)}⟩-y^{(i)})}^2\end{array}$

Datenbeispiel

Mehrdimensionale lineare Regression soll als Optimierungsproblem für folgende lineare Abbildung $f_a$ mit $a=(a_1,a_2,a_3)\in {ℝ}^3$ und $x=(x_1,x_2,x_3)\in {ℝ}^3$ durchgeführt werden.

$f_a(x)=⟨a,x⟩=\sum _{k=1}^3{a}_k\cdot x_k$

Daten in R in einer CSV-Tabelle

Mit der obigen Dimension von Definitionsbereich und Wertebereich der lineare Abbildung $f_a:{ℝ}^3\to ℝ$ haben die tabellarischen Trainingdaten die folgenden Gestalt in einer Datei multilinreg1.csv

"x1" , "x2" , "x3" , "y"
1  , 2  , 3  , 16.05071 
2  , 3  , 1  , 22.06779 
7  , 0  , 4  , 24.96846
7  , 6  , 5  , 56.06086

Bemerkung - Fehler beim Laden der CSV

Achten Sie bei den Dateien darauf, dass die hinter der letzten Zeile der Daten noch ein "Return/Neue Zeile" steht, da sonst der letzte Datensatz in der CSV-Datei als unvollständig angesehen wird.

Laden der Daten in R aus einer CSV-Tabelle

Speichen Sie zunächst die obige Beispieldatei multlinreg1.csv in Ihr Verzeichnis mit dem KnitR-Dokument. Das Laden von Dateien in R und KnitR kann bzgl. der obigen Beispieldatei wie folgt geschehen:

  data <- read.csv("multlinreg1.csv", header=TRUE, stringsAsFactors=FALSE)

Selektieren der Daten für x- und y-Werte

Eine Tabelle enthält ggf. mehr Spalten als die elementare oben genannte Demodatei multlinreg1.csv. Daher muss man zunächst in R die relevanten Datenspalten für die x- und y-Werte der linearen Regression selektieren.

  data <- read.csv("multlinreg1.csv", header=TRUE, stringsAsFactors=FALSE)
  ## Spalten extrahieren für x_D
  x1 <- data[,1]
  x2 <- data[,2]
  x3 <- data[,3]
  ## Spalten extrahieren für y_D
  y1 <- data[,4] 
  ## Dataframes für die Fehlerfunktion
  x_D <- data.frame(x1,x2,x3)
  y_D <- data.frame(y1)

Implementation die quadratische Fehlerfunktion

Für die Implementation des Gesamtfehlers $E(a,x_{𝔻},y_{𝔻})$ in R verwendet man die geladenen Daten in data. Die Datenpunkte $(x^{(i)},y^{(i)})\in 𝔻$ liegen als Zeilen in der CSV-Datei vor.

  E_LR <- function (pa,px_D,py_D) {
    ## px_D : Dataframe - Liste von x-Vektoren   
    ## py_D : Dataframe - Liste von y-Werten
    ## pa : darstellender Vektor von f_a
    
    ## Fehler pro Datenpunkt 
    datenanzahl <- nrow(px_D)
    e_D <- rep(0,datenanzahl)
    ## Fehler für alle Datenpunkte berechnen 
    for (i in 1:datenanzahl) {
      ## quadratische Einfehler mit Funktion e 
      e_D[i] <- (sum(pa*px_D[i, ]) - py_D[i, ])^2
    } 
    ## Rückgabewert als aufsummierte Einzelfehler setzen
    return <-  sum(e_D) ## datenanzahl
    ## Rückgabewert: return  Gesamtfehler quadratisch
    return
  }

Bemerkung - Implementation Fehlerfunktion

Die obige Funktion $E$ in R berechnet die nachstehende Summe mit einer for-Schleife über die quadratischen Einzelfehler.

$\begin{array}{ccc}{E}_{{}_{LR}}(a,x_{𝔻},y_{𝔻})& :=& \sum _{i=1}^d\underset{\mathtt{=}{𝚎}_{{}_{𝙳}}\mathtt{[}𝚒\mathtt{]}}{\underbrace{{(\underset{𝚜𝚞𝚖\mathtt{(}𝚊\mathtt{\ast }{𝚡}_{𝙳}\mathtt{[}𝚒\mathtt{]}\mathtt{)}}{\underbrace{⟨a,x^{(i)}⟩}}-y^{(i)})}^2}}\end{array}$

Auswertung der quadratischen Gesamtfehlers

Bezogen auf die Beispieldaten in $𝔻$ kann nun den Fehler für unterschiedliche darstellende Vektoren $a\in {ℝ}^3$ berechnen.

  a <- c(2,3,2)
  E_LR(a,x_D,y_D) ## Ergebnis 260.6786

  a <- c(3,5,2)
  E_LR(a,x_D,y_D) ## Ergebnis 50.21575

Die zweite Setzung des darstellenden Vektors $a$ für die Funktion $f_a(x)=⟨a,x⟩$ hat damit einen kleineren Fehler.

Nächste Lerneinheit

• Fehlerminimierung und Lernrate

Siehe auch

• Affine Abbildung
• lineare Regression in R
• Kurs:Mehrdimensionale lineare Regression
• Kurs:Numerik I
• Gradient (Mathematik)
• Gradientenabstiegsverfahren
• Laden und Speichern von CSV-Dateien in R
• Kurs:Maschinelles Lernen