Quelltext der Seite Gradientenabstiegsverfahren/Gradient - lineares Funktional



== Einleitung ==
Diese Seite zum Thema ''Gradientenabstiegsverfahren/Gradient - lineares Funktional'' kann als '''[https://niebert.github.io/Wiki2Reveal/wiki2reveal.html?domain=wikiversity&title=Gradientenabstiegsverfahren/Gradient%20-%20lineares%20Funktional&author=Kurs:Gradientenabstiegsverfahren&language=de&audioslide=yes&shorttitle=Gradient%20-%20lineares%20Funktional&coursetitle=Kurs:Gradientenabstiegsverfahren Wiki2Reveal Folien]''' angezeigt werden.
Einzelne Abschnitte werden als Folien betrachtet und Änderungen an den Folien wirken sich sofort auf den Inhalt der Folien aus.
Dabei werden die folgenden Teilaspekte im Detail behandelt:
* (1) Ausgangspunkt ist eine lineare Abbildung <math>f:\mathbb{R}^n \to \mathbb{R}^m </math> die in <math>m</math> [[Mehrdimensionale lineare Regression/Komponentenfunktionen|Komponentenfunktionen]] zerlegt wird.
* (2) auf die Komponentenfunktionen wird ein erweitertes Gradientenabstiegsverfahren angewendet

== Zielsetzung ==
Diese Lernressource wird  ''[[Gradient (Mathematik)|Gradient]] eines lineares Funktional'' adressiert und diesen auf ein [[Gradientenabstiegsverfahren]] anzuwenden. Dabei erweitert man das Standardverfahren, um eine Minimierung in [[Gradient (Mathematik)|Gradientenrichtung]]. Dieses wertet die Fehlerfunktion in Richtung des normierten [[Gradient (Mathematik)|Gradienten]] an endlich vielen Stellen aus und wählt den nächsten Schritt in Abhängigkeit von dem Minimum der Fehlerfunktion.

== Lernvoraussetzungen ==
Die Lernressource zum Thema  ''Gradientenabstiegsverfahren/Gradient - lineares Funktional'' hat die folgenden Lernvoraussetzungen, die zum Verständnis der nachfolgenden Ausführungen hilfreich bzw. notwendig sind.
* [[Mehrdimensionale lineare Regression/Komponentenfunktionen|Zerlegung einer lineare Funktionen in Komponentenfunktionen]]
* [[Gradient (Mathematik)|Gradient]] und partielle Ableitungen


== Gradientenabstieg für lineares Funktional ==
Wendet man das [[Gradientenabstiegsverfahren]] auf ein lineares Funktional <math>f_a: \mathbb{R}^n \to \mathbb{R}</math> wird bei der aktuellen Position der [[Gradient (Mathematik)|Gradient]] der Fehlerfunktion berechnet und der aktuelle Vektor <math>a^{(t)}\in \mathbb{R}^3 </math> in Richtung des negativen Gradient zu <math>a^{(t+1)}\in \mathbb{R}^3 </math> verändert, um den Gesamtfehler zu verkleinern. 

=== Definition des linearen Funktionals ===
Das lineare Funktional sei über das Skalarprodukt wie folgt definiert:
:<math>
\begin{array}{rrcl} 
   f_a: & \mathbb{R}^n  & \rightarrow &  \mathbb{R} \\ 
       &  x  & \mapsto & f_a(x)=\langle a, x \rangle 
  \end{array} 
</math> 

=== Partielle Ableitung eines linearen Funktionals ===
Mit <math>f_a(x)= \langle a, x \rangle = \sum_{k=1}^{n} a_k\cdot x_k </math> gilt:
:<math> 
 \frac{\partial f_a}{\partial a_k}(x) =
 \frac{\partial \left( \displaystyle \sum_{k=1}^{n} a_k\cdot x_k \right) }{ \partial a_k } = x_k
 </math>
Diese partielle Ableitung tritt bei der Ableitung der Fehlerfunktion mit quadratischem Fehler als innere Ableitung auf.

=== Daten für die Regression ===
Die Daten <math>\mathbb{D}</math> für die [[mehrdimensionale lineare Regression]] bestehen aus Datenpunkten der Form <math>(x^{(i)},y^{(i)}) \in \mathbb{R}^n \times \mathbb{R} </math>:
:<math>
  \mathbb{D}:= \left\{ (x^{(i)},y^{(i)}) \in \mathbb{R}^n \times \mathbb{R} \ \colon \ i \in \{1,\ldots , d\}\right\}
</math>

=== Fehler für Datenpunkt ===
Für einen einzelnen Datenpunkt <math>(x,y)=(x_1,\ldots ,x_n,y)\in \mathbb{R}^{n+1}</math> kann man mit <math>f_a(x)=\langle a, x\rangle </math>  jeweils den Fehler wie folgt angeben:
:<math>e_{_{LR}}(a,x,y) := f_a(x) - y = \langle a, x\rangle - y </math>

=== Bemerkung - Fehler ===
Der Fehler ist reellwertig und kann auch negativ sein. Das bedeutet, dass der durch <math>f_a(x)= \langle a, x\rangle  </math> geliefert Wert zu klein im Vergleich zu <math>y\in \mathbb{R}</math> ist. Bei der Aggregation von reellwertigen Fehlern <math> e_{_{LR}}(a,x,y)\in \mathbb{R} </math> können sich positive Fehler und negative Fehler bei der Aggregation ausgleichen und ein Gesamtfehler von 0 kann dann nicht als fehlerfrei Regression interpretiert werden.

=== Aggregation von Einzelfehlern zu Fehlerfunktion ===
Die obige Fehlerfunktion <math>e_{_{LR}}</math> berechnet den reellwertigen Fehler von einem Datenvektor <math> x^{(k)} \in \mathbb{R}^n </math> bzgl. einem Sollwert <math>y^{(k)} \in \mathbb{R}</math>.  Der quadratische Fehler <math>e_{_{LR}}^2 </math> ist nicht negativ und der Gesamtfehler wird für alle <math>d\in \mathbb{N}</math> Datenpunkte aufsummiert.
:<math> 
 \begin{array}{rcl}
E_{_{LR}}(a,x_\mathbb{D} , y_\mathbb{D})  
& := &  \displaystyle
 \sum_{k=1}^d 
\underbrace{( f_a(x^{(k)}) - y^{(k)} )^2 }_{\geq 0}   

  \\ 
& = & 
 \underbrace{ \displaystyle
 \sum_{k=1}^d 
\left( \left\langle a, x^{(k)} \right\rangle  - y^{(k)} \right)^2 }_{\geq 0}   
  \\ 
 \end{array} 
</math>

=== Fehlerfunktion für Datenvektoren ===
Die quadratische Fehlerfunktion <math>
   E_{_{LR}}(a,x_\mathbb{D} , y_\mathbb{D}) = \sum_{k=1}^d ( f_a(x^{(k)}) - y^{(k)} )^2   
</math> hängt von den Daten (also den Vektoren <math> x^{(k)} \in \mathbb{R}^n </math> und reellen Sollwerten <math> y^{(k)}  \in \mathbb{R} </math> ab:
:<math>
 x_\mathbb{D} := \left( x^{(1)} , \ldots , x^{(d)} \right) 
 \quad
 y_\mathbb{D} := \left( y^{(1)} , \ldots , y^{(d)} \right) 
</math>

=== Bemerkung - Differenzierbarkeit - Betragsfunktion ===
Man könnte die Fehlerfunktion auch mit dem Betrag  wie folgt definieren:
<math>
   E(a,x_\mathbb{D} , y_\mathbb{D}) := \sum_{k=1}^d | f_a(x^{(k)}) - y^{(k)} |   
</math>. Die Betragsfunktion ist allerdings in 0 nicht differenzierbar. Daher wird der quadratische Fehler verwendet.

=== Gradient des Gesamtfehlers ===
Mit der Anwendung der Summenregel für den [[Gradient (Mathematik)|Gradienten]] einer Summe man den Gradienten des Gesamtfehlers wie folgt berechnen.
:<math>
\begin{array}{rcl}
\operatorname{Grad}_a(E_{_{LR}})(a,x_\mathbb{D},y_\mathbb{D}) 
& = & \displaystyle 
 \sum_{k=1}^d  \operatorname{Grad}_a(e_{_{LR}}^2)\left( a, x^{(i)} , y^{(i)} \right) \\
& = & \displaystyle 
 \sum_{k=1}^d \underbrace{2 \cdot  (f_a(x^{(i)}) - y^{(i)})  \cdot x^{(i)}}_{=\operatorname{Grad}_a(e_{_{LR}}^2)\left( a, x^{(i)} , y^{(i)} \right) } \\
& = & \displaystyle 
 2 \cdot   \sum_{k=1}^d (f_a(x^{(i)}) - y^{(i)})  \cdot x^{(i)} \\
 \end{array} 
</math>

== Implementation in R ==
In [[b:de:GNU R|GNU R]] als OpenSource-Software zur Datenanalyse kann man die mathematische Definition des Gradienten implementieren. Die Implementation in R findet man bei der [[Mehrdimensionale lineare Regression/Komponentenfunktionen|linearen Regression für Komponentenfunktionen]].

== Siehe auch ==
* [[Gradient (Mathematik)|Gradient]]
* [[Mehrdimensionale lineare Regression/Komponentenfunktionen|linearen Regression für Komponentenfunktionen]]
* [[Kurs:Mehrdimensionale lineare Regression]]
* [[b:de:GNU R|Wikibuch zu GNU R]]

== Seiteninformation ==
Diese Lernresource können Sie als '''[https://niebert.github.io/Wiki2Reveal/wiki2reveal.html?domain=wikiversity&title=Gradientenabstiegsverfahren/Gradient_-_lineares_Funktional&author=Gradientenabstiegsverfahren&language=de&audioslide=yes&shorttitle=Gradient_-_lineares_Funktional&coursetitle=Gradientenabstiegsverfahren Wiki2Reveal-Foliensatz]''' darstellen.

=== Wiki2Reveal ===

Dieser '''[https://niebert.github.io/Wiki2Reveal/wiki2reveal.html?domain=wikiversity&title=Gradientenabstiegsverfahren/Gradient_-_lineares_Funktional&author=Gradientenabstiegsverfahren&language=de&audioslide=yes&shorttitle=Gradient_-_lineares_Funktional&coursetitle=Gradientenabstiegsverfahren Wiki2Reveal Foliensatz]''' wurde für den Lerneinheit '''[https://de.wikiversity.org/wiki/Gradientenabstiegsverfahren Gradientenabstiegsverfahren]'''' erstellt der Link für die [[v:en:Wiki2Reveal|Wiki2Reveal-Folien]] wurde mit dem  [https://niebert.github.io/Wiki2Reveal/ Wiki2Reveal-Linkgenerator] erstellt.
<!--
* Die Inhalte der Seite basieren auf den folgenden Inhalten:
** [https://de.wikipedia.org/wiki/Gradientenabstiegsverfahren/Gradient_-_lineares_Funktional https://de.wikiversity.org/wiki/Gradientenabstiegsverfahren/Gradient_-_lineares_Funktional]
-->
* [https://de.wikiversity.org/wiki/Gradientenabstiegsverfahren/Gradient_-_lineares_Funktional Die Seite] wurde als Dokumententyp [https://de.wikiversity.org/wiki/PanDocElectron-Presentation PanDocElectron-SLIDE] erstellt.
* Link zur Quelle in  Wikiversity:  https://de.wikiversity.org/wiki/Gradientenabstiegsverfahren/Gradient_-_lineares_Funktional
* siehe auch weitere Informationen zu [[v:en:Wiki2Reveal|Wiki2Reveal]] und unter [https://niebert.github.io/Wiki2Reveal/index.html?domain=wikiversity&title=Gradientenabstiegsverfahren/Gradient_-_lineares_Funktional&author=Gradientenabstiegsverfahren&language=de&audioslide=yes&shorttitle=Gradient_-_lineares_Funktional&coursetitle=Gradientenabstiegsverfahren Wiki2Reveal-Linkgenerator].
<!-- * Nächster Inhalt des Kurses ist [[]] -->;

[[Category:Wiki2Reveal]]