Mehrdimensionale lineare Regression

Lernvoraussetzungen

Für die folgenden Lernressource über mehrdimensionale lineare Regression ist es hilfreich den grundlegenden Fall einer linearen Regression für Abbildungen $f:ℝ\to ℝ$ zu betrachten.

Mehrdimensionale lineare Regression

Im Unterschied zu dem eindimensionalen Fall für $x$ und $y$ bei der oben veranschaulichten lineare Regression beschreibt eine multiple lineare Regressionsanalyse einen linearen Zusammen zwischen unabhängigen Vektor $x\in {ℝ}^n$ und einem davon abhängigen Vektor $y\in {ℝ}^m$.

Gliederung

• Daten und Abbildungen - (Foliensatz)
  • /Affine Abbildung in R/
  • /Rechenbeispiel/
  • Schätzfunktion - eindimensionaler Fall - (Foliensatz)

• Transformation - affin zu linear
• Zerlegung einer linearen Abbildung in Komponentenfunktionen
• Regression für Komponentenfunktion - exakte Lösung und Approximation
• Gradient - lineares Funktional - (Foliensatz)
• Gradientenabstieg und Fehlerfunktion - (Foliensatz)
• Fehlerminimierung und Lernrate - (Foliensatz)
• Gesamtfehler aller Fehlerfunktionen - (Foliensatz)
• Umsetzung in R - (Foliensatz)

Daten für die Regression

Die Daten $𝔻$ für die mehrdimensionale lineare Regression bestehen aus Datenpunkten der Form $(x^{(i)},y^{(i)})\in {ℝ}^n\times {ℝ}^m$:

$𝔻:=\{(x^{(i)},y^{(i)})\in {ℝ}^n\times {ℝ}^m:i\in \{1,\dots ,d\}\}$

Rechenbespiel

Parallel zu den folgenden Ausführung ist ein /Rechenbeispiel/ ausgeführt

Daten für das Lineare Modell

Analog zu einem eindimensionalen Fall für $x\in ℝ$, $y\in ℝ$ und einem Datenpunkt $(x,y)\in {ℝ}^2$ hat man bei mehrdimensionale lineare Regression Datenpunkte der Form $(x,y)\in {ℝ}^{n+m}$ für $x\in {ℝ}^n$, $y\in {ℝ}^m$

Ziel der affinen Regression

Für die Abbildung $f(x)=A\cdot x+b\in {ℝ}^m$ und Daten $𝔻:=\{(x^{(1)},y^{(1)},\dots ,(x^{(m)},y^{(m)})\}$ sucht man eine geeignete Matrix $A\in Mat(m\times n,ℝ)$ und einem Vektor $b\in {ℝ}^m$, sodass der aggregierte quadratische Fehler $E(A,b)$ über alle Daten aus $𝔻$ möglichst klein wird.

$E_{LR}(A,b):=\sum _{k=1}^m\Vert f(x^{(k)})-y^{(k)}{\Vert }^2\text{ minimal }$

Bemerkung - Fehler

Dabei ist $\Vert \cdot \Vert :{ℝ}^m\to {ℝ}_o^{+}$ eine Norm auf dem Wertebereich der Funktion.

Animation - Multiple lineare Regression

In der folgenden Animation hat man zweidimensionale Datenpunkte $(x_1,x_2)\in {ℝ}^2$ als unabhängige Variablen und einer eindimensionalen abhängigen Variablen $y_1\in ℝ$. Der Graph der affinen Abbildung $f:{ℝ}^2\to ℝ$ stellt eine Ebenen im dreidimensionalen Raum ${ℝ}^3={ℝ}^2\times ℝ$ dar, wobei die Datenpunkten die Form $(x_1,x_2,y_1)\in {ℝ}^3$ besitzen. Datei:Regressionsebene im dreidimensionalen Raum.webm

Transformation - affin nach linear

Durch eine Transformation eines affine Problems $A\cdot x+b=y$ in ein lineares $A^{\ast }{x}^{\ast }=y$ reduziert man die Lösungsverfahren auf einfachere lineare Zusammenhänge (siehe auch Lösungsverfahren linearer Gleichungssysteme in der Numerik).

Siehe auch

• lineare Regression in R
• Kurs:Mehrdimensionale lineare Regression
• Kurs:Numerik I
• Gradient (Mathematik)
• Gradientenabstiegsverfahren
• Laden und Speichern von CSV-Dateien in R
• Kurs:Maschinelles Lernen

Seiteninformation

Diese Lernresource können Sie als Wiki2Reveal-Foliensatz darstellen.

Wiki2Reveal

Dieser Wiki2Reveal Foliensatz wurde für den Lerneinheit Kurs:Maschinelles Lernen' erstellt der Link für die Wiki2Reveal-Folien wurde mit dem Wiki2Reveal-Linkgenerator erstellt.

• Die Seite wurde als Dokumententyp PanDocElectron-SLIDE erstellt.
• Link zur Quelle in Wikiversity: https://de.wikiversity.org/wiki/Kurs:Maschinelles%20Lernen/Mehrdimensionale%20lineare%20Regression
• siehe auch weitere Informationen zu Wiki2Reveal und unter Wiki2Reveal-Linkgenerator.