Mehrdimensionale lineare Regression/Rechenbeispiel

Einführung

Diese Lernressource enthält elementare Rechenbeispiele zu der Lernressource "Mehrdimensionale lineare Regression"

Matrixmultiplikation

Lineare Regression kann man als Optimierungsproblem verstehen, bei der man den Fehler für die 3D-Datenpunkte versucht über alle Datenpunkte zu minimieren.

$A=\left(\begin{array}{ccc}1& 3& 5\\ 2& 4& 6\end{array}\right),b=\left(\begin{array}{c}5\\ 8\end{array}\right)$

Datenpaare (x,y)

Als Beispieldaten verwenden wir im affinen Modell

$x=\left(\begin{array}{c}4\\ 2\\ 1\end{array}\right),y=\left(\begin{array}{c}31\\ 19\end{array}\right)$

Matrixmultiplikation und Translation

Für ein affines Modell berechnet man den Bildvektor $f(x)$ durch eine Matrixmultiplikation $A\cdot x$ und anschließender Translation über $f(x)=A\cdot x+b$. Mit dem obigen Beispielvektor ergibt sich:

$A\cdot x=\left(\begin{array}{c}15\\ 22\end{array}\right)A\cdot x+b=\left(\begin{array}{c}30\\ 20\end{array}\right)$

Definition der affinen Abbildung

Mit $A\in Mat(2\times 3,ℝ$ definiert man die affine Abbildung wie folgt:

$\begin{array}{cccc}f:& {ℝ}^n& \to & {ℝ}^m\\ & x& \mapsto & f\left(x\right)=A\cdot x+b\end{array}$

Darstellende Matrix und Translationsvektor gesucht

Die darstellende Matrix $A$ und Translationsvektor $b$ sind gesucht und werden durch z.B. numerisch berechnet.

Transformation affines Problem in lineares

Die affine Abbildung $f(x)=A\cdot x+b\in {ℝ}^2$ bildet mit $f(x)$ nach ${ℝ}^2$ ab. gegeben, dann transformiert man die affine Abbildung in eine lineare Funktion mit einer Matrix $A^{\ast }\in Mat(m\times n+1,ℝ)$. Diese lineare Abbildung hat dann folgende Gestalt.

$f^{\ast }(x)=A^{\ast }\cdot x^{\ast }\in {ℝ}^m,$

mit $x^{\ast }:=(x_1,x_2,x_n,1)\in {ℝ}^4$ und $A^{\ast }:=(A,b)\in Mat(2\times 4,ℝ)$

Erweiterte Matrix - erweiterter Vektor

Mit den oben gegebenen Matrizen $A$ und dem Vektor $b$ erhält man die erweiterte Matrix $A^{\ast }$ und den erweiterten Vektor $x^{\ast }$ wie folgt:

$A^{\ast }=\left(\begin{array}{cccc}1& 3& 5& 5\\ 2& 4& 6& 8\end{array}\right),x^{\ast }=\left(\begin{array}{c}4\\ 2\\ 1\\ 1\end{array}\right)$

Beispieldaten für das lineares Funktional

Als konkretes Beispiel eines Datenpunktes für ein mehrdimensionales lineares Modell wählt man z.B. für $x=(x_1,x_2,x_3,x_4)\in {ℝ}^3$, $y=(y_1,y_2)\in {ℝ}^2$. Damit wäre der Datenpunkt

$(x,y)=(x_1,x_2,x_3,x_4,y_1,y_2)\in {ℝ}^5$

Dabei bezeichnet $x=(x_1,x_2,x_3,x_4)\in {ℝ}^4$ einen Punkt im dreidimensionalen Raum und $y=(y_1,y_2)\in {ℝ}^2$ z.B. Temperatur $y_1$ und die Luftfeuchtigkeit $y_2$ als Messungen an dem Ort $x=(x_1,x_2,x_3,x_4)\in {ℝ}^4$.

Komponentenfunktionen

Durch die Transformation von affinen Abbildungen in lineare Abbildung betrachtet man nun Komponentenfunktionen von linearen Abbildung der Form $f(x):=A\cdot x$, wobei $A$ eine $Mat(m\times n,ℝ)$ ist.

Matrix und Abbildung

Über die Matrix $A\in Mat(2\times 3,ℝ)$ sei $f_A:{ℝ}^3\to {ℝ}^2$ für den Spaltenvektor $x\in {ℝ}^2$ wie $f_A(x):=A\cdot x$ folgt definiert:

$A=\left(\begin{array}{ccc}{a}_{1,1}& a_{1,2}& a_{1,3}\\ a_{2,1}& a_{2,2}& a_{2,3}\end{array}\right)=\left(\begin{array}{c}{a}_1\\ a_2\end{array}\right),x=\left(\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right)$

Matrixmultiplikation und Skalarprodukt

Die Komponentenfunktionen einer Matrixmultiplikation sind Skalarprodukte.

$f_A(x):=A\cdot x=\left(\begin{array}{c}{a}_{1,1}\cdot x_1+a_{1,2}\cdot x_2+a_{1,3}\cdot x_3\\ a_{2,1}\cdot x_1+a_{2,2}\cdot x_2+a_{2,3}\cdot x_3\end{array}\right)=\left(\begin{array}{c}⟨a_1,x⟩\\ ⟨a_2,x⟩\end{array}\right)$

Beispiel für Komponentenfunktion

Für folgenden Matrix $A$

$A=\left(\begin{array}{ccc}1& 3& 5\\ 2& 4& 6\end{array}\right),x=\left(\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right)$

ergeben sich daher die folgenden Komponentenfunktionen:

$\begin{array}{ccc}{f}_{a_1}(x)& =& ⟨a_1,x⟩=1\cdot x_1+3\cdot x_2+5\cdot x_3\\ f_{a_2}(x)& =& ⟨a_2,x⟩=2\cdot x_1+3\cdot x_2+6\cdot x_3\end{array}$

Regression - Funktion gesucht

Bei der Regression betrachtet man eine Fehlerfunktion und dabei vertauscht man die Rolle von Argumenten einer Funktion und statischen Variableninhalten, denn in funktionalen Betrachtung von $f_A(x)=A\cdot x$ ist $A$ bekannt und das Argument $x$ die unabhängige Variable, mit der $y=f_A(x)=A\cdot x$ berechnet wird. Bei der linearen Regression sind Ein-Ausgabepaare $(x^{(k)},y^{(k)})\in {ℝ}^n\times {ℝ}^m$ bekannt und man sucht die Matrix $A$, die die Datenpunkte möglichst gut approximiert.

Fehlervektor

Der Fehlervektor gibt komponentenweise an, ob der von $f_A(x):=A\cdot x$ berechnete Vektor im Vergleich zu dem Datenvektor $y$ zu klein ($>0$) oder zu groß ist ($<0$). Der Fehlervektor erhält man nun über:

$\begin{array}{ccc}{f}_A(x)-y& =& f_A(4,2,1)-\left(\begin{array}{c}31\\ 19\end{array}\right)\\ & =& \left(\begin{array}{c}30\\ 20\end{array}\right)-\left(\begin{array}{c}31\\ 19\end{array}\right)=\left(\begin{array}{c}-1\\ 1\end{array}\right)\end{array}$

Erläuterung - Fehlervektor

Der Fehlervektor $f_A(x)-y\in {ℝ}^2$ gibt in dem obigen Beispiel mit der Matrix $A$ an, dass bei Eingabe von $x=(4,2,1)$ der berechnete Vektor $f_A(x)$ in der Wert ersten Komponent um 1 zu klein im Vergleich zum Messwert $y_1$ ist und in der zweiten Komponente der berechnete Wert $⟨a_2,x⟩$ 1 Einheit oberhalb des Messwertes $y_2$ liegt.

Quadratische Fehler für Datenpunkte

Der quadratische Fehler $\Vert f_A(x)-y{\Vert }^2$ ergibt aus dem Quadrat der euklidischen Länge (Norm) des Fehlervektors $e$ mit

$\Vert f_A(x)-y{\Vert }^2={\Vert \left(\begin{array}{c}-1\\ 1\end{array}\right)\Vert }^2=(-1{)}^2+1^2=2$

Dabei ist die euklidische Norm für einen Vektor $v\in {ℝ}^n$ wie folgt definiert:

$\Vert v\Vert :=\Vert \left(\begin{array}{c}{v}_1\\ ⋮\\ v_m\end{array}\right)\Vert =\sqrt{\sum _{k=0}^m{v}_k^2}$

Siehe auch

• Komponentenfunktionen von linearen Abbildung
• Wiki2Reveal

Seiteninformation

Diese Lernresource können Sie als Wiki2Reveal-Foliensatz darstellen.

Wiki2Reveal

Dieser Wiki2Reveal Foliensatz wurde für den Lerneinheit Kurs:Maschinelles Lernen' erstellt der Link für die Wiki2Reveal-Folien wurde mit dem Wiki2Reveal-Linkgenerator erstellt.

• Die Seite wurde als Dokumententyp PanDocElectron-SLIDE erstellt.
• Link zur Quelle in Wikiversity: https://de.wikiversity.org/wiki/Kurs:Maschinelles%20Lernen/Mehrdimensionale%20lineare%20Regression/Rechenbeispiel
• siehe auch weitere Informationen zu Wiki2Reveal und unter Wiki2Reveal-Linkgenerator.