Diskrete und stetige Wahrscheinlichkeitsverteilungen

Aus testwiki
Zur Navigation springen Zur Suche springen

Einführung

Die Unterscheidung von diskrete und stetigen Wahrscheinlichkeitsverteilungen erfolgt über die Verteilungsfunktion. Der bereits aus der Analysis bekannte Begriff der Stetigkeit wird dabei auf die Verteilungsfunktion angewendet und stetige Wahrscheinlichkeitsverteilung besitzen eine stetige Verteilungsfunktion. Diskrete Verteilungen besitzen anschaulich Verteilungsfunktionen, die rechtsseitig stetige Treppenfunktionen bilden.

Beispiel - stetige Verteilung

Beispiele für Verteilungsfunktionen von Normalverteilungen mit unterschiedlichen Varianzen und Erwartungswerten.

Beispiele für Verteilungsfunktionen
Beispiele für Verteilungsfunktionen

Weder stetig noch diskret

Es gibt (eher unüblich) Wahrscheinlichkeitsverteilungen, die weder diskret noch stetig sind.

Einführendes Beispiel - diskret

Wir betrachten ein Würfelexperiment mit den möglichen Ergebgnissen Ω={1,2,3,4,5,6}. Ein Ereignis kann man in Worten z.B. mit Ereignis A "gerade Zahl gewürfelt" oder Ereignis B "Zahl kleiner 5 gewürfelt" beschreiben. Solche Ereignisse sind formal Teilmengen von der Menge aller Ergebnisse Ω also A={2,4,6}Ω bzw. B={1,2,3,4}Ω. Jedem Ereignis wird dann ein Wahrscheinlichkeit P(A)=36 bzw. P(B)=46 zugeordnet.

Einführendes Beispiel - stetig

Eine Person wirft Dartscheibe und versucht dabei immer das den Mittelpunkt des Kreises (Bulls Eye) zu treffen. Die in Regel unbekannte Trefferverteilung auf der Dartscheibe ist eine stetige Wahrscheinlichkeitsverteilung auf einer Teilmenge D2.

Diskrete Wahrscheinlichkeitsräume

Eine diskrete (Wahrscheinlichkeits-)verteilung bzw. ein diskretes Wahrscheinlichkeitsmaß ist ein spezielles Wahrscheinlichkeitsmaß in der Stochastik. Im Gegensatz zu den allgemeinen Wahrscheinlichkeitsmaßen sind die diskreten Wahrscheinlichkeitsverteilungen auf einer endlichen bzw. abzählbaren Menge MΩ von Ereignissen mit positiver Wahrscheinlichkeit (P({ω})>0 für alle ωM) und P(M)=1 definiert (siehe Wikipedia: Ereignis (Wahrscheinlichkeitstheorie)).

Weder stetig noch diskret - Summe der Wahrscheinlichkeiten von Einpunktmenge

Wahrscheinlichkeitsverteilungen, die weder diskret noch stetig sind, kann man bei abzählbarem Träger an der Summe der Wahrscheinlichkeiten von Einpunktmengen ablesen. Mit Menge MΩ von Ereignissen mit positiver Wahrscheinlichkeit (P({ω})>0 wäre 0<P(M)<1 ein Verteilung, die weder diskret noch stetig ist.

Allgemeine Wahrscheinlichkeitsräume

Im Gegensatz zu endlichen bzw. abzählbaren Trägermengen Ω sind überabzählbare Grundmengen Ω problematisch, um jeder Teilmenge von Ω (Ereignissen) eine Wahrscheinlichkeit zuzuordnen. Z.B. auf dem Intervall [0,1] der reellen Zahlen treten Paradoxien auf. Der Satz von Vitali zeigt, dass die Potenzmenge von Ω nicht geeignet ist als Definitionsbereich des W'Maßes und man zu einem komplexeren Mengensystem, wie der Borelschen σ-Algebra übergehen muss.

Wahrscheinlichkeitsraum

Sei (Ω,𝒮) ein Messraum und eine Abbildung P:𝒮 gegeben, die folgende Eigenschaften besitzt:

  • (Positivität) P(A)0 für alle AΩ
  • (Normiertheit) P(Ω)=1
  • (σ-Additivität) An𝒮 für alle n und paarweise disjunkt folgt: P(nAn)=nP(An).

P nennt man dann Wahrscheinlichkeitsmaß auf (Ω,𝒮) und (Ω,𝒮,P) Wahrscheinlichkeitsraum.

Bemerkung

Die Einschränkung 'paarweise disjunkt' ist wesentlich. Für die nicht paarweise disjunkte Mengen sieht man an folgenden Beispielen unmittelbar, dass die σ-Additivität hier nicht gilt:

  • A1=A2=Ω und man erhält 1=P(Ω)=P(A1A2)=P(A1)+P(A2)=2.
  • Ai=Ω gilt: P(i=1Ai)=1=i=1P(Ai)=.

Elementare Eigenschaften von P (1)

Allein aus der obigen Definition heraus leiten wir ab:

  • P()=0, denn es folgt für alle Ai=: P()=i=1P(); die Ausnahme P()>0 liefert den Widerspruch.
  • P(i=1nAi)=i=1nP(Ai) für paarweise disjunkte A1,...,An('Additivität'). Insbesondere: P(AB)=P(A)+P(B) für disjunkte A,B, denn setzte: An+1=An+2=...= und beachte 1).

Elementare Eigenschaften von P (2)

  • P(A¯)=1P(A), denn 1=P(Ω)=P(AA¯)=P(A)+P(A¯).
  • P(A)P(B) für AB ('Monotonie'), denn B=BA¯A (disjunkt), also P(B)=P(A)+P(BA¯)P(A).
  • Zusätzlich gilt P(BA)=P(B)P(AB) mit BABA¯.
  • Es gilt außerdem P(AB)=P(A)+P(B)P(AB)

Allgemein: P(Ai,...,An)i=1nP(Ai)
Insbesondere: P(AB)P(A)+P(B)

Elementare Eigenschaften von P (3)

Für einelementige (Elementar-)Ereignisse {w} setzten wir pw=P({w}) und haben somit:

  • pw0.
  • wΩpw=P(Ω)=1.
  • wApw=P(A) für jedes AΩ.

Aus Letzerem folgt, dass die Wahrscheinlichkeitsverteilung P durch die Werte von pw eindeutig festgelegt werden kann.

Diskreter W'Raum - Münzwurf

Einfachstes Beispiel einer diskreten Wahrscheinlichkeitsverteilung wäre ein Wurf mit einer möglicherweise gezinkten Münze: Die Wahrscheinlichkeitsverteilung ordnet dem Ereignis "Die Münze zeigt Kopf" eine Zahl zu, die der Wahrscheinlichkeit entspricht, dass die Münze Kopf zeigt. Ebenso ordnet sie dem Ergebnis "Die Münze zeigt Zahl" eine Zahl zu, die der Wahrscheinlichkeit entspricht, dass die Münze Zahl zeigt. Dem intuitiven Verständnis von Wahrscheinlichkeit entsprechend summieren sich diese Zahlen zu eins auf.

Definition: Diskrete W'Verteilung

Eine Wahrscheinlichkeitsverteilung (Ω,𝒮,P) heißt diskrete Wahrscheinlichkeitsverteilung, wenn einer der folgenden drei Fälle gilt:

Zufallsvariablen, deren Verteilung eine diskrete Wahrscheinlichkeitsverteilung ist, werden auch als diskrete Zufallsvariablen bezeichnet.

Beispiel: Münzwurf

Beispiel für die Definition auf einer endlichen Menge ist das Eingangs genannte Beispiel mit dem Münzwurf. Dieses wird auf der Menge {Kopf,Zahl} definiert und ist im fairen Fall gegeben durch

P({Kopf})=12=P({Zahl}).

Häufig werden die Seiten der Münze auch kodiert, wie Kopf=1, Zahl=0 oder Kopf=K, Zahl=Z. Die Kodierung ändert dabei nichts an der Eigenschaft der Verteilung, diskret zu sein.

Beispiel: Poisson-Verteilung

Typisches Beispiel einer Wahrscheinlichkeitsverteilung auf einer abzählbar unendlichen Menge, genauer auf 0 ist die Poisson-Verteilung. Sie wird für einen reellen Parameter λ>0 definiert durch

Pλ({k})=λkk!eλ für k0.

Die Normiertheit einer Wahrscheinlichkeitsverteilung folgt hier aus der Definition der Exponentialfunktion über die Potenzreihe.

Aufgabe: Würfeln bis zu ersten 6

Welche Wahrscheinlichkeit hat das Ereignis A="Nach dem 5. Wurf eine 6 gewürfelt"? Welchem Fall einer diskreten Wahrscheinlichkeitsverteilung ist diese Beispiel zugeordnet?

Faltung

Beide obigen Beispiele können auch als diskrete Wahrscheinlichkeitsverteilungen auf dem Grundraum aufgefasst werden. Dies ermöglicht beispielsweise das Definieren einer Verteilungsfunktion und erlaubt die Faltung der Wahrscheinlichkeitsverteilungen mit weiteren Wahrscheinlichkeitsverteilungen.

Konstruktion 1 - Wahrscheinlichkeitsfunktionen

Diskrete Wahrscheinlichkeitsverteilungen werden meist mittels Wahrscheinlichkeitsfunktionen definiert. Im Falle des Grundraumes 0 sind dies Funktionen f, die jeder natürlichen Zahl k eine positive, reelle Zahl zwischen null und eins zuordnen. Alle diese reellen Zahlen müssen sich zu eins aufsummieren. Dann setzt man

P({k})=f(k).

Konstruktion 2 - Poisson-Verteilung

Im obigen Beispiel der Poisson-Verteilung wäre zum Beispiel

f(k)=λkk!eλ.

Dieses Verfahren lässt sich für beliebige diskrete Wahrscheinlichkeitsverteilungen verwenden. Tatsächlich sind die diskreten Wahrscheinlichkeitsverteilungen genau diejenigen Verteilungen, die sich über eine Wahrscheinlichkeitsfunktion definieren lassen. Die Zuordnung diskrete Wahrscheinlichkeitsverteilung – Wahrscheinlichkeitsfunktion ist also bijektiv.

Definition - Wahrscheinlichkeitsfunktion

Eine Abbildung p:Ω[0,1];wpw mit der Eigenschaft ('Normierung')

wΩpw=1

heißt Wahrscheinlichkeitsfunktion (oder diskrete Wahrscheinlichkeitsdichte oder Zähldichte). Jede Wahrscheinlichkeitsfunktion p legt eine Wahrscheinlichkeitsverteilung P eindeutig fest (σ-Additivität von P folgt dann aus dem "Umordnungssatz" für absolut konvergente Reihen). Meistens gibt man eine Wahrscheinlichkeitsverteilung durch eine Wahrscheinlichkeitsfunktion an.

Verteilungsfunktionen

In dem folgenden Abschnitt werden Verteilungsfunktionen behandelt. Die Begriffsdefinition ist notwendig, um stetige Wahrscheinlichkeitsverteilungen zu definieren. Unterschieden werden dabei

  • der eindimensionale Fall und
  • der mehrdimensionale Fall n.

Verteilungsfunktion - eindimensional

Bei reellwertigen Zufallsgrößen X:Ω wird die Verteilungsfunktion über die induzierte Verteilung auf (,) über F(x):=PX((,x]) angegeben.


Verteilungsfunktion - mehrdimensional

Bei Zufallsgrößen X:Ωn wird die Verteilungsfunktion über die induzierte Verteilung auf (n,n) über F(x1,,xn):=PX((,x1]××(,xn]) angegeben.

Stetige Wahrscheinlichkeitsverteilungen

Bei stetigen Wahrscheinlichkeitsverteilung ist die Verteilungsfunktions stetig. Daraus ergibt sich insbesondere, dass kEinpunktmengen im Gegensatz zu den diskrete Verteilungen keine Wahrscheinlichkeitsmasse tragen. Es ist wichitg zu bemerken, dass sich der Stetigkeitsbegriff nicht auf die Wahrscheinlichkeitsdichte bezieht. Die Rechteckverteilung ist eine stetige Wahrscheinlichkeitsverteilung, dessen Dichtefunktion nicht stetig ist.

Definition - Stetige Verteilung

Eine Verteilung auf (n,n),P heißt stetig, wenn die zugehörige Verteilungsfunktion F:n stetig ist.

Bemerkung 1 - Stetige Verteilung

Die Definition liefert aber nicht, dass eine unstetige Verteilung eine diskrete Verteilung ist. Diskrete Verteilung sind rechtsseitig stetige monoton steigende Treppenfunktionen.

Bemerkung 2 - Stetige Verteilung

Die Definition liefert ebenfalls nicht, dass eine stetige Verteilungen eine stetige Wahrscheinlichkeitsdichte. Die Rechteckverteilung ist eine stetige Verteilung, aber diese besitzt keine stetige Wahrscheinlichkeitsdichte.

Beispiel - stetige Verteilung

Die folgende Abbildung zeigt verschieden Wahrscheinlichkeitsdichten der Normalverteilung

Wahrscheinlichkeitsdichten der Normalverteilung
Wahrscheinlichkeitsdichten der Normalverteilung

Verteilungsfunktion (1)

Die Abbildung zeigt eine Verteilungsfunktion einer Bernoulli-Verteilung zum Parameter p=0,65 mit charakteristischen Sprungstellen bei 0 und bei 1.

Verteilungsfunktion (2)

Bettet man diskrete Verteilungen auf (oder einer beliebigen höchstens abzählbaren Teilmenge der reellen Zahlen) in die reellen Zahlen ein, so kann der Verteilung eine Verteilungsfunktion zugeordnet werden. Diese zeichnet sich bei diskreten Wahrscheinlichkeitsverteilungen dadurch aus, dass sie stückweise konstant ist. An einer Stelle i mit P({i})>0 besitzt die Verteilungsfunktion immer einen „Sprung“ nach oben, und das um genau den Wert P({i}).


Beispiel - stetige Verteilungsfunktion

Die folgende Abbildung zeigt unterschiedliche Verteilungsfunktionen der Normalverteilung.

Unterschiedliche Verteilungsfunktionen der Normalverteilung
Unterschiedliche Verteilungsfunktionen der Normalverteilung

Wahrscheinlichkeitserzeugende Funktion

Diskreten Wahrscheinlichkeitsverteilungen auf 0 kann zusätzlich zu den klassischen erzeugenden Funktionen (Momenterzeugende Funktion, Kumulantenerzeugende Funktion und Charakteristische Funktion) noch eine wahrscheinlichkeitserzeugende Funktion zugeordnet werden. Dabei handelt es sich um ein Polynom oder um eine Potenzreihe, die jeder Wahrscheinlichkeitsverteilung eindeutig zugeordnet werden kann. Wahrscheinlichkeitserzeugende Funktionen erleichtern beispielsweise das Berechnen der Momente wie Erwartungswert oder Varianz oder liefern einfache Faltungsidentitäten.


Aufgabe - Weder stetig noch diskret

Konstruieren Sie eine Wahrscheinlichkeitsverteilung auf (,()), bei der

  • P({1})=12
  • P([0,1])=12 mit stetiger Gleichverteilung.

Skizzieren Sie die Verteilungsfunktion von (P,,())!

Spezielle diskrete Wahrscheinlichkeitsverteilungen

Folgend sind einige wichtige diskrete Wahrscheinlichkeitsverteilungen und ihre Konstruktion aufgezählt. Die Einteilung ist dabei nicht zwingend, manche Verteilungen können auch auf mehrere Arten konstruiert werden.

Aus der Bernoulli-Verteilung abgeleitet (1)

Ein Ausgangspunkt der Modellierung ist die Bernoulli-Verteilung. Sie modelliert den Wurf einer Münze, wobei "Kopf" mit 1 codiert wird und "Zahl" mit 0. Die Wahrscheinlichkeit für "Kopf" wird durch eine Zahl p[0,1] gegeben. Somit handelt es sich um eine diskrete Wahrscheinlichkeitsverteilung auf {0,1}.

Aus dieser Verteilung lassen sich direkt ableiten:

Aus der Bernoulli-Verteilung abgeleitet (2)

Aus der Bernoulli-Verteilung abgeleitet (3)

Dabei werden geometrische und negative Binomialverteilung auch in verschiedenen Varianten definiert.
Weitere ableitbare Wahrscheinlichkeitsverteilungen sind die Beta-Binomialverteilung (die Erfolgswahrscheinlichkeit der Münze selbst wird als Betaverteilt angenommen) sowie die Rademacher-Verteilung und die Zweipunktverteilung (Bernoulli-Verteilungen auf speziellen Werten) und die Dirac-Verteilung (degeneriertet Grenzfall einer Münze, die immer dasselbe Ergebnis zeigt).

Aus dem Urnenmodell abgeleitet (1)

Ein weiterer Ausgangspunkt der Modellierung ist das Urnenmodell, das auf der diskreten Gleichverteilung basiert. Dabei werden insgesamt N Kugeln in mehrere Gruppen geteilt (gefärbt, nummeriert, etc.), in eine Urne gelegt. Aus dieser wird dann gezogen, entweder mit zurücklegen oder ohne. Dabei soll (entsprechend der Gleichverteilung) jede Kugel gleich wahrscheinlich sein. So lassen sich beispielsweise konstruieren:

Aus dem Urnenmodell abgeleitet (2)

Gleichverteilung (Definition) (1)

Die Gleichverteilung über einer endlichen Grundmenge Ω wird bestimmt durch die Wahrscheinlichkeitsfunktion

pw=1|Ω| (für alle wΩ).

Die Wahrscheinlichkeit für ein Ereignis AΩ ist dann

P(A)=wApw=|A||Ω|.

Gleichverteilung (Definition) (2)

Die Gleichverteilung wird auch Laplaceverteilung genannt. Ein Zufallsexperiment, dem die Gleichverteilung zugeordnet wird, wird auch Laplaceexperiment genannt.
Interpretation der zweiten Formel: Sei AΩ gegeben. Ein Ereignis wA heißt "günstig" für A. Jedes wΩ ist "möglich". |A||Ω| ist dann die Anzahl der günstigen durch die Anzahl der möglichen Ereignisse.

Gleichverteilung (Beispiel)

Einmal werfen mit einem symmetrischen Würfel. Auf Ω={1,2,...,6} definiert man die Wahrscheinlichkeitsfunktion p1=p2=...=p6=16 ("Gleichverteilung" über {1,2,...,6}).

Ist A={1,3,5} das Ereignis "ungerade Augenzahl", so gilt P(A)=p1+p3+p5=36=12.

Einpunktverteilung (Beispiel)

Seien Ω und w0Ω beliebig. Dann definiert

pw0=1,pw=0

(für alle ww0, "Einpunktverteilung") die in w0 konzentrierte Wahrscheinlichkeitsverteilung ϵw0. Es ist

ϵw0(A)={0,w0A1,w0A.

Geometrische Verteilung (Beispiel) (1)

Eine symmetrische Münze wird so oft geworfen, bis zum ersten Mal Kopf auftritt. Der Ergebnisraum Ω besteht aus allen möglichen auftretenden Sequenzen:

w1=K,w2=ZK,w3=ZZK...,w=ZZZZZ...

(Wir schreiben pk anstatt pwk.) Es ist p1=12. Heuristische Überlegung zur Bestimmung der pk,k>1:

Geometrische Verteilung (Beispiel) (2)

Wir betrachten wk=(Z...ZK) (k-1-mal Z) als Element der Menge Ωk={Z,K}k. Es ist |Ωk|=2k. Alle 2k Elemente von Ωk sind gleichwahrscheinlich. Es folgt:

pk=12k,k ('Geometrische Verteilung')

Normierung: k=1pk=k=112k=1. Somit hat man also p=0 zu setzen.

Siehe auch

Literatur

  • Hans-Otto Georgii: Stochastik. Einführung in die Wahrscheinlichkeitstheorie und Statistik. 4. Auflage. Walter de Gruyter, Berlin 2009, doi:10.1515/9783110215274
  • Klaus D. Schmidt: Maß und Wahrscheinlichkeit. 2., durchgesehene Auflage. Springer-Verlag, Heidelberg Dordrecht London New York 2011, doi:10.1007/978-3-642-21026-6
  • David Meintrup, Stefan Schäffler: Stochastik. Theorie und Anwendungen. Springer-Verlag, Berlin Heidelberg New York 2005, S. 90, doi:10.1007/b137972

Seiten-Information

Der Foliensatz wurde für den Kurs:Stochastik mit Wiki2Reveal über den Linkgenerator erstellt.