Definition Was ist der Dirichlet-Prozess?

Anbieter zum Thema

Fujitsu Technology Solutions GmbH

Beim Dirichlet-Prozess handelt es sich um eine Familie stochastischer Prozesse der Wahrscheinlichkeitstheorie. Er basiert auf der nach Johann Peter Gustav Lejeune Dirichlet benannten Dirichletverteilung, einer Familie multivarianter Wahrscheinlichkeitsverteilungen. Der Dirichlet-Prozess bildet eine Wahrscheinlichkeitsverteilung von Wahrscheinlichkeitsverteilungen. Einsatzbereiche sind die bayessche Inferenz und Anwendungen wie maschinelles Lernen, Data Mining oder die Verarbeitung natürlicher Sprache.

Der Dirichlet-Prozess geht auf eine Veröffentlichung des US-amerikanischen Mathematikers und Statistikers Thomas Shelburne Ferguson mit dem Titel „A Bayesian Analysis of Some Nonparametric Problems“ aus dem Jahr 1973 zurück. Es handelt sich um eine Familie stochastischer Prozesse der Wahrscheinlichkeitstheorie. Die Prozesse basieren auf den nach Johann Peter Gustav Lejeune Dirichlet benannten Dirichletverteilungen, einer Familie multivarianter Wahrscheinlichkeitsverteilungen. Der Dirichlet-Prozess bildet quasi eine Wahrscheinlichkeitsverteilung von Wahrscheinlichkeitsverteilungen. Mit dem Dirichlet-Prozess lässt sich beschreiben, wie wahrscheinlich Zufallsvariablen nach einer bestimmten Verteilung verteilt sind.

Eine oft genannte Betrachtung zur Erklärung des Dirichlet-Prozesses ist die Wahrscheinlichkeitsverteilung der gewürfelten Augenzahlen 1, 2, 3, 4, 5 und 6 entsprechend der Präzision der Herstellung möglichst gleichmäßig geformter Würfel. Der Dirichlet Prozess wird in der bayesschen Inferenz und in nichtparametrischen bayesschen Datenmodellen eingesetzt. Die Bezeichnung nichtparametrisch leitet sich von der Eigenschaft ab, dass sich aus dem Dirichlet-Prozess gezogene Verteilungen nicht mit einer endlichen Anzahl von Parametern beschreiben lassen. Im Gegensatz zu parametrischen Modellen ist die Anzahl der Parameter nicht begrenzt.

Die nichtparametrischen Eigenschaften ermöglichen den Einsatz des Dirichlet-Prozesses beispielsweise für Problemstellungen beim Clustern von Daten, bei denen die genaue Anzahl der Cluster im Vorfeld nicht bekannt ist. Aktuell zählt der Dirichlet-Prozess zu den populärsten nichtparametrischen bayesschen Modellen. Es existieren Varianten wie der hierarchische Dirichlet-Prozess (HDP). Typische Anwendungsbereiche sind Statistik, maschinelles Lernen, Verarbeitung natürlicher Sprache (Natural Language Processing – NLP), Bioinformatik, Data-Mining und Computer Vision (computerbasiertes Sehen).

Alternative Betrachtungen des Dirichlet-Prozesses

Neben der formalen Beschreibung des Dirichlet-Prozesses existieren einige alternative Betrachtungen. Solche alternativen Betrachtungen sind beispielsweise:

• der Chinese-Restaurant-Prozess

• der Stick-Breaking-Prozess

• das Pólya-Urnen-Schema

Auf diese alternativen Betrachtungen im Detail einzugehen, würde den Umfang dieser Definition sprengen. Daher sind die Betrachtungen im Folgenden inhaltlich nur kurz angerissen.

Beim Chinese-Restaurant-Prozess geht es darum, dass Besucher, die ein Restaurant neu betreten, sich abhängig von der bereits im Restaurant befindlichen und an den Tischen sitzenden Anzahl an Personen mit einer bestimmten Wahrscheinlichkeit an einen bereits mit Person besetzten oder an einen neuen Tisch setzen.

Der Stick-Breaking-Prozess veranschaulicht den Dirichlet-Prozess, indem von einem Stock einer gegebenen Länge 1 wiederholt Teilstücke einer zufälligen Länge abgebrochen und verworfen werden. Je kleiner der Stock wird, desto dichter werden die Verteilungen.

Das Pólya-Urnen-Schema wird auch als Blackwell-MacQueen-Sampling-Schema bezeichnet. Es geht von einer mit schwarzen Bällen gefüllten Urne aus. Aus dieser werden immer wieder zufällig Bälle gezogen. Für gezogene schwarze Bälle werden neu Bälle einer anderen Farbe und die gezogenen Bälle in die Urne zurück gelegt. Bei gezogenen nicht schwarzen Bällen werden Bälle dieser gezogenen Farbe in die Urne zurück gelegt.

Einsatzmöglichkeiten des Dirichlet-Prozesses

Prinzipiell lassen sich statistische Modelle in parametrische und nichtparametrische Modelle unterscheiden. Der Dirichlet-Prozess wird in nichtparametrischen bayesschen Statistikmodellen eingesetzt. Während bei parametrischen Modellen die Anzahl der Parameter begrenzt ist, gibt es in nichtparametrischen Modellen keine limitierte Anzahl der Parameter. Nichtparametrisch darf daher auf keinen Fall mit parameterlos gleichgesetzt werden. Aufgrund der nichtparametrischen Eigenschaften und der prinzipiell unbegrenzten Anzahl an Parametern eignet sich der Dirichlet-Prozess zum Beispiel für Problemstellungen beim Clustern von Daten, bei denen die genaue Anzahl der Cluster im Vorfeld nicht bekannt ist. Typische Anwendungsbereiche sind neben der Statistik das maschinelle Lernen, die Verarbeitung natürlicher Sprache (Natural Language Processing – NLP), die Bioinformatik, das Data Mining und das computerbasierte Sehen (Computer Vision).

Im maschinellen Lernen löst der Dirichlet-Prozess das Problem der Über- oder Unteranpassung zwischen der Komplexität eines Modells und den verfügbaren Daten. Die Anzahl der Parameter ist nicht wie in klassischen parametrischen Modellen fest vorgegeben, sondern aufgrund der nichtparametrischen Eigenschaften theoretisch unbegrenzt. Die praktischen Limitierungen der Rechenleistung oder des Arbeitsspeichers setzen der Parameteranzahl eines Modells aber durchaus Obergrenzen.

Im Umfeld der Verarbeitung natürlicher Sprache lässt sich der Dirichlet-Prozess verwenden, um die Verteilung von Wörtern in Texten oder die inhaltsbasierten Themen zu modellieren. Die inhaltsbasierte Themenmodellierung (im Englischen: Content Based Topic Modeling) befasst sich mit dem Identifizieren der Themen eines noch nicht klassifizierten Dokuments und der Zuordnung bestimmter Wörter zu diesen Themen. Während die klassische Latent Dirichlet Allocation (LDA) ein parametrisches Modell mit begrenzter Anzahl an Parametern (Themen) ist, gibt es LDA-Varianten basierend auf dem Dirichlet-Prozess, bei denen die Anzahl der Themen im Vorfeld nicht festgelegt werden muss. Solche Varianten verhalten sich unter der Annahme, dass die Anzahl der Parameter im Voraus nicht bekannt ist, nichtparametrisch.

(ID:48584000)