Grundlagen Statistik & Algorithmen, Teil 2

So verfeinert das Bayes-Theorem Spam-Filter – und mehr

| Autor / Redakteur: Michael Matzer / Nico Litzel

Illustration des Satzes von Bayes durch Überlagerung der beiden ihm zugrundeliegenden Entscheidungsbäume bzw. Baumdiagramme.
Illustration des Satzes von Bayes durch Überlagerung der beiden ihm zugrundeliegenden Entscheidungsbäume bzw. Baumdiagramme. (Bild: / Qniemiec / CC BY-SA 3.0)

Mithilfe des Satzes von Bayes lassen sich Parameter schätzen und Hypothesen induktiv testen. In einem Spamfilter können so wahrscheinliche Spam-Mails ermittelt werden. Und aus den Symptomen, die bei einem bekannten Test auftreten, lassen sich wahrscheinliche Krankheitsursachen aufspüren. Der Satz von Bayes, der bedingte Wahrscheinlichkeiten beschreibt, ist also ein nahezu universell nutzbares Werkzeug der Statistik.

Treten zwei Ereignisse ein, so tun sie das unter bestimmten Bedingungen. Ob Ereignis A Ereignis B bedingt, könnte bedeuten, dass B auch A bedingt. Das könnte aber ein Trugschluss sein. Dass der Mond um die Erde kreist, bedeutet nicht, dass die Erde um den Mond kreist. Ähnliches gilt für Kausalbeziehungen. Dass 99 von 100 Mails Spam sind, lässt nicht den Schluss zu, dass auch die hundertste Mail Spam sein muss. Wird diese echte Mail so klassifiziert, handelt es sich um ein „false positive“.

Das Problem des Handlungsreisenden und seine praktischen Anwendungen

Grundlagen Statistik & Algorithmen, Teil 1

Das Problem des Handlungsreisenden und seine praktischen Anwendungen

18.06.18 - Ob beim Design von künstlichen Neuronalen Netzwerken fürs Deep Learning, in der Logistik oder beim Layout von Leiterplatten – überall stößt man auf das mathematisch lösbare Problem des Handlungsreisenden: Wie lässt sich eine Tour mit mehreren Stationen auf dem kürzesten Weg und mit dem geringsten Aufwand bewältigen? lesen

Die Formel des Bayes-Theorems findet sich hier, gefolgt vom Beweis. Der Satz von Bayes erlaubt das Umkehren von Schlussfolgerungen: Der Nutzer geht von einem bekannten Wert P ( B ∣ A ) aus, ist aber eigentlich an dem Wert P ( A ∣ B ) interessiert (P wie Probabilität bzw. Wahrscheinlichkeit). Beispielsweise ist es von Interesse zu erfahren, wie groß die Wahrscheinlichkeit ist, dass jemand eine bestimmte Krankheit hat, wenn ein dafür entwickelter Schnelltest ein positives Ergebnis zeigt.

Aus empirischen Studien kennt man in der Regel die Wahrscheinlichkeit dafür, mit der der Test bei einer von dieser Krankheit befallenen Person zu einem positiven Ergebnis führt. Die gewünschte Umrechnung ist nur dann möglich, wenn man die Prävalenz der Krankheit kennt, das heißt, die (absolute) Wahrscheinlichkeit, mit der die betreffende Krankheit in der Gesamtpopulation auftritt.

Für das Verständnis kann ein Entscheidungsbaum oder eine Vierfeldertafel helfen. Das Verfahren ist auch als „Rückwärtsinduktion“ bekannt.

Mitunter begegnet man dem Fehlschluss, direkt von P ( B ∣ A ) auf P ( A ∣ B ) schließen zu wollen, ohne die A-priori-Wahrscheinlichkeit P ( A ) zu berücksichtigen. Das kann beispielsweise passieren, wenn angenommen wird, die beiden bedingten Wahrscheinlichkeiten müssten ungefähr gleich groß sein (siehe Prävalenzfehler. Wie der Satz von Bayes zeigt, ist das aber nur dann der Fall, wenn auch P ( A ) und P ( B ) ungefähr gleich groß sind. Ebenso ist zu beachten, dass bedingte Wahrscheinlichkeiten für sich allein nicht dazu geeignet sind, eine bestimmte Kausalbeziehung nachzuweisen.

Ein Rechenbeispiel

Der Ereignisbaum zum Rechenbeispiel mit der Testreihe an infizierten Personen.
Der Ereignisbaum zum Rechenbeispiel mit der Testreihe an infizierten Personen. (Bild: gemeinfrei / CC0)

Eine bestimmte Krankheit tritt mit einer Prävalenz von 20 pro 100.000 Personen auf. Der Sachverhalt , dass ein Mensch diese Krankheit in sich trägt, hat also die Wahrscheinlichkeit P ( K ) = 0,0002.

Die Frage lautet nun: Ist ein Screening der Gesamtbevölkerung ohne Rücksicht auf Risikofaktoren oder Symptome geeignet, Träger dieser Krankheit zu ermitteln? Es würden dabei weit überwiegend Personen aus dem Komplement KC von K getestet, also Personen, die diese Krankheit nicht in sich tragen: Die Wahrscheinlichkeit, dass eine zu testende Person nicht Träger der Krankheit ist, beträgt P ( KC ) = 1 - P ( K ) = 0,998.

T bezeichne die Tatsache, dass der Test bei einer Person „positiv“ ausgefallen ist, also die Krankheit anzeigt. Es sei bekannt, dass der Test mit 95 Prozent Wahrscheinlichkeit anzeigt (Sensitivität = P ( T│K ) = 0,95), aber manchmal auch bei Gesunden anspricht, d. h., ein falsch positives Testergebnis liefert, und zwar mit einer Wahrscheinlichkeit von P ( T│KC ) = 1 % (Spezifität = 1 - P (T│KC ) = 1 - 0,01 = 0,99).

Nicht nur für die Eingangsfrage, sondern in jedem Einzelfall insbesondere vor dem Ergebnis weiterer Untersuchungen, interessiert die „positiver prädiktiver Wert“ genannte bedingte Wahrscheinlichkeit P (K│T), dass positiv Getestete Träger der Krankheit sind. Mithilfe der Berechnung mit dem Satz von Bayes ergibt sich: Die Wahrscheinlichkeit liegt bei etwa 0,0186.

Speed für Mustererkennung mit dem Rete-Algorithmus

Grundlagen Statistik & Algorithmen, Teil 3

Speed für Mustererkennung mit dem Rete-Algorithmus

02.07.18 - Geschäftsregeln halten zahlreiche Unternehmensprozesse am Laufen, deshalb können sie mitunter sehr umfangreich werden. Der Umfang macht ihre Ausführung zeitaufwendig, weshalb jede Methode, sie zu beschleunigen, willkommen ist. Der Rete-Algorithmus beschleunigte 1979 die damals bestehenden Systeme für die Verarbeitung von Business Rules um den Faktor 3.000. Er ist bis heute die Grundlage zahlreicher Expertensysteme, etwa in der Mustererkennung. lesen

Probleme mit wenigen Klassen und einfachen Verteilungen lassen sich übersichtlich im Baumdiagramm für die Aufteilung der Häufigkeiten darstellen. Geht man von den Häufigkeiten auf relative Häufigkeiten bzw. auf (bedingte) Wahrscheinlichkeiten über, wird aus dem Baumdiagramm ein Ereignisbaum, ein Sonderfall des Entscheidungsbaums. Man gelangt (natürlich) zum gleichen Ergebnis: 0,0186. (Mehr Details und Rechenbeispiele finden sich im Wikipedia-Artikel.

Anwendungsgebiete

Das Bayes-Theorem aus dem Jahr 1763 [PDF] hat einen ganzen Zweig der Statistik hervorgebracht, der auf ihm basiert: die Bayessche Statistik.

In der Statistik betrifft das Bayes-Theorem alle Fragen des Lernens aus Erfahrung, bei denen eine A-priori-Wahrscheinlichkeitseinschätzung aufgrund von Erfahrungen verändert und in eine A-posteriori-Verteilung überführt wird (vgl. den Begriff „Bayessche Statistik“. Bei letzterer wird ein Wissensstand über einen unbekannten Umweltzustand θ a posteriori, das heißt, NACH der Beobachtung einer mit θ in statistischer Abhängigkeit stehenden Zufallsgröße X beschrieben.

Im Data-Mining sind Bayes-Klassifikatoren theoretische Entscheidungsregeln mit beweisbar minimaler Fehlerrate. Allgemein bezeichnet der Begriff Klassifikator eine Instanz, die Objekte klassifiziert, d. h., in Kategorien einordnet. Sie spielen beispielsweise in Spam-Filtern eine entscheidende Rolle. Klassifikation ist eine Hauptaufgabe des Data Minings.

Es geht darum, Objekte Gruppen (hier als „Klassen“ bezeichnet) zuzuordnen. Im Gegensatz zur Clusteranalyse sind hier aber in der Regel die Klassen vordefiniert (Beispielsweise: Fahrräder, Autos) und es werden Verfahren aus dem maschinellen Lernen eingesetzt, um bisher nicht zugeordnete Objekte diesen Klassen zuzuordnen.

Bayes-Filter

In der Spam-Erkennung werden Bayes-Filter verwendet. Von charakteristischen Wörtern in einer E-Mail (Ereignis A) wird auf die Eigenschaft, Spam (Ereignis B) zu sein, geschlossen. Mit Machine Learning lässt sich der Filter verfeinern.

In der Disziplin der Künstlichen Intelligenz wird der Satz von Bayes verwendet, um auch in Domänen mit „unsicherem“ Wissen Schlussfolgerungen ziehen zu können. Diese sind dann nicht deduktiv und somit auch nicht immer korrekt, haben sich aber zur Hypothesenbildung und zum Lernen in solchen Systemen als durchaus nützlich erwiesen.

Im Qualitätsmanagement wird das Bayes-Theorem zur Beurteilung der Aussagekraft von Testreihen genutzt, ähnlich wie in der Medizin (s. o.). In der Entscheidungstheorie bzw. Informationsökonomik ziehen Experten den Satz von Bayes zur Bestimmung des erwarteten Wertes von zusätzlichen Informationen heran. Das soll den nötigen Beschaffungsaufwand begrenzen bzw. steuern.

Natürlich gibt es noch zahlreiche weitere Verwendungsmöglichkeiten für das Bayes-Theorem, doch sie reichen weit über die Informationstechnologie im engeren Sinne hinaus, beispielsweise in die Verkehrssteuerung. Aber es wird deutlich, wie vielseitig verwendbar ein aus dem Jahr 1763 stammender Satz und seine zahlreichen Ergänzungen sein kann.

Kommentare werden geladen....

Kommentar zu diesem Artikel abgeben

Anonym mitdiskutieren oder einloggen Anmelden

Avatar
Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
  1. Avatar
    Avatar
    Bearbeitet von am
    Bearbeitet von am
    1. Avatar
      Avatar
      Bearbeitet von am
      Bearbeitet von am

Kommentare werden geladen....

Kommentar melden

Melden Sie diesen Kommentar, wenn dieser nicht den Richtlinien entspricht.

Kommentar Freigeben

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

Freigabe entfernen

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Infos finden Sie unter www.mycontentfactory.de (ID: 45332347 / Analytics)