Definition Was ist ein Conditional Random Field Layer?

Anbieter zum Thema

QUNIS GmbH

Sinequa

Xpand Solutions GmbH

Ein Conditional Random Field Layer (CRF-Layer) ist eine zusätzliche Ebene eines probabilistischen Modells innerhalb eines Machine-Learning-Modells. CRF-Layer kommen beispielsweise in BiLSTM-CRF-Modellen zusammen mit bidirektionalen Long Short-Term Memory (LSTM) zum Einsatz. Sie helfen Problemstellungen zu lösen, wie sie beispielsweise im Natural Language Processing (NLP) beim Part-of-Speech-Tagging (POS-Tagging) oder bei Named Entity Recognition (NER) auftreten.

Conditional Random Field Layer, abgekürzt CRF-Layer, ist ein Begriff aus dem Umfeld der Künstlichen Intelligenz (KI) und des maschinellen Lernens (ML). Bei Conditional Random Field handelt es sich um ein probabilistisches Modell und eine Klasse von statistischen Modellierungsmethoden. Mit Conditional Random Fields lassen sich unter anderem Sequenzmarkierungs- und Segmentierungsprobleme lösen.

Ein Conditional Random Field Layer ist eine zusätzliche Ebene dieses probabilistischen Modells, das in Machine-Learning-Modellen zum Einsatz kommt und für das Tagging sequenzieller Daten verwendet werden kann. Mithilfe des zusätzlichen Layers lassen sich kontextuelle Zusammenhänge berücksichtigen und die Abhängigkeiten in einem Graphenmodell abbilden. Bei linearem CRF ist der zu vergebende Tag von vorhergehenden Daten einer Sequenz abhängig. CRF-Layer werden in BiLSTM-CRF-Modellen zusammen mit bidirektionalen Long Short-Term Memory (LSTM) verwendet. Sie helfen Problemstellungen, wie sie beispielsweise im Natural Language Processing (NLP) beim Part-of-Speech-Tagging (POS-Tagging) oder bei Named Entity Recognition (NER) auftreten, zu lösen.

Der CRF-Layer ist oberhalb der BiLSTM-Ebene installiert und verwendet dessen Ergebnisse als Input. Neben dem Natural Language Processing kommen Conditional Random Field Layer auch in der Bilderkennung und in anderen Anwendungen des maschinellen Lernens zum Einsatz. Für CRF-Layer existieren verschiedene Implementierungen, wie für die Open-Source-Programmbibliothek für maschinelles Lernen PyTorch.

Problemstellungen beim Natural Language Processing

Häufiger Einsatzbereich der Conditional Random Field Layer ist das Natural Language Processing. CRF-Layer helfen mit ihrer Fähigkeit, sequentielle Daten zu modellieren und zu taggen, typische Probleme des Natural Language Processings zu lösen. Sequenz-Tagging wird zum Beispiel für das Part-of-Speech-Tagging (POS-Tagging) und Named Entity Recognition (NER) benötigt. Ein exaktes Sequenz-Tagging im Natural Language Processing verbessert die Leistungsfähigkeit für Anwendungen wie maschinelles Übersetzen, Extrahieren von Textinformationen oder Beantworten von Fragen.

Aufgabe des Part-of-Speech-Taggings ist es, den Wörtern eines Texts, unter Berücksichtigung des Kontexts und der Wortdefinition, die richtige Wortart zuzuordnen. Mithilfe von Named Entity Recognition lassen sich benannte Entitäten eines Textes wie Ereignisse, Orte, Zeitpunkte, Personen oder Organisationen identifizieren, klassifizieren und vordefinierten Kategorien zuordnen. Für NER-Aufgaben können grammatikalische Regeln oder Machine Learning und statistische Modelle wie CRF verwendet werden.

Funktionsweise von CRFs

CRFs eignen sich grundsätzlich für unterschiedliche Sequenzarten und Graphendarstellungen. Beim Natural Language Processing wird Text als Sequenz in einer linearen Kette von Wörtern und Satzzeichen modelliert und als gerichteter Graph dargestellt. Mithilfe dieser Darstellung kann Conditional Random Field auf alle Informationen einer Eingabesequenz zugreifen. Kommt ein Conditional Random Field Layer für maschinelles Lernen zum Einsatz, muss dieser trainiert werden.

Ziel des Trainings ist es, die Parameter auf Grundlage der vorhandenen Daten zu bestimmen und so anzupassen, dass für eine Eingabesequenz die passende Ausgabesequenz vorhergesagt werden kann. Für das Training existieren verschiedene Verfahren. In der Regel wird überwachtes Lernen angewandt, bei dem der Zieloutput zu einem vorgegebenen Input bekannt sind.

Conditional Random Field Layer in BiLSTM-CRF-Modellen

Conditional Random Field Layer kommen zusammen mit Bidirectional Long Short-Term Memory in BiLSTM-CRF-Modellen zum Einsatz. Das BiLSTM-CRF-Modell eines künstlichen neuronalen Netzwerks kombiniert bidirektionales Long Short-Term Memory mit einem CRF-Layer. Durch diese Kombination ergeben sich Vorteile für Sequenz-Tagging Aufgaben wie NER oder POS. Die neuronalen Netzwerke arbeiten robuster und erzielen genauere Ergebnisse.

BiLSTM stellt bidirektionales „langes Kurzzeitgedächtnis“ für ein neuronales Netzwerk zur Verfügung. Dieses lange Kurzzeitgedächtnis sorgt dafür, dass sich das Netzwerk an Langzeitabhängigkeiten und früher gemachte Erfahrungen erinnern und diese in seinen Entscheidungsprozessen berücksichtigen kann. Vergleichbar mit der Fähigkeit des menschlichen Gehirns, muss nicht jedes Problem oder jede Aufgabenstellung von Grund auf neu gelernt und gelöst werden. Das neuronale Netz erhält die Fähigkeit, auf bereits gemachte Erfahrungen und schon erworbenes Wissen zurückzugreifen.

Das Kurzzeitgedächtnis weiß, wie lange Informationen erhalten bleiben sollen, wann sie vergessen werden dürfen und an welche sich das Netzwerk erinnern soll. Die Bidirektionalität besagt, dass das LSTM-Netzwerk den Input in Vorwärts- und in Rückwärtsrichtung verarbeiten kann. Für jede Eingabesequenz lassen sich sowohl vorwärts- als auch rückwärtsgerichtete Informationen berücksichtigen, was dabei hilft, den Kontext besser zu erfassen und zu verstehen. CRF-Layer sind oberhalb des BiLSTM-Layers installiert. Sie erhalten den Output des bidirektionalen LSTM-Netzwerks als Input und treffen anschließend ihre Vorhersagen auf Basis dieses Inputs und des linearen, statistischen Modells. Für das BiLSTM-CRF-Modell existieren verschiedene Implementierungen wie für die ML-Open-Source-Programmbibliothek PyTorch.

(ID:48458994)