Unstrukturierte Daten sind Tickets für den Geschäftserfolg

Der Informationsgehalt unstrukturierter Zeichenketten (Textdaten) findet sich in den hintereinandergereihten Worten, kontextabhängigen Bedeutungsvarianten und grammatikalischen Feinheiten. Um diese Informationsschatz zu heben, müssen die Texte bzw. die darin enthaltenen Informationen zunächst einmal in eine strukturierte Form übersetzt werden. Mit der Technologie der Textanalyse können dann die un- und schwach strukturierten Texte in strukturierte Daten übersetzt werden, sodass große Textmengen automatisiert gelesen und mittels Business Intelligence analysiert werden können.

• Begriffe: Sie umfassen alle Substantive und Verben des Dokuments. Allein aus den extrahierten Begriffen kann schon der ungefähre Inhalt des Textes abgeleitet werden.

• Entitäten: Sie gruppieren Begriffe nach deren Bedeutung (Semantik), indem sie ihnen einen Typ zuweisen und synonyme Schreibweisen eines Begriffs in einer Entität zusammenfassen. Beispiele für Entitätstypen (und Entitäten) sind Unternehmen (Daimler AG, Allianz SE, Lufthansa AG), Person (Angela Merkel, Kai Diekmann, Nico Rosberg), Land (Deutschland, Italien, USA), Zeitangabe (gestern, 5 Minuten, 14 Tage), URL (http://www.bigdata-insider.de), Hashtag (#epic, #fail, #wm2014). Entitäten sind entweder als Wortlisten (Unternehmen, Land), reguläre Ausdrücke (URL, Hashtag) oder grammatikalische Regeln (Person, Zeitangabe) definiert. Sie können genereller Natur und vom Anbieter des Textanalyse-Systems vordefiniert sein oder werden projektspezifisch definiert und bringen so die fachspezifische Semantik ein. Beispiele für projektspezifische Entitätstypen sind Produktname und Produktkomponente.

• Fakten: Die zweistelligen Wortkombinationen werden aus Substantiv und Verb oder Adjektiv gebildet. Fakten verknüpfen zwei zusammengehörende Wörter und repräsentieren deshalb bereits wesentliche Zusammenhänge des Texts. Beispiele sind „Auto:schnell sein“, „Telefontarif:teuer sein“, „ich:mögen“, „sie:hassen“.

• Kernaussagen: Diese Wortkombinationen bestehen aus Subjekt, Prädikat, Objekt. Durch das zusätzliche Objekt des Satzes repräsentieren sie die wesentlichen Aussagen der Texte. Beispiele: „ich:mögen:BigData-Insider.de“, „sie:hassen:Betrüger“, „Tablet:verdrängen:PC“.

• Ausdrucksformen: Sprache kennt viele Formen, die einen Fakt bzw. eine Kernaussage in einem anderen Licht erscheinen lassen wie zum Beispiel: Ich werde meinen Vertrag nicht kündigen. Soll ich meinen Vertrag kündigen? Wenn mich niemand zurückruft, kündige ich meinen Vertrag. Ich will meinen Vertrag kündigen. Ich habe gestern meinen Vertrag gekündigt. Ausdrucksformen wie Negation, Frage, Bedingung, Absicht, Vergangenheit ergänzen die Fakten bzw. die Kernaussagen entsprechend, so dass diese Informationen bei der Analyse zur Verfügung stehen. Zum Beispiel „Telefontarif:teuer sein [Negation]“, „ich:kündigen [Absicht]:Vertrag“.