Definition Was ist PIQA?

Anbieter zum Thema

Fujitsu Technology Solutions GmbH

INFOMOTION GmbH

PIQA ist ein Datensatz zur Bewertung der Fähigkeit von NLP-Systemen zu vernünftigen Schlussfolgerungen auf Basis ihres physisch-technischen Wissens. Er besteht aus mehreren tausend Fragestellungen für Training, Entwicklung und Bewertung der Sprachmodelle. Das NLP-System muss zu jeder Frage die richtige aus den beiden vorgegebenen Antworten wählen. Während Menschen eine Erfolgsquote von fast 95 Prozent erreichen, liegen aktuelle Sprachmodelle maximal in einem Bereich um die 80 Prozent.

PIQA ist das Akronym für „Physical Interaction: Question Answering“. Es handelt sich um einen Datensatz zur Bewertung der Fähigkeit von NLP-Systemen zu vernünftigen Schlussfolgerungen auf Basis ihres physisch-technischen Wissens. Der Datensatz wurde von den Wissenschaftlern Yonatan Bisk, Rowan Zellers, Ronan Le Bras, Jianfeng Gao und Yejin Choi 2019 entwickelt. Die Wissenschaftler sind für das Allen Institute for Artificial Intelligence, Microsoft Research AI, die Carnegie Mellon University, die Paul G. Allen School for Computer Science and Engineering und die University of Washington tätig.

PIQA gliedert sich in drei Teile mit 16.000 Fragestellungen für das Training, 2.000 Fragestellungen für die Entwicklung und 3.000 Fragestellungen für die Bewertung von NLP-Systemen. Zu jeder Frage muss das Sprachmodell die richtige von zwei vorgegebenen Antworten auswählen. Das Sprachmodell benötigt hierfür ein Grundwissen über die physische Welt. Es werden beispielsweise verschiedene Möglichkeiten von Gegenständen abgefragt wie: Ist es möglich, einen Schuh als Türstopper zu verwenden oder ist es möglich, einen Apfel auf ein Buch zu legen, aber nicht umgekehrt?

Zur Beantwortung solcher Fragen müssen die Modelle zum einen die tatsächliche Verwendung von Gegenständen kennen (Schuhe – gehen) und zum anderen alternative Verwendungsmöglichkeiten (Schuhe – Türstopper) aus ihren physischen Eigenschaften herleiten können. Menschen erreichen aufgrund ihres allgemeinen Grundwissens und ihren in der physischen Welt gemachten Erfahrungen bei der Beantwortung der PIQA-Fragestellungen eine hohe Erfolgsquote von fast 95 Prozent. Moderne, dem aktuellen Stand entsprechende Sprachmodelle liegen maximal in einem Bereich um die 80 Prozent. Im Internet ist unter yonatanbisk.com/piqa/ ein Leaderboard mit den von verschiedenen Sprachmodellen erreichten Leistungen verfügbar.

Motivation für die Entwicklung von PIQA

Die Künstliche Intelligenz und Verarbeitung natürlicher Sprache (Natural Language Processing – NLP) haben in den vergangenen Jahren enorme Fortschritte gemacht. Die Fähigkeit zu vernünftigen Schlussfolgerungen (Common Sense Reasoning) stellt nach wie vor eine große Herausforderung für die Sprachmodelle dar. Insbesondere haben NLP-Systeme Probleme, wenn sie hierfür physisch-technisches Wissen benötigen. Selbst die aktuellsten Sprachmodelle weisen nach wie vor große Lücken auf, wenn es um körperliches Grundwissen über alltägliche Objekte geht.

Im Gegensatz zum Menschen bewegen sich NLP-Systeme nicht in der physischen Welt und interagieren nicht mit körperlichen Objekten. Dementsprechend machen sie auch keine physischen Erfahrungen und müssen ihr physisch-technisches Wissen auf andere Art und Weise erwerben. Während Menschen schon als Kinder mit alltäglichen Objekten in Berührung kommen und lernen, wie sie eingesetzt oder verändert werden können, fehlt NLP-Systemen diese Möglichkeit.

Es stellt sich die Frage, ob Sprachmodelle sich ausreichendes physisches Grundwissen per Training mit Texten wie Nachrichtenartikeln oder Lexikoneinträgen aneignen können, ohne dass sie Erfahrungen in der physischen Welt machen. PIQA wurde entwickelt, um eine Antwort auf diese Fragestellung zu finden. Der Datensatz soll eine Bewertung der Fähigkeit der Sprachmodelle zu vernünftigen Schlussfolgerungen auf Basis ihres physisch-technischen Grundwissens ermöglichen und dabei helfen, in dieser Hinsicht leistungsfähigere Modelle zu entwickeln und zu erstellen.

Inhalt, Erstellung und Beispiele des PIQA-Datensatzes

Die Fragestellungen des PIQA-Datensatzes beziehen sich auf alltägliche Situation und dafür untypische Lösungen. Inspiriert sind sie von der Webseite instructables.com. Sie stellt eine Vielzahl detaillierter Anleitungen aus verschiedenen Bereichen wie Kochen, Reparieren oder Bauanleitungen zur Verfügung. Die Aufgaben in PIQA sind als Multiple-Choice-Fragen konzipiert. Sie wurden per Algorithmus hinsichtlich stilistischer Artefakte und trivialer Beispiele bereinigt. Zu jeder Frage muss von zwei vorgegebenen Antworten die richtige ausgewählt werden. Der Datensatz gliedert sich in 16.000 in englischer Sprache verfasste Fragestellungen für das Training, 2.000 Fragestellungen für die Entwicklung und 3.000 Fragestellungen für die Bewertung der NLP-Systeme.

Zwei Beispiele für PIQA-Fragestellungen übersetzt ins Deutsche lauten:

Wie lassen sich Schmerzen beim Schneiden von Fingernägeln vermeiden?

Lösung 1 (falsch): Die Nägel vor dem Schneiden fünf Minuten lang in lauwarmes Wasser eintauchen.

Lösung 2 (richtig): Das Schneiden der Nägel verursacht keine Schmerzen, da sie keine Schmerzempfindung haben.

Um einen Zaun aus Holz zu bauen, kann man

Lösung 1 (richtig): alte Paletten verwenden.

Lösung 2 (falsch): alte Töpfe verwenden.

Ergebnisse des PIQA-Benchmarks

Der PIQA-Datensatz wurde nach seiner Veröffentlichung bei zahlreichen vortrainierten, dem aktuellen Stand der Technik entsprechenden Sprachmodellen angewandt. Während Menschen bei der Beantwortung der Fragen eine Leistung von 94,9 Prozent erzielen, liegen Sprachmodelle in einem Bereich zwischen 60 und 80 Prozent oder maximal knapp darüber. Ein Leaderboard mit aktuellen Ergebnissen ist unter yonatanbisk.com/piqa/ einsehbar. Die deutliche Lücke zwischen der Leistung von Menschen und Sprachmodellen im PIQA-Benchmark verdeutlicht, dass es selbst aktuellsten NLP-Systemen noch immer an mit menschlichem Wissen vergleichbarem physisch-technischem Grundwissen fehlt.

(ID:48988145)