Definition Was ist der Generative Pretrained Transformer 3 (GPT-3)?

Der Generative Pretrained Transformer 3 (GPT-3) ist ein Sprachmodell, das auf einem per Deep Learning trainierten Künstlichen Neuronalen Netz (KNN) basiert. Es ist der Nachfolger von GPT-2 und in der Lage, selbstständig Texte zu verfassen, Fragen zu beantworten, Dialoge zu führen oder Programmcode zu erstellen. Entwickelt hat GPT-3 die von Elon Musk gegründete US-Organisation OpenAI.

Anbieter zum Thema

Fujitsu Technology Solutions GmbH

Disy Informationssysteme GmbH

Xpand Solutions GmbH

Die Abkürzung GPT-3 steht für Generative Pretrained Transformer 3. Es handelt sich um ein auf Deep Learning basierendes, vortrainiertes Sprachmodell. Der im Jahr 2020 veröffentlichte GPT-3 ist die dritte Version aus der GPT-Serie und Nachfolger des GPT-2. Das Sprachmodell wurde mit riesigen Textmengen aus dem Internet trainiert und ist in der Lage, Texte selbstständig oder als Antwort auf Fragen zu verfassen und syntaktische Abhängigkeiten über Satzgrenzen hinweg zu beachten. In die Texte lässt GPT-3 sein per Training erworbenes Wissen einfließen.

Neben dem Verfassen von Texten kann der Generative Pretrained Transformer 3 Texte zusammenfassen, vereinfachen und übersetzen, Programmiercode erstellen, Tabellen ausfüllen, Dialoge führen und vieles mehr. GPT-3 arbeitet in einer Vielzahl verschiedener Sprachen. Das zugrundeliegende Modell hat aktuell 175 Milliarden Parameter. Im Vergleich dazu hat das Sprachmodell Turing-NLG von Microsoft nur 17 Milliarden Parameter.

Die vom GPT-3 gelieferten Texte sind teilweise nur schwer von Texten zu unterscheiden, die von Menschen erstellt wurden. Es kann aber auch notwendig sein, die Texte von Menschen lektorieren, überarbeiten und kuratieren zu lassen. Entwickelt wurde GPT-3 von der ursprünglich von Elon Musk gegründeten Non-Pofit-Organisation OpenAI. Sie beschäftigt sich mit der Erforschung Künstlicher Intelligenz und stellt die Ergebnisse der Öffentlichkeit zur Verfügung. Weitere Projekte von OpenAI sind – neben den drei bisher veröffentlichten GPT-Versionen – Open AI Gym oder Jukebox.

Der Zugang zum GPT-3 ist nur ausgewählten Teilnehmern möglich oder erfordert die Nutzung der kostenpflichtigen OpenAI-API, das erste kommerzielle Produkt von OpenAI. Mittlerweile besitzt Microsoft exklusive Lizenzrechte am Source Code des Generative Pretrained Transformers 3.

Funktionsprinzip des GPT-3

Der Generative Pretrained Transformers 3 basiert auf Machine Learning. Er verwendet ein speziell für die Verarbeitung natürlicher Sprache vorgesehenes Künstliches Neuronales Netz und Deep Learning. Die Architektur wird als Transformer-basierte Deep-Learning-Architektur für neuronale Netze bezeichnet, eine ursprünglich von Google entwickelte Architektur. Das Sprachmodell ist mit riesigen Mengen an Textdaten aus dem Internet vortrainiert. Es ist in der Lage, beim Erstellen von Texten syntaktische Abhängigkeiten über Satzgrenzen hinweg zu berücksichtigen und besitzt eine umfassende Wissensbasis. Trainiert wurde GPT-3 mit vielen hundert Gigabyte an Textdaten. Sie stammen aus dem sogenannten Common-Crawl-Datenkorpus, Wikipedia, Foren, Webtexten und Bücherdatenbanken. Aufgrund dieses antrainierten Wissens besitzt der Generative Pretrained Transformer eine Form von allgemeiner Künstliche Intelligenz und beantwortet Fragen oder löst Aufgaben, für die er nicht explizit trainiert wurde.

Im Vergleich zum Vorgänger GPT-2 nutzt der GPT-3 keine wesentlich neuen Technologien. Es handelt sich um eine optimierte Version, die mit viel mehr Daten trainiert wurde und 100-mal mehr Parameter besitzt. Selbst Programmcode in verschiedenen Programmiersprache wie CSS, Python oder JavaScript kann GPT-3 erstellen.

Einsatzmöglichkeiten

Der Generative Pretrained Transformer 3 bietet viele Einsatzmöglichkeiten. Er lässt sich beispielsweise verwenden, um:

• neue Texte zu erstellen

• Texte zu vervollständigen

• Texte zusammenzufassen oder zu vereinfachen

• Texte zu übersetzen

• Fragen zu beantworten oder Aufgaben zu lösen

• in verschiedenen Stilen zu schreiben

• Programmcode zu erstellen

• Tabellen mit Informationen zu füllen

• SQL-Abfragen zu schreiben

• Dialoge zu führen

• Informationen aus dem Internet wiederzugeben

Möglichkeiten der GPT-3-Schnittstelle

Der Zugang zum Generative Pretrained Transformer 3 ist ausgewählten nur Teilnehmern über die kostenpflichtige OpenAI-API möglich. Es handelt sich um eine geschlossene Schnittstelle zur Interaktion mit dem Transformer. Über die Schnittstelle lassen sich zahlreiche Einstellungen zur Beeinflussung des Verhaltens bei der Textgenerierung durch GPT-3 treffen. Anwender haben die Wahl zwischen verschiedenen Engines mit unterschiedlicher Leistungsfähigkeit. Die Länge des gewünschten Antworttextes kann ebenfalls eingestellt werden. Über Parameter wie „Temperature“ oder „Top P“ sind die Kreativität, die Zufälligkeit und die Vielfältigkeit der Texte veränderbar. Mithilfe der Schnittstelle lassen sich geschlossene Texte generieren oder Dialoge mit dem Transformer führen. Sprachen sind im Prinzip beliebig nutzbar.

Schwächen des Generative Pretrained Transformers 3

Trotz der verblüffenden „Intelligenz“ des Generative Pretrained Transformers 3 und der hohen Qualität der generierten Texte, die sich teilweise kaum von Menschen erstellten Texten unterscheiden, besitzt der Generative Pretrained Transformers 3 einige prinzipielle Schwächen. Es sind Tendenzen zu erkennen, Vorurteile in die Texte einfließen zu lassen oder Falschinformationen zu generieren. Bei längeren Texten können sich Inhalte wiederholen. Das Problem der Vorurteile ist darauf zurückzuführen, dass die für das Training des Sprachmodells verwendeten Daten aus dem Internet ebenfalls Vorurteile und diskriminierende Informationen beinhalten. Im schlimmsten Fall könnten rassistische oder sexistische und andere ethisch nicht vertretbaren Texte entstehen.

Das Missbrauchspotenzial des GPT-3 ist hoch. Er könnte bei mangelnder Kontrolle zur Desinformation, Propagandazwecken, Erzeugung von Spam, politischen Einflussnahme oder zu betrügerischen Zwecke eingesetzt werden. Um dies zu vermeiden, sind vor dem Veröffentlichen die vom GPT-3 erstellten Texte gegebenenfalls von Menschen zu lektorieren, zu bearbeiten und zu kuratieren. Ein weiterer Kritikpunkt am GPT-3 ist der hohe Energiebedarf, der für das Training des Sprachmodells benötigt wurde.

(ID:47316997)