Definition Was ist Generative Pretrained Transformer 4 (GPT-4)?

Anbieter zum Thema

Dell GmbH

Fujitsu Technology Solutions GmbH

Xpand Solutions GmbH

GPT-4 ist das neueste generative Sprachmodell aus der GPT-Familie. Es wurde von OpenAI entwickelt und trainiert. Es basiert wie die Vorgängermodelle auf der Transformer-Architektur. Das Modell ist multimodal und versteht neben Texteingaben auch Bildeingaben. Es kann Texte in vielen Sprachen verfassen, Fragen beantworten, Dialoge führen, Texte zusammenfassen, programmieren und vieles mehr. GPT-4 ist in Microsoft Bing und in die kostenpflichtige Version des Chatbots ChatGPT integriert.

GPT-4 ist das Kürzel für Generative Pretrained Transformer 4. Es handelt sich um ein multimodales Large Language Model aus der GPT-Modellfamilie. Es ist Nachfolger von GPT-3 und GPT-3.5 und wurde vom US-Unternehmen OpenAI entwickelt und trainiert. OpenAI veröffentlichte den Generative Pretrained Transformer der Version 4 am 14. März 2023. Derzeit ist es nur eingeschränkt für die Öffentlichkeit verfügbar. Es lässt sich über die kostenpflichtige Version ChatGPT Plus des Chatbots ChatGPT nutzen. Interessierte können sich zudem auf einer Warteliste für den Zugang zur GPT-4-API eintragen.

Microsoft hat das Sprachmodell bereits in seine Internetsuchmaschine Bing integriert. GPT-4 bietet ähnliche Funktionen wie die Vorgängerversionen, bringt aber zahlreiche Verbesserungen und einige Neuerungen mit. Das Sprachmodell lässt sich nutzen, um Texte in vielen verschiedenen Sprachen zu verfassen, Fragen zu beantworten, Dialoge zu führen, Texte zusammenzufassen, Programmcode zu erstellen und vieles mehr. Es ist nach Aussage von OpenAI deutlich leistungsfähiger als GPT-3 oder GPT-3.5 und versteht auch Bilder als Eingabeinformation.

Wie die Vorgängermodelle basiert es auf einem per Deep Learning trainierten künstlichen neuronalen Netzwerk (KNN) in Transformer-Architektur. Das Modell wurde mit einer riesigen Menge an Daten trainiert und anschließend per Reinforcement Learning mit menschlichem und KI-Feedback feinabgestimmt. Der Generative Pretrained Transformer 4 steht unter proprietärer Lizenz. Die genauen Details und die exakte Funktionsweise des Modells sind nicht veröffentlicht.

Fähigkeiten von GPT-4 und Unterschiede zu Vorgängermodellen

Die Grundfunktionen von GPT-4 sind ähnlich wie die Funktionen der Vorgängermodelle GPT-3 und GPT-3.5. Das Large Language Model kann neue Texte in verschiedenen Schreibstilen verfassen, Texte und Informationen zusammenfassen oder vervollständigen, Texte in andere Sprachen übersetzen, Fragen beantworten, Aufgaben lösen, Dialoge führen, Programmcode erstellen und vieles mehr.

GPT-4 ist laut OpenAI wesentlich leistungsfähiger als die Vorgängermodelle. Es zeigt in verschiedenen Benchmarks bessere Ergebnisse. GPT-4 löst komplexere Aufgaben, performt in akademischen und anderen Prüfungen besser, arbeitet in vielen Sprachen genauer, ist „kreativer“, verarbeitet bis zu 25.000 Zeichen im Eingabefeld, hat ein größeres Kontextfenster von 8.192 bis 32.768 Token und löst anspruchsvollere Programmieraufgaben.

Ein wesentlicher Unterschied zu den Vorgängermodellen ist die Multimodalität von GPT-4. GPT-4 besitzt Fähigkeiten aus dem Bereich des maschinellen Sehens (Computer Vision) und verfügt über visuelle Eingabefunktionen. Neben Text lassen sich auch Bilder wie Fotos, Diagramme oder Screenshots als Eingabeinformationen verwenden. GPT-4 berücksichtigt diese Bildinformationen bei der Generierung der Ergebnisse. GPT-4 kann den Inhalt von Bildern einordnen und erklären. Das Modell erklärt zum Beispiel Statistiken oder beantwortet Fragen zu den Bildern. Ebenfalls verbessert wurde laut OpenAI die Sicherheit des Modells. Das Sprachmodell soll deutlich weniger unzulässigen Inhalt generieren.

Funktionsweise und Training des Generative Pretrained Transformer 4

Anders als bei den Vorgängermodellen hat OpenAI nur sehr spärliche Informationen über die genauen technischen Details des KI-Modells veröffentlicht. Wie die Vorgängermodelle basiert GPT-4 auf einem künstlichen neuronalen Netzwerk in Transformer-Architektur, das per Deep Learning mit riesigen Datenmengen aus dem Internet darauf trainiert wurde, die wahrscheinlichsten Token (Wörter, Sätze) eines Dokuments (Textes) vorherzusagen. Für die Feinabstimmung des Modells kam Reinforcement Learning from Human (and AI) Feedback (RLHF) zum Einsatz.

Die Parameterzahl von GPT-4 ist ebenfalls unbekannt. Vermutlich ist sie nicht signifikant höher als bei den Vorgängermodellen (GPT-3: 175 Milliarden Parameter), da OpenAI sich laut eigenen Aussagen bei der Entwicklung von GPT-4 nicht darauf konzentriert hat, ein noch größeres Modell zu schaffen, sondern die Performance kleinerer Modelle zu optimieren. Nach Schätzungen einiger Experten könnte die Parameterzahl von GPT-4 aber auch über einer Billion liegen. Trainiert wurde GPT-4 auf Microsoft-Azure KI-Supercomputern.

Schwächen des Generative Pretrained Transformer 4

Trotz der stark verbesserten Leistung und neuer Funktionen zeigt der Generative Pretrained Transformer 4 nach wie vor Schwächen. Das Wissen von GPT-4 endet wie bei den Vorgängermodellen im September 2021. Wie andere auf der Transformer-Architektur basierende Sprachmodelle und wie die Vorgängermodelle neigt GPT-4 unter bestimmten Bedingungen dazu, Fakten zu erfinden, zu halluzinieren und logische Fehler oder Programmierfehler zu produzieren. Auch wenn OpenAI zusätzliche Sicherheitsmechanismen in GPT-4 implementiert hat und die Wahrscheinlichkeit für unangemessene Inhalte geringer ist, kann das Modell immer noch unerwünschte oder schädliche Inhalte generieren.

Weitere Schwächen und Nachteile des Generative Pretrained Transformer 4 sind:

• Bias im Trainingsmaterial beeinflusst nach wie vor die generierten Inhalte

• mangelnde Transparenz seitens OpenAI: kaum technische Details zum Modell und zur genauen Funktionsweise des Generative Pretrained Transformer 4 veröffentlicht

• proprietäres, für die Öffentlichkeit nicht frei verfügbares Modell

• Warteliste für API-Zugang

(ID:49582114)