Definition Was ist MMLU (Massive Multi-task Language Understanding)?

Massive Multitask Language Understanding (MMLU) ist ein Benchmark, mit dem sich das allgemeine Weltwissen und die Problemlösungsfähigkeiten von Sprachmodellen testen und beurteilen lassen. Der Benchmark deckt verschiedene Wissensgebiete ab, darunter den MINT-Bereich (Mathematik, Informatik, Naturwissenschaft und Technik), aber auch Geistes- und Sozialwissenschaften sowie weitere. Die Schwierigkeit der Aufgaben variiert von Grundstufenwissen bis zu fortgeschrittenem Expertenwissen.

MMLU ist das Akronym für Massive Multitask Language Understanding. Es handelt sich um einen Benchmark für Natural-Language-Processing-Modelle, mit dem sich ihr allgemeines Weltwissen und ihre Fähigkeit zum Lösen verschiedener Aufgabenstellungen testen und beurteilen lässt. Der Benchmark wurde in einem Paper der ICLR 2021 (International Conference on Learning Representations) mit dem Titel „Measuring Massive Multitask Language Understanding“ veröffentlicht und von den Autoren Dan Hendrycks (UC Berkeley), Collin Burns (Columbia University), Steven Basart (UChicago), Andy Zou (UC Berkeley), Mantas Mazeika (UIUC), Dawn Song (UC Berkeley) und Jacob Steinhardt (UC Berkeley) verfasst.

Mit dem Benchmark lassen sich Modelle in Zero-Shot- und Few-Shot-Einstellungen bewerten. Er umfasst insgesamt 57 verschiedene Fachgebiete aus den Bereichen MINT (Mathematik, Informatik, Naturwissenschaft und Technik / im Englischen STEM: Science, Technology, Engineering and Mathematics), Geistes- und Sozialwissenschaften, Geschichte und andere. Der Schwierigkeitslevel der Fragen variiert und reicht von Grundstufenwissen bis zu fortgeschrittenem, professionellem Expertenwissen.

Erste mit der MMLU-Veröffentlichung durchgeführte Benchmarks zeigten, dass selbst moderne Sprachmodelle mit vielen Milliarden Parametern wie GPT-3 von OpenAI im Vergleich zu Evaluierungen mit anderen Benchmarks deutlich schlechtere Ergebnisse erzielten und viele Schwächen bei anspruchsvolleren Aufgabenstellungen zeigten. Verfügbar ist der Test auf GitHub unter github.com/hendrycks/test.

Motivation für die Entwicklung von MMLU

Transformer-basierte Modelle für die Verarbeitung von natürlicher Sprache (Natural Language Processing – NLP) haben in den vergangenen Jahren erstaunliche Fortschritte gemacht. Sie wurden mit riesigen Textmengen trainiert, die aus Büchern, Webseitentexten Wikipedia-Artikeln und vielem mehr bestehen, und für bestimmte Aufgabenstellungen feinabgestimmt. In vielen Benchmarks und abgegrenzten Aufgabenstellungen übertreffen sie die menschliche Leistung deutlich. Allerdings sind sich die Experten nicht sicher, wie gut die Sprachmodelle wirklich lernen und ob sie ihr erworbenes Wissen tatsächlich anwenden können. Letztlich geht es um die Fragestellung, was die Modelle von dem, was sie im Training lernen, wirklich „verstehen“.

Zum Lösen komplexerer Aufgabenstellungen benötigen sie tiefergehende Fähigkeiten, ihr allgemeines Weltwissen anzuwenden. Existierende Benchmarks wie GLUE (General Language Understanding Evaluation), SuperGLUE und andere ermöglichen nur eine begrenzte Evaluierung dieser Fähigkeiten. Schon kurze Zeit nach ihrer Veröffentlichung übertreffen die Ergebnisse aktueller Sprachmodelle die menschlichen Benchmark-Ergebnisse deutlich, obwohl es den Sprachmodellen weiterhin an allgemeinen Problemlösungsfähigkeiten mangelt. Benchmarks können gar nicht so schnell entwickelt werden, wie die Sprachmodelle sie lösen.

Wirklich herausfordernde Benchmarks, die Lösungsfähigkeiten komplexer Aufgabenstellungen in verschiedenen Wissensgebieten abfragen und sich nicht nur auf einfaches Wissen und den „gesunden Menschenverstand“ beschränken, existieren kaum. Oft geht es nur um einfache Aufgabenstellungen, Grundwissen und grundsätzliche Problemlösungsfähigkeiten, über die bereits Kinder verfügen. Aus diesem Grund wurde der MMLU Benchmark entwickelt, der verschiedene Wissensgebiete umfasst und bewusst herausfordernde Fragestellungen beinhaltet, für deren Lösung tiefergehende Fähigkeiten und nicht nur ein einfaches linguistisches Verständnis notwendig sind.

Erstellung und Inhalt des MMLU Benchmark

Der MMLU Benchmark deckt 57 Fachbereiche aus den Bereichen MINT (Mathematik, Informatik, Naturwissenschaft und Technik / im Englischen STEM: Science, Technology, Engineering and Mathematics), Geistes- und Sozialwissenschaften, Geschichte und andere ab. Die Multiple-Choice-Fragen wurden von Studenten manuell gesammelt und stammen aus verschiedenen frei verfügbaren Online-Quellen. Ihr Schwierigkeitslevel reicht von einfachem Grundstufenwissen bis zu fortgeschrittenem Expertenwissen. Es wird sowohl allgemeines Weltwissen als auch die Fähigkeit zur Lösung von schwierigeren Problemstellungen abgefragt. Teilweise sind die Fragen in Prüfungen enthalten, wie in der medizinischen Zulassungsprüfung der Vereinigten Staaten. Insgesamt handelt es sich um 15.908 Fragen. Sie sind aufgeteilt in einen Few-Shot-Entwicklungsdatensatz, einen Validierungsdatensatz und einen Prüfungsdatensatz. Der Few-Shot-Entwicklungsdatensatz enthält zu jedem Fachgebiet fünf Fragen. Die 1.540 Fragen des Validierungsdatensatzes sind für die Auswahl der Hyperparameter einsetzbar. Der Prüfungsdatensatz enthält 14.079 Fragen mit mindestens 100 Fragen pro Fachgebiet.

Ergebnisse des MMLU Benchmarks

Das Zufallsergebnis für den MMLU Benchmark liegt bei 25 Prozent und stellt quasi die Baseline für die Testergebnisse dar. Die menschliche Leistung variiert in einem weiten Bereich und ist abhängig vom abgefragten Fachgebiet und der persönlichen Qualifikation des Befragten. Crowdworker von Amazon Mechanical Turk erzielten ein Ergebnis von 34,5 Prozent. Das Ergebnis von Menschen auf Expertenniveau wird auf circa 90 Prozent geschätzt.

GPT-3 erreichte im Benchmark ein gemitteltes Ergebnis über alle Fachgebiete von knapp unter 45 Prozent, was in etwa 20 Prozent über der Zufalls-Baseline liegt. Die Ergebnisse variieren stark von Fachgebiet zu Fachgebiet und reichen von 70 Prozent bis nur knapp über 25 Prozent. In bestimmten Fragen aus Bereichen wie Moral, Ethik und Recht oder bei rechenintensiven Aufgabenstellungen der Mathematik und Physik lagen die evaluierten Modelle sehr nahe am Zufallsergebnis. Mittlerweile gibt es Sprachmodelle, die GPT-3 in den Testergebnissen deutlich übertreffen und in einzelnen Fachgebieten Erfolgsquoten von 70 Prozent oder mehr und im Durchschnitt über alle Fachgebiete mehr als 60 Prozent erreichen.

(ID:49032951)