Definition Was ist MGSM (Multilingual Grade School Math Benchmark)?

MGSM ist ein multilingualer Benchmark mit mathematischen Aufgaben auf Grundschulniveau. Mithilfe der Aufgaben lassen sich die Fähigkeiten großer Sprachmodelle im mehrstufigen arithmetischen Denken evaluieren. Das Benchmark-Dataset enthält 250 Aufgaben, die jeweils in zehn verschiedene Sprachen übersetzt wurden.

Das Kürzel MGSM steht für „Multilingual Grade School Math Benchmark“. Dabei handelt es sich um einen multilingualen Benchmark mit mathematischen Aufgaben auf Grundschulniveau. Mithilfe der Aufgaben lässt sich die Fähigkeit großer Sprachmodelle messen, mathematische Probleme auf Grundschulniveau in verschiedenen Sprachen zu lösen. MGSM ermöglicht die Evaluierung der Fähigkeiten im mehrstufigen arithmetischen Denken (Multi-Step Reasoning) der Modelle. Das Dataset des Benchmarks besteht aus 250 mathematischen Aufgaben, die mehrstufige Argumentationsfähigkeiten erfordern und jeweils in zehn verschiedene Sprachen übersetzt wurden. Die mathematischen Aufgaben sind dem GSM8K-Dataset, das rund 8.500 mathematische Aufgaben auf Grundschulniveau enthält, entnommen.

Veröffentlicht wurde MGSM im Jahr 2022 in dem Dokument mit dem Titel „Language Models are Multilingual Chain-of-Thought Reasoners“. Die Autoren der Veröffentlichung waren Forscher und Experten von Google Research, dem Toyota Technological Institute Chicago, der Stanford University und dem Dartmouth College. Der Multilingual Grade School Math Benchmark steht über GitHub zur freien Verfügung.

Motivation für die Entwicklung des Multilingual Grade School Math Benchmark

Große Sprachmodelle besitzen erstaunliche Fähigkeiten im mehrstufigen logischen Denken und Argumentieren. Verschiedene Arbeiten haben gezeigt, dass durch die Darstellung von expliziten Argumentationsschritten zum Beispiel per Chain of Thought (CoT), zu Deutsch Gedankenkette, den Sprachmodellen Fähigkeiten zum mehrstufigen Denken hervorgelockt werden können. Diese Fähigkeiten zeigen sich grundsätzlich auch über typologisch unterschiedliche Sprachen. Um diese Fähigkeiten der Sprachmodelle zu evaluieren, sind entsprechende multilinguale Benchmarks notwendig. Viele der Aufgabenstellungen der bis zur Entwicklung von MGSM existierenden multilingualen Benchmarks erforderten nur einfache Argumentationsschritte. Die Evaluierung der mehrstufigen, multilingualen Denk- und Argumentationsfähigkeiten großer Sprachmodelle erfordert Benchmarks mit entsprechenden Aufgabenstellungen in typologisch unterschiedlichen Sprachen. Diese Lücke soll der Multilingual Grade School Math Benchmark schließen. Laut den Entwicklern handelt es sich bei MGSM um den ersten multilingualen Benchmark dieser Art, mit dem sich die mehrstufigen arithmetischen Denkfähigkeiten von Sprachmodellen in verschiedenen Sprachen tatsächlich messen lassen. Einsetzbar ist MGSM unter anderem für:

• die Bewertung der mehrsprachigen Argumentationsfähigkeiten großer Sprachmodelle

• die Evaluierung der Fähigkeiten großer Sprachmodelle, grundlegende mathematische Probleme zu lösen, die mehrstufiges arithmetisches Denken erfordern

• die Bewertung der Leistung der Sprachmodelle in unterrepräsentierten Sprachen wie Bengali und Suaheli

Details zum Inhalt und zur Erstellung von MGSM

Die Datenquelle für MGSM bildete das GSM8K-Dataset mit seinen rund 8.500 mathematischen Aufgaben auf Grundschulniveau in englischer Sprache. Diesem Dataset entnahmen die Entwickler von MGSM 250 mathematische Aufgabenstellungen, deren Lösung mehrstufige arithmetische Denkfähigkeiten erfordern. Die ausgewählten 250 Aufgaben wurden von Menschen in zehn typologisch unterschiedliche Sprachen übersetzt. Bei den Sprachen handelte es sich um Spanisch, Französisch, Deutsch, Russisch, Chinesisch, Japanisch, Thailändisch, Suaheli, Bengali und Telugu. Die Übersetzungen nahmen bezahlte, professionelle Übersetzer manuell vor. Bei allen Übersetzern handelte es sich um Muttersprachler der jeweiligen Sprache. Die Qualität der Übersetzungen wurde stichpunktartig von weiteren Übersetzern geprüft. Die Prüfung sollte auch ausschließen, dass maschinelle Übersetzungen zum Einsatz kamen. Neben der Aufgabenstellung als Text und der Lösung der Aufgabe als Zahl enthalten die Trainingsdaten die Lösung als Gleichung und als Gedankenkette in Textform.

Zur Verdeutlichung einer solchen mehrstufigen mathematischen Aufgabe ein Beispiel mit den jeweiligen Lösungen:

Aufgabe: Max hat 6 Tennisbälle. Er kauft zwei Dosen Tennisbälle. Jede Dose enthält 4 Tennisbälle. Wie viele Tennisbälle hat er jetzt?

Antwort: 14

Antwort als Gleichung: 6 + 8 = 14

Antwort als Gedankenkette: Max begann mit 6 Tennisbällen. 2 Dosen mit je 4 Tennisbällen ergeben 8 Tennisbälle. 6 + 8 = 14. Die Antwort lautet 14.

Ergebnisse der mit MGSM durchgeführten Benchmarks

Die Entwickler von MGSM verwendeten das Benchmark-Dataset zur Evaluierung zweier großer Sprachmodelle. Die mathematischen Aufgaben wurden in verschiedenen Prompting-Einstellungen den Modellen GPT-3 und PaLM gestellt, um deren multilinguale, mehrstufige Denk- und Argumentationsfähigkeiten zu testen.

Ein Ergebnis der Evaluierung war, dass mit Standard-Prompting beide Modelle jeweils weniger als 20 Prozent der Aufgaben richtig lösten. Mit Zwischenschritten in der Argumentation erreichte PaLM eine Lösungsquote von über 40 Prozent in allen untersuchten Sprachen. Mit optimalen Prompting-Einstellungen erzielte PaLM eine durchschnittliche Lösungsquote über alle Sprachen von 55 Prozent.

Die Forscher stellten fest, dass große Sprachmodelle komplexe mehrstufige Denkfähigkeiten in verschiedenen Sprachen haben, selbst in solchen Sprachen, die im Pretraining der Modelle stark unterrepräsentiert waren und nur rund 0,01 Prozent des Trainingsmaterials ausmachten. Die Entwickler von MGSM konnten nachweisen, dass CoT-Prompting ein effektiver Ansatz für bessere Ergebnisse bei Aufgaben mit Anforderungen an multilinguale, mehrstufige Argumentationsfähigkeiten ist. Diese Erkenntnisse gelten nicht nur für mathematische Aufgaben, sondern sind auf andere Bereiche wie das "Denken mit vernünftigem Menschenverstand" (Commonsense Reasoning) übertragbar. Mit steigender Größe der Modelle (Anzahl der Parameter) steigen auch die Fähigkeiten im multilingualen, mehrstufigen arithmetischen Denken. Das gilt sowohl für GPT-3 als auch PaLM. Mit reduzierter Parameterzahl erzielen die Modelle keine substanziellen Lösungsraten. Auch die Anzahl an Few-Shot-Beispielen beeinflusst die Performance der Modelle positiv.

(ID:50230314)