0116267165v1 (Bild: © aga7ta - stock.adobe.com)
Definition

Was ist BBH (BIG-Bench Hard)?

BIG-Bench Hard (BBH) ist ein Benchmark zur Evaluierung von Sprachmodellen. Es besteht aus 23 Aufgabentypen aus dem BIG-Bench-Dataset, bei denen die getesteten Sprachmodelle das durchschnittliche menschliche Leistungsniveau nicht erreichten. Mit BBH lässt sich prüfen, wie sich die Leistung der Sprachmodelle verbessern lässt.

Weiterlesen