Mobile-Menu

Zu schön, um wahr zu sein Algorithmus soll KI-Energieverbrauch um 95 Prozent senken

Von Manuel Christa 2 min Lesedauer

Anbieter zum Thema

NVIDIA GmbH
Board Deutschland GmbH
BigData-Insider
Insider Research

„Addition statt Multiplikation!“ – so einfach soll es also sein, den aktuell immensen Stromhunger von KI-Chatbots wie ChatGPT zu stillen? Das behaupten zwei Forscher zwar nicht unbedingt in ihrem wissenschaftlichen Paper. Aber abgesehen vom mathematischen Inhalt lässt schon der Rahmen des Auftritts an der steilen These zweifeln, die aktuell im Netz kritiklos hinterfragt verbreitet wird.

Zwei Forscher wollen einen um 95 % effizienteren KI-Algorithmus entwickelt haben(Bild: KI-generiert)
Zwei Forscher wollen einen um 95 % effizienteren KI-Algorithmus entwickelt haben
(Bild: KI-generiert)

Unbestritten ist der KI-Hype aufgrund des immensen Energieverbrauchs an sich schon eine Klimakrise. Gerade wegen der steilen Entwicklung der generativen KI mit all ihren Large Language Models (LLM) gibt es nicht nur ökologische Argumente, die Rechenoperationen effizienter zu gestalten. Denn Strom und die dicken GPUs gehen zweifellos ins Geld.

„Addition ist alles was du brauchst für effiziente Sprachmodelle“

Da klingt es mehr als interessant, wenn Forscher die steile These aufstellen, dass ein Algorithmus um 95 Prozent energieeffizienter sei als die aktuelle Gleitkomma-Multiplikation mit aktuell dominierenden Nvidia-Grafikprozessoren.

Die Autoren, Hongyin Luo und Wei Sun, möchten eine Methode entwickelt haben, die Gleitkomma-Multiplikationen durch Ganzzahl-Additionen ersetzt. Diese Methode, genannt Linear-Complexity Multiplication (L-Mul), sei nicht nur energieeffizienter, sondern erreiche auch eine höhere Präzision als herkömmliche 8-Bit-Gleitkomma-Multiplikationen.

Die theoretischen Analysen im 13-seitigem Paper zeigen, dass L-Mul mit einer 4-Bit-Mantisse eine vergleichbare Präzision wie float8 e4m3-Multiplikationen erreichen soll. In Transformermodellen, insbesondere in der Attention-Mechanik, kann L-Mul fast verlustfrei angewendet werden. Die Methode wurde, so behaupten die Forscher, auf verschiedenen Aufgaben getestet, darunter Sprachverständnis, strukturelles Denken, Mathematik und allgemeines Wissen.

Unseriöser Rahmen: These nicht begutachtet, geschweige denn erprobt

Die beiden Forscher räumen ein, dass darauf basierende KI-Modelle neue Hardware erfordert. Angeblich habe man sie schon „entworfen, gebaut und getestet“, aber näher wird nicht auf die praktische Erprobung oder gar Umsetzbarkeit eingegangen. Ganz davon abgesehen, dass der aktuelle Goliath Nvidia dieser bedrohlichen Konkurrenz, sofern sie eine ist, etwas entgegensetzen wird. Denn das boomende Geschäft der KI-GPUs lässt den grünen Riesen aktuell florieren.

Das 13-seitige PDF ist auf arxiv.org von der amerikanischen Cornell University frei erhältlich. Die Plattform ist zwar seriös, doch kann dort jeder wissenschaftliche Beiträge publizieren. Nicht so in wissenschaftlichen Fachmagazinen, wo Qualität und Glaubwürdigkeit von wissenschaftlichen Arbeiten durch Experten des gleichen Fachgebiets vorher überprüft wurde – in sogenannten Peer Reviews. Die fachliche Auseinandersetzung fand hier wohl schlicht (noch) nicht statt.

Schließlich firmieren beide Forscher unter „Bitenergy AI, Inc.“, deren Website aber noch nichts vorzuweisen hat, außer ein Kontaktformular mit dem Hinweis „Find us around MIT“. Nun gibt es zwar einenEintrag im Unternehmensregister von Massachusetts. Aber auch die junge Gründung im Januar 2024 legt die Vermutung nahe, lediglich vom Renommee des wohl bedeutendsten Technologie-Instituts zu profitieren.

Dieser Artikel stammt von unserem Partnerportal ELEKTRONIKPRAXIS.

(ID:50214018)

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu Big Data, Analytics & AI

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Weiterführende Inhalte