Künstliche Intelligenz und Prompting Mit alternativen Prompting-Techniken LLMs schneller und billiger machen

Bekannte Sprachmodelle wie OpenAIs o1, DeepSeek-R1 und Googles Gemini 2.5 erscheinen Unternehmen, die KI integrieren wollen, als aufgebläht. Sie kosten Rechenleistung und Trainingszeit und treiben die Latenz in die Höhe. Neue Prompting-Techniken sollen die Qualität der Ausgaben verbessern und die Antwortzeiten verringern, während sie die Nutzungskosten senken.

OpenAIs o1 und DeepSeek-R1 nutzen die Chain-of-Thought-Logik (CoT), um komplexe Probleme in Stufen aufzuteilen und so eine beispiellose Leistung sowie eine größere Genauigkeit als frühere Modelle zu erzielen. „Chain-of-Thought ist eine Prompt-Engineering-Technik, die die Ausgabe von LLMs verbessert, insbesondere bei komplexen Aufgaben mit mehrstufigem Denken“, erläutert Eda Kavlagoglu von IBM Research. „Es erleichtert das Lösen von Problemen, indem es das Modell mithilfe einer kohärenten Reihe von logischen Schritten durch einen schrittweisen Denkprozess führt.“

Aber CoT erfordert auch erhebliche Rechenressourcen während der Inferenz, was zu langen Ausgaben und höherer Latenzzeit führt, sagt Volkmar Uhlig, KI-Infrastruktur-Portfolio- Lead bei IBM, in einem Interview mit IBM Think.