Kommentar von Florian Zyprian, Helm & Nagel Kontextbewusste KI: Architektur statt Interaktion

Anbieter zum Thema

Fsas Technologies GmbH

INFOMOTION GmbH

QUNIS GmbH

Zunehmend autonome KI-Systeme erfordern neue Strategien, um den Bedarf an aufgabenspezifischen Daten zu decken: Klassisches Prompting und Fine-Tuning verlieren zugunsten kontextbewusster Architekturen an Bedeutung. Was zunächst bloß nach fortschreitender Automatisierung aussieht, wird zu einem tiefgreifenden Perspektivwechsel in der KI-Entwicklung.

Erst als neue KI-Superkraft gepriesen, dann zur Selbstverständlichkeit degradiert: Prompt Engineering galt während des Vormarsches großer Sprachmodelle als die entscheidende Schlüsselfähigkeit. Mit tiefgreifendem technischen Verständnis und sprachlicher Präzision sollten einzelne Anwender in der Lage sein, den Modellen die bestmöglichen Antworten zu entlocken. Doch die dafür notwendigen Grundkompetenzen verbreiteten sich schnell, während zugleich das Sprachverständnis der neuronalen Netze wuchs. Diese Annäherung gipfelte schließlich in einem öffentlichen Wahrnehmungsproblem: Aus „Engineering“ wurde „Eintippen“.

Am Arbeitsmarkt gilt die anfangs mit sechsstelligen Gehältern nachgefragte Tätigkeit inzwischen als gescheitert. Doch wie so oft liegt der Bedeutungsverlust von manueller Dateneingabe nicht ausschließlich in einer Verschiebung der Prioritäten, sondern auch in fortschreitender Automatisierung begründet. Der grundlegende Informationsbedarf, den Large Language Models (LLMs) zur Lösung fachspezifischer Aufgaben an den Tag legen, bleibt weiterhin hoch, aber wird zunehmend anders gedeckt als durch datenintensives Prompting oder Fine-Tuning.

Vom Prompt zum Context Engineering

Denn nicht nur im Diskurs, auch in der realen Entwicklung sehen sich diese Ansätze mit handfesten Problemen konfrontiert. Das betrifft etwa die mangelhafte Konsistenz und Standardisierung: Derselbe Prompt kann selbst bei exakt gleicher Modellanpassung zu unterschiedlichen Ergebnissen führen, was eine verlässliche Reproduzierbarkeit erschwert. Hinzu kommen menschliche Abweichungen in der eingegebenen natürlichen Sprache. So können etwa übliche Höflichkeitsfloskeln den generierten Output signifikant verändern. Die größte Hürde stellt in komplexen Geschäftsszenarien jedoch das begrenzte Kontextfenster dar, das trotz fortlaufender Verbesserungen per se durch Token-Limits in den Prompts definiert ist.

Ein aktueller Salesforce-Benchmark sieht darin einen Hauptgrund, warum LLM-Agenten beispielsweise im CRM-Umfeld oft an längeren Geschäftsdialogen scheitern. Vor diesem Hintergrund findet in der KI-Entwicklung ein grundlegender Wandel statt: Von einer modellzentrierten Interaktionsebene hin zu einer kontextbewussten Perspektive der Datenorchestrierung.

Namentlich bekannt wurde die neue Disziplin als Context Engineering, ein Begriff, den etwa Shopify-CEO Tobias Lütke oder der KI-Forscher Andrej Karpathy in provokanter Anlehnung an das Prompt Engineering prägten. Im Grunde beschreibt es das Entwerfen dynamischer modularer KI-Systeme, in denen LLMs benötigte Informationen maschinell und in situativ geeigneten Formaten erhalten. Es kommt demnach weniger darauf an, was man unmittelbar in das Modell eingibt, als dass man ein informatives Ökosystem aus ergänzenden responsiven Komponenten schafft, die eine automatisierte Erkennung und Deckung des Informationsbedarfs unterstützen.

Das Prompting erfolgt dabei zunehmend automatisiert, während die menschliche Aufgabe vor allem in der Konzeption der Systemarchitektur besteht. So ergibt sich ein Kontext, der weit über manuelle Prompts oder Datensätze zum Fine-Tuning hinausgeht. Allerdings erfordert dieser Fortschritt eine komplexe Kombination jüngster KI-Techniken und -Prinzipien.

Ein kontextbewusster Technologie-Stack

Zentraler Innovationstreiber ist die bereits vieldiskutierte Retrieval Augmented Generation (RAG). Diese umfasst den Zugriff auf externe Quellen wie Datenbanken oder APIs, die Zerlegung umfangreicher Informationsträger und die Vektorisierung entstehender Abschnitte (Chunks). So wird der Abruf ergänzender Informationen sowie die Anreicherung eingehender Prompts möglich. Der Kontext wird über die Eingabe und die im Pre-Training verwendete Datenbasis hinaus geweitet. Dennoch erfüllen User Prompts auch bei kontextbewussten Technologie-Stacks weiterhin eine wichtige Funktion: Je nach Ausprägung können sie verschiedene Inbezugnahmen der ergänzenden Komponenten und damit auch verschiedene Systemzustände auslösen. Das betrifft etwa die Unterscheidung zwischen Kurz- und Langzeitgedächtnis. Ersteres entspricht der Token-basierten Natur von LLMs. Letzteres umfasst dann die RAG-basierte Ansprache von Vektordatenbanken sowie externe Wissensspeicher und Tools.

Relevant sind zudem die System-Prompts, die allgemeine Verhaltensregeln, ein Rollenverständnis oder funktionale Einschränkungen definieren können. Das könnte beispielsweise umfassen: „Du bist ein juristischer Assistent, der immer präzise und zurückhaltend antwortet.“ In herkömmlichen Ansätzen wäre diese wichtige Grundvoraussetzung ein semantischer Teil des User Prompts gewesen und könnte im Laufe des Dialogs in Vergessenheit geraten. Hier entsteht daraus jedoch eine dauerhafte Grundkonfiguration, die auch über unzählige User Prompts hinweg einen konsistenten Bezugsrahmen schafft und über Tool- sowie API-Verwendung mitbestimmt.

All diese Elemente bilden in Summe den Kontext, den ein LLM analysiert, bevor es mit einem strukturierten Output reagiert – z. B. in JSON oder in natürlicher Sprache. Der User Prompt wird hingegen in seinem Umfang zunehmend auf das Minimum relevanter Informationen verdichtet. Ähnliches passiert auch mit einer anderen, sehr häufigen Form der Dateneingabe.

Fine-Tuning wird selektiver

Der Glaubenssatz, dass mehr eingegebene Daten prinzipiell bessere KI-Leistungen begünstigen, hält sich weiter hartnäckig. Das ist auch verständlich, wurde er doch maßgeblich durch den Fortschritt großer Sprachmodelle geprägt: Mit jeder weiteren Größenordnung der im Pre-Training verwendeten Textdaten geschah ein weiterer Sprung in der Verarbeitungsfähigkeit natürlicher Sprache. Die hohe Generalisierbarkeit und das umfassende Verständnis der realen Welt sind inzwischen zu einer Art Baseline geworden – aber können auch hinderlich sein, wenn es um ganz spezifische Fachaufgaben geht. Zur Konkretisierung dient daher häufig ein domänenspezifisches Fine-Tuning, bei dem relevante Beispiele in das Modell eingespeist werden. Hier zeigt sich in der Praxis – etwa bei der Verarbeitung von Rechnungen, Verträgen oder Finanzberichten – dass eine gezielte Verringerung der Datenmenge keine messbaren Performance-Einbußen zur Folge haben muss. Voraussetzung ist die sehr präzise Auswahl von Datenpunkten, die möglichst genau die Realbedingungen abbilden – anstelle verzerrender Zusatzinformationen.

Doch auch hier kommt es auf kontextbewusste Ansätze an, um herkömmliche Grenzen von LLMs zu überwinden. Das betrifft zum Beispiel den Umgang mit unstrukturierten Daten, wie sie in vielen auszulesenden Dokumenten vorliegen. Hinderlich sind dabei vor allem die Länge mancher Dokumente sowie ein möglicher Informationsverlust durch RAG-basiertes Chunking. Zudem besteht ein hohes Risiko von Halluzinationen, wenn Datenfelder nicht korrekt erkannt wurden. Aus diesen Gründen konnten LLMs in der Dokumentenverarbeitung zum Beispiel Optical Character Recognition (OCR) noch nicht gänzlich ablösen.

Deren Rolle wandelt sich allerdings von einem reinen Werkzeug der Datenextraktion hin zur Bereitstellung zusätzlichen Kontextes: In modularen Enterprise-Anwendungen ist es inzwischen gängige Praxis, dass die integrierten LLMs zusätzlich zu den Dokumenten auch den mit OCR ausgelesenen Text erhalten. So lässt sich der generierte Output zur Originalquelle rückverlinken und validieren. Dadurch entsteht eine höhere Verlässlichkeit und Auditierbarkeit – weitere praktische Vorteile einer kontext-orientierten Architektur, die jedoch nicht über bestehende Herausforderungen hinwegtäuschen sollen.

Orchestrierung von Mensch und Maschine

Entlastung in der Anwendung und eine zunehmende Eigenständigkeit von KI-Systemen verlagern weitere Komplexität in die Entwicklung: Das betrifft vor allem die Datenorchestrierung. Auch wenn Context Engineering eine verlockende Perspektive birgt, hält die Realität Unmengen heterogener Datenquellen bereit, die es zu vereinheitlichen gilt. Häufig liegen Abweichungen in der Qualität, Strukturiertheit und Aktualität vor.

Gegenwärtige Bestrebungen konzentrieren sich darauf, die Vereinheitlichung zu automatisieren und den einbezogenen Kontext bis über die Systemgrenzen hinaus zu erweitern. Dort prägt häufig eine Multimodalität in Bild und Ton den Alltag rund um reale Anwendungsszenarien. UniversalRAG lautet daher ein aktuelles Schlagwort in diesem Forschungsbereich. Bei der unternehmensweiten Integration von KI-Systemen bewährt sich zudem auch eine strukturierte, kontextbewusste Arbeitsweise auf menschlicher Seite – eine wichtige Grundlage für eine symbiotische Zeitenwende.

(ID:50535138)