Wenn Mittelständler die Vorteile generativer KI nutzen wollen, stellen sie oft fest, dass die universellen Modelle der großen US-Tech-Konzerne für ihre spezifischen Anforderungen ungeeignet sind: Selbst umfangreicher Output beantwortet nicht exakt die gestellten Fragen, und das gesamte Wissen in die Cloud zu laden, scheidet aus Gründen des Datenschutzes, der Datensicherheit und des Schutzes geistigen Eigentums aus. Ein anderer Ansatz ist deshalb gefragt.
Der Autor: Benedikt Weber ist Geschäftsführer der Applord GmbH
(Bild: Applord GmbH)
Viele mittelständische Unternehmen haben im Laufe ihrer Geschäftstätigkeit Gigabyte an Dokumentationen, Verfahrensbeschreibungen und weiterem internen Know-how aufgebaut. Das Wissen ist also vorhanden, doch es bleibt oft ungenutzt, weil es sich kaum in konventionelle KI-Modelle integrieren lässt. Die Frage lautet: Wie können die Unternehmen diese Daten strukturiert unter den Aspekten Kosten, Datenschutz und Ergebnisqualität nutzen?
Vertrauliche Daten gehören nicht in die Cloud
In technischen Dokumentationen, Wartungsberichten oder Fotos aus der Produktion steckt das gesamte wertvolle Wissen eines Unternehmens, kurz: sein „Tafelsilber“. Dieses ohne Weiteres in die Cloud zu übertragen, kommt für kaum ein Unternehmen infrage. Genau das wäre allerdings erforderlich, um mit ChatGPT, Grok, Gemini, Perplexity oder einem der weiteren bekannten KI-Chatbots darauf zuzugreifen.
Problem des „stochastischen Papageis“
Die heute frei verfügbaren Sprachmodelle sind generisch angelegt. Nach Eingabe eines Prompts verarbeiten sie mit hoher Geschwindigkeit große Datenmengen aus dem Internet und zahllosen weiteren Quellen, um ihre Antwort zu generieren. Dabei bleibt die Verlässlichkeit der Inhalte unberücksichtigt, da generative KI ausschließlich mit Wahrscheinlichkeiten arbeitet und so nicht zwischen Richtig und Falsch unterscheidet. Auf diese Weise entstehen die gefürchteten Halluzinationen, der Begriff des „stochastischen Papageis“ hat sich in diesem Rahmen etabliert. Was bei einfachen Anwendungen harmlos sein mag, stellt im Unternehmenskontext ein erhebliches Risiko dar.
Damit Sprachmodelle valide Ergebnisse liefern, muss die Datenqualität stimmen. Davon kann bei unternehmenseigenen Inhalten – anders als bei ungeprüftem Internet-Content – grundsätzlich ausgegangen werden. Für eine hohe Antwortgenauigkeit müssen die Modelle jedoch zusätzlich mit den unternehmensspezifischen Begriffen und Strukturen trainiert werden, was bei in der Cloud betriebenen, universellen KI-Systemen keinesfalls geschehen sollte.
Datenqualität auch bei internem Content sicherstellen
Selbst wenn Unternehmen ausschließlich eigene Daten nutzen, sind sie nicht vor unvollständigen, widersprüchlichen oder veralteten Informationen gefeit. Damit besteht wiederum die Gefahr des Halluzinierens der KI. Daher ist eine systematische Qualitätssicherung unerlässlich, bevor ein Sprachmodell auf interne Daten wie technische Dokumentationen angewendet wird.
Für eine präzise Klassifizierung sollten dem Modell nur korrekt interpretierte Dokumente sowie Trainingsbeispiele bereitgestellt werden, die strukturell ähnlich sind, aber inhaltlich variieren. Durch wiederkehrende Muster bzw. konsistente Strukturen lernt die KI, Zusammenhänge zu erkennen und verlässliche Ergebnisse zu liefern. Zusätzlich kann der Anbieter etwa über ein interaktives Portal, das Schritt für Schritt durch den Trainingsprozess führt, darin unterstützen, dass auch Nutzer ohne tiefgehendes technisches Wissen eigene Modelle erfolgreich entwickeln und betreiben.
Der entscheidende Hebel: On-Premises statt Cloud
Angesichts geopolitischer Spannungen ist derzeit das Thema „digitale Souveränität“ hochaktuell. Bezeichnet wird damit die Fähigkeit einer Organisation, ihre digitale Infrastruktur, Datenflüsse und die daraus resultierenden Entscheidungen eigenständig zu gestalten, zu kontrollieren und zu verantworten. Allerdings schätzt sich laut der DIHK-Digitalisierungsumfrage 2026 die Mehrheit der deutschen Unternehmen als weitgehend oder vollkommen abhängig von Technologien, Innovationen oder Dienstleistungen aus Nicht-EU-Ländern ein.
Die Datenhoheit, als zentraler Aspekt digitaler Souveränität, kann nur im Rahmen des On-premises-Ansatzes sichergestellt werden, weil dabei sämtliche Informationen sowohl physisch als auch rechtlich im eigenen Einflussbereich bleiben. Dadurch lassen sich Speicherorte und Zugriffsrechte präzise steuern, was im Hinblick auf Compliance, Datenschutz und Auditierbarkeit von entscheidender Bedeutung ist.
Stand: 08.12.2025
Es ist für uns eine Selbstverständlichkeit, dass wir verantwortungsvoll mit Ihren personenbezogenen Daten umgehen. Sofern wir personenbezogene Daten von Ihnen erheben, verarbeiten wir diese unter Beachtung der geltenden Datenschutzvorschriften. Detaillierte Informationen finden Sie in unserer Datenschutzerklärung.
Einwilligung in die Verwendung von Daten zu Werbezwecken
Ich bin damit einverstanden, dass die Vogel IT-Medien GmbH, Max-Josef-Metzger-Straße 21, 86157 Augsburg, einschließlich aller mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen (im weiteren: Vogel Communications Group) meine E-Mail-Adresse für die Zusendung von Newslettern und Werbung nutzt. Auflistungen der jeweils zugehörigen Unternehmen können hier abgerufen werden.
Der Newsletterinhalt erstreckt sich dabei auf Produkte und Dienstleistungen aller zuvor genannten Unternehmen, darunter beispielsweise Fachzeitschriften und Fachbücher, Veranstaltungen und Messen sowie veranstaltungsbezogene Produkte und Dienstleistungen, Print- und Digital-Mediaangebote und Services wie weitere (redaktionelle) Newsletter, Gewinnspiele, Lead-Kampagnen, Marktforschung im Online- und Offline-Bereich, fachspezifische Webportale und E-Learning-Angebote. Wenn auch meine persönliche Telefonnummer erhoben wurde, darf diese für die Unterbreitung von Angeboten der vorgenannten Produkte und Dienstleistungen der vorgenannten Unternehmen und Marktforschung genutzt werden.
Meine Einwilligung umfasst zudem die Verarbeitung meiner E-Mail-Adresse und Telefonnummer für den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern wie z.B. LinkedIN, Google und Meta. Hierfür darf die Vogel Communications Group die genannten Daten gehasht an Werbepartner übermitteln, die diese Daten dann nutzen, um feststellen zu können, ob ich ebenfalls Mitglied auf den besagten Werbepartnerportalen bin. Die Vogel Communications Group nutzt diese Funktion zu Zwecken des Retargeting (Upselling, Crossselling und Kundenbindung), der Generierung von sog. Lookalike Audiences zur Neukundengewinnung und als Ausschlussgrundlage für laufende Werbekampagnen. Weitere Informationen kann ich dem Abschnitt „Datenabgleich zu Marketingzwecken“ in der Datenschutzerklärung entnehmen.
Falls ich im Internet auf Portalen der Vogel Communications Group einschließlich deren mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen geschützte Inhalte abrufe, muss ich mich mit weiteren Daten für den Zugang zu diesen Inhalten registrieren. Im Gegenzug für diesen gebührenlosen Zugang zu redaktionellen Inhalten dürfen meine Daten im Sinne dieser Einwilligung für die hier genannten Zwecke verwendet werden. Dies gilt nicht für den Datenabgleich zu Marketingzwecken.
Recht auf Widerruf
Mir ist bewusst, dass ich diese Einwilligung jederzeit für die Zukunft widerrufen kann. Durch meinen Widerruf wird die Rechtmäßigkeit der aufgrund meiner Einwilligung bis zum Widerruf erfolgten Verarbeitung nicht berührt. Um meinen Widerruf zu erklären, kann ich als eine Möglichkeit das unter https://contact.vogel.de abrufbare Kontaktformular nutzen. Sofern ich einzelne von mir abonnierte Newsletter nicht mehr erhalten möchte, kann ich darüber hinaus auch den am Ende eines Newsletters eingebundenen Abmeldelink anklicken. Weitere Informationen zu meinem Widerrufsrecht und dessen Ausübung sowie zu den Folgen meines Widerrufs finde ich in der Datenschutzerklärung.
Der On-premises-Betrieb reduziert zudem die strukturelle Abhängigkeit von einzelnen Anbietern und deren Geschäftsbedingungen. In Kombination mit Open-Source-Technologien lässt sich auch das Risiko eines Vendor-Lock-ins minimieren, was insbesondere bei Systemwechseln oder Migrationen vorteilhaft ist. Nicht zuletzt profitiert die Verfügbarkeit, denn im Gegensatz zu Cloud-Lösungen bleibt der Zugriff auf lokal betriebene Systeme selbst bei Internetausfällen gewährleistet. Dafür müssen KI-Modelle jedoch hinsichtlich ihrer Performance und Hardwareanforderungen entsprechend optimiert sein.
Training mit menschlicher Expertise
Ähnlich einem Spürhund benötigen auch Sprachmodelle zur Einsatzfähigkeit eine geeignete Anleitung. Menschen müssen in diesen Prozess aktiv eingebunden werden, indem sie die Ergebnisse der KI überprüfen und bei Bedarf korrigieren. „Human in the Loop“ lautet das Stichwort. Die Qualität der Trainingsdaten lässt sich dadurch deutlich steigern und die Modelle verbessern sich sukzessive. Zugleich erhöht „Human in the Loop“ die Akzeptanz der KI-Anwendung, da Mitarbeiter die Ergebnisse überprüfen können und so Vertrauen in das System entwickeln. Das ist insofern ein weiteres wichtiges Argument, als bei einer Befragung des Digitalverbands Bitkom 38 Prozent der teilnehmenden Unternehmen die mangelnde Nachvollziehbarkeit der Ergebnisse als wesentliche Hürde für den Einsatz von KI benannten. Umso wichtiger ist die Kombination aus leistungsfähigen Algorithmen und menschlicher Urteilskraft.
Fazit
Sprachbasierte KI-Modelle sind die Technologie der Stunde. Mittelständische Unternehmen, die ihre umfassenden Dokumentationen effektiv nutzen und Arbeitsprozesse optimieren wollen, sollten jedoch aus Gründen der Vertraulichkeit sowie der Vertrauenswürdigkeit generierter Aussagen auf eigene, maßgeschneiderte Modelle setzen und diese on-premises betreiben. Bei der Implementierung und Anpassung unterstützen spezialisierte Dienstleister. Der Aufwand lohnt sich in jedem Fall, denn der Nutzen sprachbasierter KI-Modelle auch für den Mittelstand kann gar nicht hoch genug eingeschätzt werden.