Aller Anfang ist schwer – dieses geflügelte Wort gilt auch, wenn Unternehmen Neues wagen. Die Implementierung von KI-Lösungen ist da keine Ausnahme und laut einer Umfrage befinden sich 44 Prozent der deutschen Unternehmen mit ihren KI-Projekten auch noch in der Erprobungsphase. Doch wer die folgenden drei Tipps beherzigt, hat gute Chancen, mit KI einen echten Mehrwert zu erzielen.
Die Autorin: Johanna Ang’ani ist Director Client Engineering DACH bei IBM Technology, DACH
(Bild: IBM)
Künstliche Intelligenz (KI) hat sich als theoretischer Alleskönner branchenübergreifend einen Namen gemacht. Ob Landwirtschaft oder Banking, Einzelhandel, öffentlicher Dienst oder Kundenservice, überall können maschinelles Lernen und Generative KI Gewinn bringend eingesetzt werden.
Trotz der vielen Vorteile, die KI-Lösungen bieten, herrscht aber gerade bei kleinen und mittelständischen Unternehmen (KMU) weiterhin Nachholbedarf in Sachen KI. Das bestätigt auch eine Studie des Bundesministeriums für Wirtschaft und Klimaschutz, die Ende 2023 durchgeführt wurde. Demnach befindet sich ein Großteil der befragten Unternehmen erst in der Planungsphase oder verschließt sich den neuen KI-basierten Technologien bislang sogar gänzlich. Hauptgründe hierfür sind nach wie vor fehlendes Know-how und KI-Skills. Eine internationale Umfrage im Auftrag von IBM zeichnet ein ähnliches Bild: Zu den wichtigsten Hürden der KI-Implementierung gehören in Deutschland begrenzte KI-Kenntnisse und -Fachwissen (34 %), ethische Bedenken (27 %) und KI-Projekte, die sich nur schwer integrieren oder skalieren lassen (21 %).
Damit Unternehmen KI-Lösungen erfolgreich implementieren und Mehrwerte für sich ausschöpfen können, geben wir hier folgende Tipps an die Hand:
Das EINE Modell gibt es nicht
Einen potenziellen Anwendungsfall für KI-basierte Lösungen findet man häufig schnell, kniffliger wird es dann bei der Auswahl des richtigen KI-Modells. Auf dem Markt gibt es inzwischen hunderte Alternativen, teils Open Source und für die Allgemeinheit verfügbar, teils sehr spezifisch.
Oft sind Large Language Models (LLMs) intransparente „Black Boxes“, bei denen unklar ist, auf welchen Trainingsdaten sie basieren. Zudem sind sie in der Regel für allgemeine Einsatzzwecke konzipiert, was ihre Anpassung an spezifische Geschäftsanforderungen erschwert. In Kombination mit hohen Kosten für Bereitstellung und Wartung wird der Return on Investment dadurch häufig geschmälert. Eine viel versprechende Alternative für manche KI-Projekte in Unternehmen sind kleinere Sprachmodelle (Small Language Models, SLM). Diese arbeiten mit kleineren, spezifischeren Datensätzen und weniger Parametern und ermöglichen Unternehmen, die Vorteile von generativer KI zu nutzen – ohne die Komplexität von LLMs. Dabei bieten SLMs fünf zentrale Vorteile:
Kosteneffizienz ist ein entscheidender Faktor, da die Kosten für KI-Bereitstellungen stark ansteigen. Zwischen 2023 und 2025 wird ein Anstieg der Rechenaufwendungen um 89 Prozent erwartet. Das führt dazu, dass viele Projekte verzögert werden oder nicht skaliert werden können. SLMs erfordern weniger Rechenleistung, Energie und Speicherplatz, was Unternehmen erhebliche Einsparungen an dieser Stelle ermöglicht. Sie bieten zudem kürzere Trainingszeiten und erlauben es, klein zu starten und dann bei Bedarf zu wachsen. Die Granite-Modelle von IBM sind ein Beispiel für SLMs: Erste Tests zeigen eine Kostenreduktion um das 3- bis 23-Fache im Vergleich zu großen Modellen.
Auch die Nachhaltigkeit spielt eine wichtige Rolle, da die hohen Energieanforderungen von LLMs oft mit Nachhaltigkeitszielen kollidieren. Durch reduzierte Parameter und kleinere Datengrößen sind SLMs energieeffizienter und verursachen einen geringeren ökologischen Fußabdruck, ohne an Leistungsfähigkeit einzubüßen.
Ein weiterer Vorteil ist die Flexibilität bei der Bereitstellung. SLMs können lokal, offline oder auf Edge-Geräten betrieben werden. Das verbessert die Kontrolle über die eigenen Unternehmensdaten ermöglicht und neue Anwendungsfälle in Bereichen mit begrenztem Internetzugang, wie etwa in der Landwirtschaft oder der Offshore-Energiegewinnung. Sie sind somit auch in Regionen mit schlechter Internetversorgung einsetzbar.
Die verbesserte Risikokontrolle von SLMs basiert auf ihrer Transparenz und der Nutzung unternehmensrelevanter Datensätze. Das reduziert Verzerrungen und das Risiko unangemessener Ergebnisse, wie sie bei LLMs auftreten können, die oft mit öffentlichen Internetdaten trainiert werden. SLMs erleichtern die Nachverfolgung von Daten und verbessern Governance und Kontrolle der Ergebnisse.
Schließlich zeichnen sich SLMs durch ihre Anpassungsfähigkeit aus. Im Gegensatz zur „One-size-fits-all“-Natur von LLMs lassen sie sich flexibel an spezifische Geschäftsanforderungen anpassen, beispielsweise im Finanzsektor. Sie ermöglichen eine optimale Balance zwischen Leistung und Kontrolle und unterstützen hybride und multimodale Ansätze, was ihre Vielseitigkeit zusätzlich erhöht.
Stand: 08.12.2025
Es ist für uns eine Selbstverständlichkeit, dass wir verantwortungsvoll mit Ihren personenbezogenen Daten umgehen. Sofern wir personenbezogene Daten von Ihnen erheben, verarbeiten wir diese unter Beachtung der geltenden Datenschutzvorschriften. Detaillierte Informationen finden Sie in unserer Datenschutzerklärung.
Einwilligung in die Verwendung von Daten zu Werbezwecken
Ich bin damit einverstanden, dass die Vogel IT-Medien GmbH, Max-Josef-Metzger-Straße 21, 86157 Augsburg, einschließlich aller mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen (im weiteren: Vogel Communications Group) meine E-Mail-Adresse für die Zusendung von Newslettern und Werbung nutzt. Auflistungen der jeweils zugehörigen Unternehmen können hier abgerufen werden.
Der Newsletterinhalt erstreckt sich dabei auf Produkte und Dienstleistungen aller zuvor genannten Unternehmen, darunter beispielsweise Fachzeitschriften und Fachbücher, Veranstaltungen und Messen sowie veranstaltungsbezogene Produkte und Dienstleistungen, Print- und Digital-Mediaangebote und Services wie weitere (redaktionelle) Newsletter, Gewinnspiele, Lead-Kampagnen, Marktforschung im Online- und Offline-Bereich, fachspezifische Webportale und E-Learning-Angebote. Wenn auch meine persönliche Telefonnummer erhoben wurde, darf diese für die Unterbreitung von Angeboten der vorgenannten Produkte und Dienstleistungen der vorgenannten Unternehmen und Marktforschung genutzt werden.
Meine Einwilligung umfasst zudem die Verarbeitung meiner E-Mail-Adresse und Telefonnummer für den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern wie z.B. LinkedIN, Google und Meta. Hierfür darf die Vogel Communications Group die genannten Daten gehasht an Werbepartner übermitteln, die diese Daten dann nutzen, um feststellen zu können, ob ich ebenfalls Mitglied auf den besagten Werbepartnerportalen bin. Die Vogel Communications Group nutzt diese Funktion zu Zwecken des Retargeting (Upselling, Crossselling und Kundenbindung), der Generierung von sog. Lookalike Audiences zur Neukundengewinnung und als Ausschlussgrundlage für laufende Werbekampagnen. Weitere Informationen kann ich dem Abschnitt „Datenabgleich zu Marketingzwecken“ in der Datenschutzerklärung entnehmen.
Falls ich im Internet auf Portalen der Vogel Communications Group einschließlich deren mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen geschützte Inhalte abrufe, muss ich mich mit weiteren Daten für den Zugang zu diesen Inhalten registrieren. Im Gegenzug für diesen gebührenlosen Zugang zu redaktionellen Inhalten dürfen meine Daten im Sinne dieser Einwilligung für die hier genannten Zwecke verwendet werden. Dies gilt nicht für den Datenabgleich zu Marketingzwecken.
Recht auf Widerruf
Mir ist bewusst, dass ich diese Einwilligung jederzeit für die Zukunft widerrufen kann. Durch meinen Widerruf wird die Rechtmäßigkeit der aufgrund meiner Einwilligung bis zum Widerruf erfolgten Verarbeitung nicht berührt. Um meinen Widerruf zu erklären, kann ich als eine Möglichkeit das unter https://contact.vogel.de abrufbare Kontaktformular nutzen. Sofern ich einzelne von mir abonnierte Newsletter nicht mehr erhalten möchte, kann ich darüber hinaus auch den am Ende eines Newsletters eingebundenen Abmeldelink anklicken. Weitere Informationen zu meinem Widerrufsrecht und dessen Ausübung sowie zu den Folgen meines Widerrufs finde ich in der Datenschutzerklärung.
Insgesamt bieten SLMs so eine skalierbare, nachhaltige und individuell anpassbare Lösung, die den Herausforderungen moderner KI-Anwendungen für Unternehmen gerecht wird. Auch in Umfeldern, in denen mit vertraulichen Daten gearbeitet wird.
Sensible Daten sind kein Hindernis für KI
Viele Branchen arbeiten mit sensiblen Daten und Unternehmensverantwortliche zögern daher, KI zu nutzen. Aber: Datenschutz und KI-Anwendung schließen sich nicht aus. Ein Beispiel dafür findet sich im Landratsamt Augsburg. Dieses hat in Zusammenarbeit mit IBM einen maßgeschneiderten Chatbot implementiert, der das Jugendamt bei Fallrecherchen unterstützt. Das Team im Landratsamt Augsburg wusste, dass es effizienter werden wollte, aber angesichts der sensiblen Natur der Fallarbeit waren sie verständlicherweise vorsichtig bei der Einführung von KI-Technologien. Ein Pilotprojekt zerstreute aber nicht nur die Bedenken, sondern zeigte, dass sich der Einsatz von KI lohnt: Die Sachbearbeiterinnen und Sachbearbeiter profitieren jetzt von einer Zeitersparnis von bis zu 91 Prozent im Vergleich zur händischen Informations- und Aktenrecherche und haben mehr Ressourcen für andere Aufgaben.
Das Zauberwort lautet: Umsichtige KI-Governance. Das sind Regeln, Richtlinien und Verfahren, die Unternehmen und Organisationen bei der verantwortungsvollen Nutzung von Künstlicher Intelligenz (KI) unterstützen. Es geht darum, sicherzustellen, dass KI-Systeme ethisch und verantwortungsvoll eingesetzt werden. Die Berechnungen und davon abgeleitete Entscheidungen von KI-Systemen sollen zudem nachvollziehbar werden, um durch Transparenz das Vertrauen der Nutzer zu gewinnen und potenzielle Risiken zu minimieren. Drei Bausteine stehen dabei im Fokus: Dokumentation von KI-Projekten, Evaluation und Monitoring sowie regulatorische Compliance.
Für die Dokumentation von KI-Projekten entscheidend ist eine vollständige Übersicht aller KI-Anwendungsfälle (AI Use Case Inventory). Dieses Inventar dient als Katalog von Szenarien, Aufgaben oder Problemen, bei denen Unternehmen KI einsetzen. Es ermöglicht die transparente Nutzung und lückenlose Überwachung von Modellen und Machine-Learning-Komponenten. Neben der Katalogisierung der KI-Anwendungen können Unternehmen hier auch die zugehörigen Daten sowie Evaluierungs- und Genehmigungsprozesse speichern. Alle Beteiligten – vom Projektleiter bis zum Entwickler – profitieren von der Übersicht zur Weiterentwicklung und Dokumentation.
Ein zentraler Bestandteil der KI-Governance sind die Evaluation und das Monitoring der Sprachmodelle. Die eingesetzten Modelle und abgeleitete Lösungen werden überprüft, Ergebnisse in Factsheets dokumentiert und Methodik, Modell-Details sowie verwendete Parameter festgehalten. Tools wie IBM watsonx.governance bieten zahlreiche Metriken, um hohe Qualität zu gewährleisten und Funktionen, um diese Prozesse zu automatisieren.
Zudem ist regulatorische Compliance essenziell. Der EU AI Act zielt darauf ab, Vertrauen in KI zu stärken und Verbraucherrechte zu schützen. Unternehmen sollten daher Tools nutzen, die Änderungen in Regularien automatisch erfassen, Risiken identifizieren und Anpassungen zentral umsetzen. Das erleichtert die Einhaltung von Vorgaben und die Berichterstattung, um den schnellen Entwicklungen in Technologie und Regulierung gerecht zu werden.
Mensch vor Maschine – immer
Mitunter scheitern neue IT-Lösungen – übrigens nicht nur die KI-basierten – nicht an der Technik, sondern am Menschen. Viele Mitarbeiter hinterfragen Veränderungen und müssen sich an Neues erst gewöhnen. Daher sollten Unternehmen die Bedenken ernst nehmen und versuchen, sie abzuholen. Dank der Zusammenarbeit mit den verschiedensten Unternehmen und Institutionen wissen wir, dass eine Lösung nur dann funktioniert, wenn sie auf die individuellen Anforderungen von Kunde und Branche zugeschnitten ist und der Mensch als Anwender und Profiteur im Mittelpunkt steht.
Um das zu erreichen, sollte ein Use Case nicht nur aus Sicht der IT entwickelt werden, sondern die Fachabteilungen bereits früh in den Entwicklungsprozess eingebunden sein. Das das gelingt in Workshops, in denen beispielsweise multidisziplinäre IBM Client Engineering Teams gemeinsam mit den Kunden Lösungsansätze entwickeln – das oben genannte Beispiel des Jungendamtes Augsburg entstand genauso. Die KI-Experten holen in den Workshops Unternehmen und ihre Mitarbeiter dort ab, wo sie gerade sind, und erarbeiten gemeinsam mit ihnen die gewünschte KI-Lösung.
Während häufig die technische Implementierung von KI im Fokus steht, sind die Auswirkungen auf die Beschäftigten mindestens genauso bedeutsam. Die Einführung von KI-Tools betrifft nicht nur die Prozesse, sondern auch die Identifikation der Mitarbeiterinne und Mitarbeiter mit ihrem Arbeitgeber. Denn wenn Tätigkeiten von Menschen an Maschinen übertragen werden, muss für die Beschäftigten klar sein, was sie künftig machen.
Es liegt auf der Hand, dass derartige Herausforderungen nicht (nur) aus technischer Perspektive betrachtet werden können. Insbesondere dann, wenn Automatisierung gegen Fachkräftemangel rasch wirken soll. Dann muss man sicherstellen, dass KI den Wert menschlicher Arbeit erhöht und die Mitarbeiter gewillt sind, neue Aufgaben mithilfe von KI zu übernehmen. Hier sind die Kompetenzen der Personalabteilungen im Zusammenspiel mit der IT und den Fachbereichen gefragt. Aus technischen KI-Vorhaben werden so interdisziplinäre Projekte, die stets das Wohl und die Zukunft der Mitarbeitende berücksichtigen.
Fazit: Zeit für einen „KIck-Start“!
Der anfängliche Hype um Generative KI ebbt zwar langsam ab und weicht einer realistischeren Einschätzung der Möglichkeiten. Die Chancen für den Einsatz in Unternehmen bleiben jedoch hoch und können wichtige Wettbewerbsvorteile sichern – zum Beispiel, indem der Fachkräftemangel teilweise durch die Kombination aus vorhandenem Personal plus innovativen KI-Tools kompensiert wird.
Unternehmen, die von Beginn an alles richtig machen wollen, können anhand der oben genannten Tipps grundlegende Fragen klären und sich auf einen „Kick-Start“ optimal vorbereiten. Kleine Sprachmodelle bestechen vor allem durch ihre Kosteneffizienz. Wer die KI-Governance als Chance begreift und von Beginn an mitdenkt, erhält eine leistungsfähige und gesetzeskonforme KI-Lösung. Last, but not least: Wer die Belegschaft einbindet und abholt, reduziert Widerstände und kann Bedenken zerstreuen. Partner wie die IBM stehen bei all diesen Fragen an der Seite der Unternehmen, um von Anfang an einen gelungenen Start ins KI-Zeitalter zu ermöglichen.