Wie eine dezentrale KI-Architektur Ihren Mittelstand unabhängig macht

Warum Unabhängigkeit von KI-Plattformen zur Chefsache wird

In vielen mittelständischen Unternehmen laufen erste produktive KI-Anwendungen bereits. Oft basieren sie auf der Infrastruktur eines einzelnen großen Cloud-Anbieters. Das wirkt zunächst pragmatisch, birgt aber ein strategisches Risiko. Wenn Sie Konstruktionswissen, Serviceprozesse, Angebotslogik oder Netzleitdaten in proprietäre KI-Dienste auslagern, geben Sie einen Teil Ihrer Handlungsfähigkeit ab.

Der Branchenverband Bitkom berichtet, dass eine deutliche Mehrheit der mittelständischen Unternehmen KI für strategisch wichtig hält. Nur ein kleiner Teil betreibt sie jedoch wirklich produktiv. In dieser Lücke entsteht der Druck, schnelle Lösungen zu wählen, die kurzfristig funktionieren, aber langfristig abhängig machen. Preisänderungen, neue Nutzungsbedingungen oder Modellabschaltungen durch den Plattformbetreiber wirken dann direkt auf Fertigung, Service oder Netzbetrieb.

Vendor-Lock-in ist ein strategisches Risiko, kein Technikdetail

Wer seine kritischen Geschäftsprozesse auf eine einzelne KI-Plattform verlagert, verschiebt Verhandlungsmacht, Compliance-Risiko und Innovationsfähigkeit nach außen. Eine dezentrale, portable Architektur holt diese Kontrolle zurück ins Unternehmen.

Hinzu kommen neue Vorgaben aus Brüssel. Der EU AI Act verlangt ab 2025/2026 eine nachvollziehbare Kontrolle über eingesetzte KI-Systeme. Der EU Data Act stärkt das Recht, Daten zu portieren und Anbieter ohne unzumutbare Hürden zu wechseln. Wenn Sie Ihre KI-Landschaft heute auf einen proprietären Stack zentrieren, erfüllen Sie diese Anforderungen später nur mit großem Aufwand.

Was eine dezentrale KI-Architektur ausmacht

Eine dezentrale KI-Architektur bedeutet nicht, dass jede Anwendung im eigenen Rechenzentrum laufen muss. Entscheidend ist, dass Sie Modelle, Daten und Workflows so gestalten, dass Sie portabel bleiben. Sie dürfen nicht untrennbar mit einem einzelnen Anbieter verschmelzen. Die Spielregeln legen Sie fest, nicht die Plattform.

Dazu gehören mehrere Grundsätze. Erstens trennen Sie Anwendungslogik und Modellzugriff. So können Sie verschiedene Modelle parallel nutzen und bei Bedarf austauschen. Zweitens behalten Sie die Datenhaltung unter eigener Kontrolle, idealerweise EU-gehostet. KI-Dienste greifen nur über klar definierte Schnittstellen auf ausgewählte Daten zu. Drittens setzen Sie eine Orchestrierungsschicht ein, die föderierte Szenarien erlaubt. So kombinieren Sie zum Beispiel On-Premise-KI für sensible Inhalte mit externen Diensten für unkritische Aufgaben.

Für den Mittelstand ist wichtig, dass diese Architektur kein Selbstzweck wird. Sie soll konkrete Anwendungsfälle wie Angebotskalkulation, Serviceunterstützung oder Netzprognosen tragen. Gleichzeitig brauchen Sie eine echte Exit-Strategie. Das heißt: Wenn ein Anbieter seine Konditionen ändert oder ein neues Modell besser passt, können Sie wechseln, ohne Ihre Prozesse neu zu erfinden.

Architekturbausteine für souveräne KI im Mittelstand

In der Praxis hat sich eine Kombination aus wenigen klaren Bausteinen bewährt. Diese lassen sich schrittweise einführen und passen zu typischen IT-Landschaften im Mittelstand. Dazu gehören gewachsene ERP-Standardsoftware, Fachanwendungen und eigene Datenbanken.

Mit diesen Bausteinen setzen Sie typische Szenarien wie KI-gestützte Angebotserstellung, Service-Assistenz oder Wissensportale so auf, dass Sie nicht an einen einzigen Anbieter gebunden sind. Ein föderiertes Design erlaubt es, sensible Teile der Logik On-Premise zu halten. Nur unkritische Komponenten werden in externe Dienste ausgelagert.

Genau hier setzt sensified an. Im Discovery-Workshop klären Sie gemeinsam, welche KI-Experimente, Schattenlösungen und Datenquellen bereits existieren und wo Abhängigkeiten entstanden sind. Darauf aufbauend entwirft ein Senior-Duo aus KI-Architekt und Domänenexperte eine Architektur, die zu Ihrer Branche, Ihren Compliance-Anforderungen und Ihrer vorhandenen IT passt.

Praxisbeispiel: Dezentrale KI im Maschinenbau

Bei einem Sondermaschinenbauer mit 280 Mitarbeitenden und globalem Service hatte sich über zwei Jahre eine starke Abhängigkeit von einem US-Hyperscaler aufgebaut. Konstruktionswissen, Servicedaten und Angebotslogik lagen in dessen KI-Diensten. Änderungen bei Preisen oder Nutzungsbedingungen wirkten direkt in die Fertigung hinein. Exportkontrollierte Inhalte durften das Haus eigentlich nicht über eine fremde Cloud verlassen. Trotzdem waren sie in Prompts und Workflows gelandet, die tief im proprietären Stack des Anbieters steckten. Ein Anbieterwechsel war faktisch nicht mehr möglich.

Im gemeinsamen Projekt mit sensified fand im Discovery-Workshop zunächst eine Inventur der bestehenden KI-Nutzung statt. Das Senior-Duo identifizierte, welche Teile der Logik und Daten exportkontrolliert waren. Anschließend wurde geprüft, wie sich TISAX-Anforderungen, EU AI Act, EU Data Act und BAFA-Vorgaben einhalten lassen. Im anschließenden BOT-Mandat entstand eine dezentrale Architektur mit EU-gehosteten Komponenten unter Kontrolle des Unternehmens. Kritische Konstruktions- und Exportdaten wurden in ein eigenes, abgesichertes Wissenssystem überführt, das On-Premise und in einem europäischen Rechenzentrum gespiegelt läuft. Die KI-Anwendungen für Angebotserstellung und Service greifen nun über eine Orchestrierungsschicht auf mehrere Modelle zu, die bei Bedarf austauschbar sind.

Das Ergebnis ist eine belastbare Exit-Fähigkeit. Exportkontrollierte Inhalte bleiben im Haus. Workflows und Prompts sind dokumentiert und nicht mehr an eine einzelne Plattform gebunden. Wenn sich Konditionen ändern oder ein anderes Modell besser passt, kann der Anbieter gewechselt werden, ohne dass Daten verloren gehen oder die Fertigung stillsteht. Die KI-Unterstützung in Konstruktion, Vertrieb und Service bleibt erhalten, aber die Abhängigkeit ist deutlich reduziert.

Praxisbeispiel: Dezentrale KI bei Energie- und Versorgern

Ein kommunaler Versorger mit 600 Mitarbeitenden und Netzleitstelle wollte KI nutzen, um Netz- und Verbrauchsdaten besser auszuwerten und den Bürgerservice zu entlasten. Erste Pilotanwendungen liefen bereits in der Cloud eines US-Anbieters. Netz- und Verbrauchsdaten unterliegen jedoch KRITIS-Anforderungen und dürfen nicht unkontrolliert in eine fremde Cloud abfließen. Zudem schafft eine KI-Anwendung, die nur in der Plattform eines US-Anbieters läuft, eine politische und rechtliche Abhängigkeit. Diese steht im Konflikt mit dem Versorgungsauftrag. Der US CLOUD Act erlaubt Behördenzugriff auf Daten von US-Anbietern, auch wenn diese in der EU gehostet werden.

Gemeinsam mit sensified wurde im Discovery-Workshop analysiert, welche Daten in welchen KI-Piloten verwendet wurden. Zudem wurde geprüft, wie sich KRITIS, DSGVO, EU AI Act und IT-Sicherheitsgesetz konkret auswirken. Das Senior-Duo entwarf eine Architektur, in der alle kritischen Netz- und Verbrauchsdaten im eigenen Rechenzentrum des Versorgers verbleiben. KI-Modelle für Prognosen und Textverarbeitung wurden so integriert, dass Sie über eine föderierte Schicht angesteuert werden. Für sensible Leitstellenanwendungen kommen On-Premise-Modelle zum Einsatz. Unkritische Bürgerservice-Anwendungen laufen über EU-gehostete Dienste, die vertraglich und technisch klar von US-Rechtszugriffen abgegrenzt sind.

Im BOT-Mandat baute sensified diese Architektur in den produktiven Betrieb. Das Team übernahm den Betrieb der KI-Komponenten und übergab sie anschließend samt Dokumentation und Schulung an das interne Team. Der Versorger verfügt nun über Datenkontrolle im Haus, eine KRITIS-konforme Betriebsfähigkeit und keine Behörden-Zugriffslücke über eine fremde Cloud. KI-gestützte Prognosen und Serviceprozesse sind möglich, ohne den Versorgungsauftrag zu gefährden.

Praxisbeispiel: Dezentrale KI in Pharma und Chemie

Bei einem Hersteller in Pharma und Spezialchemie mit 180 Mitarbeitenden standen Forschungsdaten, Rezepturen und Zulassungsunterlagen im Mittelpunkt. Diese Informationen sind das eigentliche Kapital des Unternehmens. Erste KI-Experimente hatten begonnen, diese Daten in eine Anwendung zu integrieren, die ausschließlich in der Cloud eines einzelnen Anbieters lief. Das Konzentrationsrisiko war aus Sicht der Geschäftsführung nicht akzeptabel. GxP- und Audit-Anforderungen verlangten nachvollziehbare Datenhoheit und einen dokumentierten Betrieb. Beides steht im Widerspruch zu einem engen Anbieter-Lock-in.

Im Discovery-Workshop mit sensified wurden alle laufenden und geplanten KI-Aktivitäten erfasst. Diese wurden mit GxP, DSGVO, EU AI Act und Geheimnisschutz abgeglichen. Das Senior-Duo entwickelte eine dezentrale Architektur, in der Forschungsdaten und Rezepturen in einem streng kontrollierten Datenraum verbleiben. Dieser Datenraum interagiert nur über definierte Schnittstellen mit KI-Modellen. Zulassungsunterlagen werden in einem auditierbaren Dokumentenraum gehalten, in dem jede KI-gestützte Verarbeitung protokolliert wird. Modelle für Textanalyse und Wissensabfrage können ausgetauscht werden, ohne dass die regulatorische Dokumentation neu aufgesetzt werden muss.

Im BOT-Mandat setzte sensified diese Architektur um. Ein Monitoring macht GxP-relevante Prozesse nachvollziehbar. Nach der Betriebsphase übergab sensified das System an das interne IT- und Qualitätsmanagementteam. Der Hersteller verfügt nun über Datenhoheit über seine Forschungs-IP, einen auditierbaren Betrieb und kein Konzentrationsrisiko mehr auf einen einzelnen Anbieter. KI unterstützt Forschung und Zulassung, ohne die Kontrolle über das eigene Wissen abzugeben.

Wie sensified den Weg zur dezentralen KI führt

Viele klassische KI-Beratungen liefern Strategiepapiere oder einzelne Prototypen. Die langfristige Architektur und den Betrieb überlassen sie dem Kunden. sensified übernimmt dagegen die Rolle des strategischen KI-Leads im Unternehmen. Architektur, Umsetzung und Betriebsfähigkeit liegen in einer Hand, bis das System stabil läuft und das Wissen im Haus verankert ist.

Der Einstieg erfolgt immer über einen strukturierten Discovery-Workshop. Dort wird die bestehende KI-Landschaft aufgenommen, inklusive Schatten-KI, Pilotprojekten und bereits eingegangenen Abhängigkeiten von Hyperscaler-Plattformen. Gemeinsam mit Geschäftsführung, IT und Fachbereichen werden tragfähige Anwendungsfälle priorisiert. Anschließend wird bewertet, welche davon zwingend eine dezentrale, portable Architektur benötigen. Das Ergebnis ist ein klarer Fahrplan, der technische, organisatorische und regulatorische Schritte verbindet.

Im nächsten Schritt übernimmt ein festes Senior-Duo aus KI-Architekt und Domänenexperte die KI-Leitung im Unternehmen. Dieses Duo entwirft die Zielarchitektur, stimmt sie mit IT, Compliance und Fachbereichen ab und führt die Umsetzung. Es gibt keine wechselnden Junior-Teams, sondern konstante Ansprechpartner, die sowohl die Technik als auch die branchenspezifischen Anforderungen verstehen. Die Umsetzung erfolgt im BOT-Mandat. sensified baut die Systeme, betreibt sie betriebssicher und übergibt sie anschließend samt Dokumentation, Schulungen und Betriebsprozessen an das interne Team.

Geführtes Mandat statt Tool-Sammlung

Eine souveräne KI-Architektur entsteht nicht aus einzelnen Tools, sondern aus einer klar geführten Verantwortungskette. Discovery-Workshop, Senior-Duo und BOT-Mandat sorgen dafür, dass Architektur, Betrieb und Wissenstransfer zusammenpassen.

sensified arbeitet EU-gehostet und TISAX- sowie ISO-orientiert. Das ist besonders für regulierte Branchen wie Automotive, Energie, Pharma oder Chemie relevant, in denen Audits und Nachweispflichten zum Alltag gehören. Mit über 29 umgesetzten Projekten im Mittelstand und 15 Jahren Erfahrung aus regulierten Industrieprogrammen bringt das Team die nötige Tiefe mit, um dezentrale KI-Architekturen nicht nur zu entwerfen, sondern auch im Alltag zu betreiben.

Compliance: DSGVO, EU AI Act und US CLOUD Act im Blick behalten

Eine dezentrale KI-Architektur ist auch eine Antwort auf wachsende regulatorische Anforderungen. DSGVO, EU AI Act und EU Data Act verlangen, dass Unternehmen wissen, wo Ihre Daten liegen, wie sie verarbeitet werden und wie sie den Anbieter wechseln können. Eine reine Plattformabhängigkeit erschwert diese Nachweise, weil zentrale Entscheidungen außerhalb des eigenen Einflussbereichs getroffen werden.

Der EU AI Act fordert für viele KI-Systeme eine nachvollziehbare Dokumentation von Datenquellen, Modellnutzung und Risikomanagement. Der EU Data Act stärkt die Datenportabilität und das Recht, Anbieter ohne unzumutbare Hürden zu wechseln. Gleichzeitig erlaubt der US CLOUD Act US-Behörden den Zugriff auf Daten von US-Anbietern, auch wenn diese in der EU gehostet werden. Für mittelständische Unternehmen, die mit kritischen Infrastrukturen, Exportkontrolle oder geistigem Eigentum arbeiten, entsteht dadurch ein Spannungsfeld, das aktiv gestaltet werden muss.

Eine dezentrale, portable KI-Architektur hilft, diese Anforderungen zu erfüllen. Sie ermöglicht es, sensible Daten in EU-gehosteten Systemen unter eigener Kontrolle zu halten und nur klar definierte Ausschnitte für KI-Verarbeitung freizugeben. Sie schafft technische und organisatorische Voraussetzungen, um Anbieter zu wechseln, ohne die Compliance-Dokumentation neu aufzusetzen. Zudem erlaubt sie föderierte Szenarien, in denen besonders kritische Anwendungsfälle vollständig On-Premise laufen.

sensified integriert diese regulatorischen Anforderungen von Beginn an in die Architekturarbeit. Im Discovery-Workshop werden relevante Regelwerke identifiziert. Im BOT-Mandat werden Monitoring, Dokumentation und Betriebsprozesse so aufgebaut, dass Audits bestanden werden können. Die Verantwortung für die Einhaltung der Vorgaben bleibt beim Unternehmen. Die technische und organisatorische Grundlage entsteht jedoch gemeinsam.

Nächste Schritte

Wenn Sie den Eindruck haben, dass Ihre aktuellen oder geplanten KI-Anwendungen zu stark an einzelne Plattformen gebunden sind, ist jetzt der richtige Zeitpunkt für eine dezentrale Architektur. Ein strukturierter Discovery-Workshop schafft Klarheit über bestehende Abhängigkeiten, regulatorische Risiken und realistische Handlungsoptionen.

Im nächsten Schritt kann ein Senior-Duo von sensified mit Ihnen eine Zielarchitektur entwerfen, die zu Ihrer Branche, Ihrer IT-Landschaft und Ihren Compliance-Anforderungen passt. Auf dieser Basis entscheiden Sie, welche Anwendungsfälle zuerst in ein BOT-Mandat überführt werden, um schnell betriebsfähige, aber souveräne KI-Systeme aufzubauen.

Vereinbaren Sie ein Strategiegespräch, um zu klären, wie eine dezentrale, portable KI-Architektur in Ihrem Unternehmen konkret aussehen kann und welche Schritte dafür in den nächsten drei bis sechs Monaten sinnvoll sind.

Wer das konkrete Angebot zur Unabhängigkeit sucht, findet unter souveräne KI für den Mittelstand den passenden Einstieg. Welches Risiko aus einer reinen US-Cloud-Bindung entsteht, vertieft US-Cloud-Abhängigkeit und ihr Risiko für den Mittelstand. Wie sich die regulatorische Seite ordnen lässt, zeigt der Leitfaden zu KI-Compliance im Mittelstand, und wie eine externe KI-Leitung das operativ trägt, beschreibt externe KI-Leitung für den Mittelstand.