Ein Mitarbeiter kopiert eine interne Kalkulation in ein kostenloses KI-Tool, um schnell eine Zusammenfassung zu erstellen. Drei Sekunden später liegen die Daten auf einem Server in den USA. Ohne Vertrag, ohne Kontrolle, ohne Rückholmöglichkeit. Die Lösung heißt: Corporate LLM.

Kostenlose KI-Tools – Was passiert mit Ihren Eingaben?

Wer kostenlose KI-Tools im Unternehmen einsetzt, gibt Daten an Dritte weiter. Das klingt abstrakt, hat aber konkrete Konsequenzen.

Bei den meisten öffentlichen KI-Diensten gilt: Ihre Eingaben können zum Training neuer Modelle verwendet werden. Informationen, die Sie heute eingeben, könnten morgen in den Antworten anderer Nutzer auftauchen – in zusammengefasster Form, aber potenziell erkennbar. Die Daten werden auf Servern außerhalb der EU gespeichert, was nach der DSGVO eine Drittlandübermittlung darstellt.

Der bekannteste Vorfall: Im April 2023 nutzten Mitarbeiter eines großen Technologiekonzerns die kostenlose Version eines öffentlichen KI-Dienstes, um internen Quellcode und vertrauliche Sitzungsprotokolle zu optimieren. Die Daten flossen in den Trainingspool des Anbieters. Der Konzern verbot daraufhin die Nutzung aller externen KI-Tools im Unternehmen.

Das ist kein Einzelfall. In deutschen Unternehmen passiert täglich Ähnliches – oft ohne dass die Geschäftsführung davon weiß. Das Phänomen heißt Shadow AI und ist einer der häufigsten Compliance-Verstöße im Mittelstand. Was genau ins Tool darf und was nicht, erklären wir im Beitrag KI und Datenschutz: Was darf ins Tool – und was nicht?

Was ist ein Corporate LLM?

Ein Corporate LLM ist ein großes Sprachmodell, das exklusiv für ein Unternehmen betrieben wird. Anders als bei öffentlichen Tools behalten Sie die volle Kontrolle über Ihre Daten. Es gibt drei typische Varianten:

• Enterprise-Cloud-Lösung – Dienste wie Azure OpenAI oder AWS Bedrock, bei denen ein Auftragsverarbeitungsvertrag (AVV) nach Art. 28 DSGVO sicherstellt, dass Ihre Daten nicht zum Training verwendet und auf EU-Servern verarbeitet werden.
• Self-Hosted Modelle – Open-Source-Modelle wie Llama oder Mistral, die auf eigenen Servern oder in einer privaten Cloud laufen. Keine Daten verlassen das Unternehmen.
• DSGVO-konforme Plattformen – Anbieter wie Langdock bündeln verschiedene KI-Modelle unter einer Oberfläche und stellen Datenschutz, Zugriffskontrolle und Nachvollziehbarkeit sicher – speziell für den europäischen Markt.

Der entscheidende Unterschied: Bei einem Corporate LLM gibt es kein Training mit Ihren Eingaben, keinen Datentransfer in Drittländer und keine unbekannten Empfänger.

5 Gründe, warum ein Corporate LLM die bessere Wahl ist

Der Wechsel von öffentlichen KI-Tools zu einer unternehmenseigenen Lösung ist keine Frage des Budgets – sondern der Verantwortung. Diese fünf Gründe machen den Unterschied:

1. Datensouveränität

Ihre Firmendaten bleiben dort, wo sie hingehören: bei Ihnen. Kein externer Anbieter kann Ihre Eingaben einsehen, speichern oder weiterverwenden. Sie entscheiden, welche Daten verarbeitet werden und wo sie gespeichert sind.

2. DSGVO-Konformität

Mit einem AVV und EU-Serverstandort erfüllen Sie die Anforderungen der DSGVO – auch bei Prüfungen durch Aufsichtsbehörden. Die Art. 44 ff. DSGVO zur Drittlandübermittlung werden nicht berührt, wenn die Verarbeitung in der EU bleibt.

3. Kontrolle über das Modellverhalten

Unternehmenseigene Sprachmodelle lassen sich auf Ihre Branche, Ihre Prozesse und Ihre Sprache abstimmen. Sie können unternehmensspezifisches Wissen einbinden und die Antwortqualität gezielt verbessern – das geht mit einem öffentlichen Tool nicht.

4. Nachvollziehbarkeit und Governance

Wer hat wann welche Anfrage gestellt? Enterprise-Lösungen bieten Audit-Logs, Zugriffskontrolle und Rollenmanagement. Das ist nicht nur für die IT-Sicherheit relevant, sondern auch für die Anforderungen des EU AI Act.

5. Wettbewerbsschutz

Interne Kalkulationen, Strategiepapiere, Produktentwicklungen und Kundendaten in einem öffentlichen Tool sind ein Wettbewerbsrisiko. Ein Corporate LLM schließt dieses Risiko aus – vollständig.

Der rechtliche Rahmen: DSGVO und EU AI Act

Seit dem 2. Februar 2025 gelten die ersten Bestimmungen des EU AI Act. Zusammen mit der DSGVO entsteht ein verbindlicher Rechtsrahmen, der den Einsatz von KI in Unternehmen reguliert. Wer diesen Rahmen ignoriert, riskiert empfindliche Strafen.

Die wichtigsten Punkte:

• Art. 28 DSGVO – Wer KI-Dienste nutzt, beauftragt einen Dienstleister mit der Datenverarbeitung. Ohne Auftragsverarbeitungsvertrag ist das rechtswidrig.
• Art. 44 ff. DSGVO – Die Übermittlung personenbezogener Daten in Drittländer (z. B. USA) ist nur unter strengen Bedingungen zulässig. Viele kostenlose KI-Tools erfüllen diese nicht.
• Art. 4 EU AI Act – Unternehmen müssen sicherstellen, dass Mitarbeiter über ausreichende KI-Kompetenz verfügen – dokumentiert und nachweisbar.

„Die Anbieter und Betreiber von KI-Systemen ergreifen Maßnahmen, um nach besten Kräften sicherzustellen, dass ihr Personal und andere Personen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI-Systemen befasst sind, über ein ausreichendes Maß an KI-Kompetenz verfügen.“ – Art. 4 EU AI Act

Im Klartext: Nicht nur das Tool muss passen. Auch das Wissen der Mitarbeiter muss nachweisbar vorhanden sein. Wer KI ohne Schulung und ohne Regeln einsetzt, verstößt seit Februar 2025 gegen geltendes Recht.

So starten Sie mit einem Corporate LLM

Der Wechsel zu einer unternehmenseigenen KI-Lösung muss kein Großprojekt sein. Drei Schritte genügen für den Einstieg:

1. Bestandsaufnahme machen. Welche KI-Tools werden bereits genutzt? Welche Daten fließen dort hinein? In den meisten Unternehmen ist die Antwort: deutlich mehr als gedacht. Genau hier liegt das größte Risiko – und der größte Hebel.
2. Anforderungen definieren. Brauchen Sie eine Cloud-Lösung mit AVV oder ein selbst gehostetes Modell? Wie viele Mitarbeiter sollen Zugriff haben? Welche Prozesse sollen unterstützt werden? Wie Sie die richtigen Prozesse identifizieren, beschreiben wir im Beitrag KI im Mittelstand: Struktur statt Tool.
3. Pilotprojekt starten. Beginnen Sie mit einem abgegrenzten Bereich – zum Beispiel der internen Dokumentation oder der Angebotserstellung. Messen Sie die Ergebnisse nach vier Wochen. Erst dann skalieren.

Der häufigste Fehler: Unternehmen vergleichen Preise statt Risiken. Ein Corporate LLM kostet mehr als ein kostenloses Tool – aber ein Datenschutzvorfall kostet ein Vielfaches. Die Investition in Datensouveränität ist keine Ausgabe, sondern eine Absicherung.