Lokale KI im Unternehmen: wann sie sich lohnt

Eine lokale KI ist ein Sprachmodell, das auf deinem eigenen Rechner oder Server läuft statt bei einem Cloud-Anbieter. Die meisten Anleitungen dazu drehen sich um Grafikkarten und Installationsschritte für den privaten PC. Für ein Unternehmen kommt die wichtigere Frage davor: Welche Daten dürfen in welche KI, wer kümmert sich um den Betrieb, und reicht die Qualität für die Aufgabe? Hier bekommst du die Einordnung, eine Übersicht je Datenart, die Kostenblöcke über drei Jahre und einen Bogen für dein Pilotprojekt als PDF.

Was lokale KI ist und für wen sie taugt

Hinter ChatGPT, Claude oder Gemini stehen Modelle, die nur beim Anbieter laufen. Daneben gibt es offene Modelle, deren Modelldateien frei herunterladbar sind, etwa Llama von Meta, Mistral, Qwen, Gemma von Google oder gpt-oss von OpenAI. Diese Modelle kannst du mit Werkzeugen wie Ollama oder LM Studio auf einem eigenen Rechner starten. Eine Oberfläche wie Open WebUI macht daraus ein Chatfenster für das Team.

Interessant ist das vor allem für Firmen mit vertraulichen Unterlagen: Kanzleien, Steuerbüros, Praxen, Versicherungsmakler, Ingenieurbüros oder Betriebe mit sensiblen Konstruktions- und Kalkulationsdaten. Wer nur Social-Media-Texte formulieren lässt, braucht dafür keine eigene Hardware.

Vier Betriebsformen, nicht zwei

„Cloud oder lokal“ greift zu kurz. In der Praxis gibt es vier Wege, und zwei davon werden oft verwechselt: Eine betreute Box, also ein eigener, abgeschotteter Server in einem Rechenzentrum in der EU, ist eine eigene Betriebsform. Die Daten verlassen dabei dein Haus, gehen aber an keinen KI-Anbieter.

Lokal heißt nicht automatisch DSGVO-konform

Manche Ratgeber erwecken den Eindruck, eine lokale KI sei automatisch DSGVO-konform. Das stimmt so nicht. Die DSGVO gilt für die Verarbeitung personenbezogener Daten im Unternehmen, egal auf welchem Server sie stattfindet. Der Vorteil von lokal ist ein anderer: Es fließen keine Daten an einen KI-Anbieter, und für den Modellbetrieb gibt es keine Übermittlung in ein Drittland. Solange nur dein eigenes Team die KI betreibt, brauchst du dafür auch keinen AV-Vertrag. Richtet ein Dienstleister die KI ein oder wartet sie aus der Ferne, brauchst du mit ihm einen solchen Vertrag, bei Berufsgeheimnissen zusätzlich eine Verpflichtung zur Verschwiegenheit.

Was die DSGVO beim Einsatz von Cloud-Diensten verlangt, steht im Beitrag KI und Datenschutz nach der DSGVO. Die Pflichten aus der KI-Verordnung findest du unter EU AI Act für Unternehmen.

Hardware: was du grob wissen musst

Eine Kaufberatung brauchst du für die Entscheidung noch nicht. Diese vier Punkte reichen, um ein Angebot oder eine Anleitung einzuordnen.

Prüfe außerdem die Lizenz des Modells. Nicht jedes offene Modell erlaubt jede gewerbliche Nutzung ohne Bedingungen, die Lizenztexte unterscheiden sich von Hersteller zu Hersteller.

Welche Daten in welche KI gehören

Die Entscheidung für lokal oder Cloud fällt nicht pauschal, sondern je Datenart. Das Schaubild ordnet vier typische Datenklassen den vier Betriebsformen zu. Es ist ein Ausgangspunkt für die Diskussion im Unternehmen, keine Freigabe: Verträge, Rechte und Rechtsgrundlage prüfst du im Einzelfall.

Die Kernaussagen des Schaubilds in Worten:

Besonders geschützte Daten

Gesundheitsdaten, religiöse oder weltanschauliche Überzeugungen und die Gewerkschaftszugehörigkeit zählen nach Artikel 9 DSGVO zu den besonderen Kategorien. Für sie brauchst du auch bei einer lokalen KI eine der Ausnahmen aus Artikel 9 Absatz 2 und häufig eine Datenschutz-Folgenabschätzung. Für Berufsgeheimnisträger wie Ärzte, Anwälte oder Steuerberater kommt die Schweigepflicht nach Paragraf 203 Strafgesetzbuch dazu. Ein externer Dienstleister darf an solche Daten nur, soweit das für seine Tätigkeit erforderlich ist, und er muss zur Verschwiegenheit verpflichtet sein. Für Anwälte und Steuerberater regeln die Berufsgesetze zusätzlich, wie Dienstleister einzubinden sind. Eine lokale KI ist hier oft der einfachere Weg, weil die Unterlagen an keinen KI-Anbieter gehen und höchstens ein zur Verschwiegenheit verpflichteter Dienstleister für die Wartung Zugriff hat.

Geschäftsgeheimnisse sind auch ohne Personenbezug heikel

Kalkulationen, Konstruktionspläne oder Angebotspreise fallen, soweit sie keine Personen betreffen, nicht unter die DSGVO, können aber genauso wertvoll sein. Hier entscheidest du vor allem nach Risiko: Was wäre, wenn diese Unterlage bei einem Dritten läge? Bedenke dabei: Gesetzlich geschützt ist ein Geschäftsgeheimnis nur, wenn du angemessene Maßnahmen zur Geheimhaltung triffst, und Verschwiegenheitsvereinbarungen mit Kunden können eine Weitergabe ausschließen. Bei einem Unternehmenstarif regelt der Vertrag, was der Anbieter mit deinen Daten darf. Bei lokaler KI liegt die Unterlage gar nicht erst woanders.

Was lokale KI gut kann und wo sie schwächer ist

Offene Modelle sind in den letzten zwei Jahren deutlich besser geworden. Die stärksten Cloud-Modelle erreichen sie bei schwierigen Aufgaben aber oft nicht, und auf Hardware für ein kleines Büro laufen ohnehin meist nur kleinere bis mittlere Modelle. Entscheidend ist deshalb, wofür du die KI einsetzt.

Wenn die KI auf deinen Dokumenten antwortet und die Quelle nennt, kannst du jede Aussage nachprüfen. Das gleicht einen Teil der Qualitätslücke aus. Eine fachliche Prüfung durch dein Team ersetzt es nicht. Wie sich die großen Cloud-Modelle untereinander unterscheiden, zeigt der Vergleich von Claude, ChatGPT und Gemini.

Was der Betrieb über drei Jahre bedeutet

Die Anschaffung ist bei lokaler KI nur ein Teil der Rechnung. Wer eine Box ins Büro stellt, übernimmt auch Strom, Pflege und Ausfallvorsorge. Bei einer betreuten Box im Rechenzentrum zahlst du dafür eine laufende Gebühr an den Dienstleister.

Die Kostenblöcke

Ein ausgedachtes Beispiel für eine Box im eigenen Büro, mit offengelegten Annahmen. Die Beträge sind keine Marktpreise und keine Preise von mir, setze deine eigenen Werte ein.

Dagegen stellst du den Cloud-Weg: Lizenzen je Person und Monat mal Anzahl der Personen mal 36 Monate, dazu die Zeit für Einrichtung und Schulung. Bei einer betreuten Box ersetzt die monatliche Gebühr die Zeilen Hardware, Strom, Pflege und Ausfallvorsorge, die Einrichtung bleibt. Welcher Weg günstiger ist, hängt stark von der Zahl der Nutzer ab. Mehr zu den Kostenarten steht im Beitrag Was KI im Unternehmen kostet.

Wer sich nach der Einführung kümmert

Eine lokale KI braucht nach der Einführung jemanden, der zuständig ist. Fehlt diese Person, veralten die Dokumente und Updates bleiben liegen. Kläre deshalb vorab drei Rollen. In kleinen Firmen kann eine Person mehrere übernehmen.

Lokal, Cloud oder beides

In vielen Firmen ist die beste Antwort eine Mischung: Sensible Unterlagen bleiben lokal, alles andere läuft über einen Cloud-Dienst mit Firmenvertrag. Damit das funktioniert, braucht es eine einfache Regel, die jeder im Team versteht.

Eine solche Regel ist wichtiger als jede Hardware-Entscheidung. Ohne sie landen die sensiblen Daten trotzdem im Cloud-Chat, weil es dort schneller geht. Wie du den Einsatz von Cloud-Diensten im Team regelst, beschreibt der Beitrag ChatGPT im Unternehmen einsetzen.

So startest du klein

Ich rate dazu, mit einem Pilotprojekt für eine einzige Aufgabe zu starten, das nach wenigen Wochen eine klare Antwort liefert. Eine lokale KI gleich für das ganze Unternehmen einzuführen, ist der teuerste Weg zur Enttäuschung.

1. 1

   Eine Aufgabe wählen. Zum Beispiel: „Das Team findet Antworten in unseren Arbeitsanweisungen ohne Nachfragen.“ Eine Aufgabe, eine Abteilung, ein Satz Unterlagen.

2. 2

   Datenklasse und Quellen festlegen. Ordne die Unterlagen einer Datenklasse aus dem Schaubild zu. Lege fest, welche Ordner die KI lesen darf und wer die Antworten sehen soll.

3. 3

   Echte Testfragen sammeln. Schreib 20 Fragen auf, die dein Team tatsächlich stellt, jeweils mit der richtigen Antwort und dem Dokument, in dem sie steht.

4. 4

   Klein aufbauen und testen. Ein einzelner Rechner reicht für das Pilotprojekt. Lass ein paar Leute vier bis sechs Wochen damit arbeiten.

5. 5

   Messen und entscheiden. Prüfe Antwortqualität, Quellenangaben, Zugriffsrechte und gesparte Zeit an deinen Testfragen. Erst dann legst du Betriebsform und Zuständige fest.

Wenn du Firmenwissen mit geregelten Zugriffsrechten nutzen möchtest, unterstütze ich dich bei Einrichtung und Betrieb, im Haus oder als betreute Box in einem Rechenzentrum in der EU. Wie das abläuft, steht auf der Seite lokale KI für Unternehmen. Seit 2004 baue ich in Münster Websites, Shops und Schnittstellen für kleine und mittlere Unternehmen im DACH-Raum, eine lokale KI lässt sich deshalb in bestehende Ablagen und Systeme einbinden.

Häufige Fragen zur lokalen KI

Was ist eine lokale KI?

Eine lokale KI ist ein Sprachmodell, das auf einem Rechner oder Server läuft, den du selbst kontrollierst. Eingaben und Dokumente gehen dabei an keinen KI-Anbieter. Möglich wird das durch offene Modelle wie Llama, Mistral, Qwen, Gemma oder gpt-oss, die du mit Werkzeugen wie Ollama oder LM Studio startest.

Ist eine lokale KI automatisch DSGVO-konform?

Nein. Die DSGVO gilt für die Verarbeitung personenbezogener Daten im Unternehmen, auch auf dem eigenen Server. Du brauchst weiterhin eine Rechtsgrundlage, Zugriffsrechte, Löschfristen und technische Schutzmaßnahmen. Der Vorteil ist, dass keine Daten an einen KI-Anbieter fließen. Wartet ein Dienstleister die KI, brauchst du mit ihm einen Vertrag zur Auftragsverarbeitung.

Welche Hardware braucht eine lokale KI im Unternehmen?

Entscheidend ist der Grafik- oder Arbeitsspeicher. In komprimierter Form braucht ein Modell mit 8 Milliarden Parametern grob 5 bis 6 GB, eines mit 70 Milliarden 40 bis 45 GB. Für eine Person reicht ein gut ausgestatteter Arbeitsplatzrechner, für ein Team, das gleichzeitig fragt, ein Server mit mehr Speicher.

Ist eine lokale KI so gut wie ChatGPT?

Bei schwierigen Aufgaben oft nicht, weil auf Büro-Hardware meist nur kleinere bis mittlere Modelle laufen. Für Fragen an eigene Dokumente, Zusammenfassungen und Standardtexte reicht die Qualität oft aus, vor allem wenn die KI ihre Quelle nennt und dein Team die Antwort prüfen kann.

Kann ich ChatGPT lokal installieren?

ChatGPT selbst läuft nur bei OpenAI. OpenAI hat mit gpt-oss aber offene Modelle veröffentlicht, die du lokal betreiben kannst. Sie sind nicht identisch mit den Modellen hinter ChatGPT. Ebenso laufen offene Modelle anderer Hersteller lokal, etwa Llama, Mistral, Qwen oder Gemma.

Braucht eine lokale KI eine Internetverbindung?

Für die Antworten nicht, das Modell rechnet auf deiner Hardware. Für den Download von Modellen, für Updates und für eine Fernwartung brauchst du eine Verbindung. Sinnvoll ist, der Box nur genau diese ausgehenden Verbindungen zu erlauben.

Was kostet eine lokale KI für ein Unternehmen?

Zur Rechnung gehören Hardware oder eine Gebühr für die betreute Box, die Einrichtung, Strom, Pflegezeit und Datensicherung, über mehrere Jahre gerechnet. Eine Pauschale gibt es nicht, weil Modellgröße, Zahl der Nutzer und Menge der Dokumente den Aufwand stark verändern. Ein ausgedachtes Beispiel mit allen Kostenblöcken steht im Abschnitt zum Betrieb.