Lokale KI: Was sie ist, wie sie funktioniert und wann sie sich lohnt

Lokale KI beschreibt, wo ein Modell läuft, nicht, wer es entwickelt hat. Ein offenes Modell eines großen KI-Unternehmens, das auf Ihrem eigenen Rechner läuft, ist lokale KI, während dasselbe offene Modell auf den Servern eines Cloud-Anbieters Cloud-KI ist. Lokale KI bedeutet außerdem in der Regel, ein bereits trainiertes Modell auszuführen, was als Inferenz bezeichnet wird, und nicht, ein Modell von Grund auf zu trainieren. Ein Modell auf dem eigenen Rechner zu betreiben, hat drei praktische Folgen.

• Die Modelldateien liegen auf Ihrem eigenen Datenträger. Sie können eine exakte Version festschreiben, die auch im nächsten Jahr noch genauso arbeitet; bei einem gehosteten Modell eines Anbieters ist das nicht garantiert.
• Auf einem Rechner, der Ihnen gehört, verlassen für die Verarbeitung keine Daten das Gebäude. Das ist der Hauptgrund, aus dem Unternehmen lokale KI in Betracht ziehen.
• Sobald Software und Modell installiert sind, antwortet der Rechner ohne Internetverbindung.

Ein Modell lokal zu betreiben, erfordert drei Schritte.

1. Sie installieren Software, die das Modell bereitstellt, etwa Ollama, LM Studio oder LocalAI. Die meisten dieser Programme akzeptieren dasselbe Anfrageformat wie OpenAI, sodass ein vorhandenes Tool in der Regel nur eine neue Adresse benötigt.
2. Sie laden ein offenes Modell in einer Größe herunter, die in den Arbeitsspeicher Ihres Rechners passt. Das Modell Qwen3.5-35B-A3B mit 35 Milliarden Parametern benötigt in voller Genauigkeit 64,6 Gigabyte und in einer komprimierten Fassung 12,2 Gigabyte, sodass beide Fassungen auf einen NVIDIA DGX Spark mit 128 Gigabyte Arbeitsspeicher passen.
3. Das Modell verarbeitet jeden Prompt auf Ihrem eigenen Prozessor oder Ihrer eigenen Grafikkarte und liefert die Antwort, ohne einen Cloud-Dienst aufzurufen. Auf einem DGX Spark erzeugt das komprimierte Qwen-Modell 74,4 Token pro Sekunde, das sind ungefähr 55 Wörter pro Sekunde.

Der Leitfaden KI lokal ausführen erklärt jeden Schritt, die Anforderungen an die Hardware und die Beurteilung der Ergebnisse.

Lokale KI wird für dieselbe Arbeit eingesetzt wie Cloud-KI, doch Unternehmen wählen sie dort, wo das Material sensibel ist oder dieselbe Aufgabe in großen Mengen wiederkehrt. Die folgenden Beispiele zeigen typische Einsatzfelder, jeweils mit veröffentlichten Ergebnissen offener Modelle, soweit es solche gibt.

• Ein Hersteller lässt ein Modell Fragen zu seiner technischen Dokumentation und seinen Wartungshandbüchern beantworten, sodass das Servicepersonal das richtige Vorgehen findet, ohne Tausende von Seiten zu durchsuchen.
• Eine Anwalts- oder Steuerkanzlei lässt ein Modell Parteien, Fristen und Beträge aus Verträgen und Mandantenkorrespondenz extrahieren und erste Zusammenfassungen zur Prüfung entwerfen.
• Eine Automatisierungsagentur bindet ein lokales Modell an Workflow-Software wie n8n an, sodass eingehende E-Mails automatisch sortiert und beantwortet werden. Bei AutomationBench-AA, das solche Workflows über Gmail, Slack und Salesforce hinweg simuliert, erfüllte das offene Modell DeepSeek V4.1 Flash 68,9 Prozent der Zielvorgaben, gegenüber 68,5 Prozent bei GPT-6 Astra; der Vergleich mit ChatGPT behandelt sieben solcher Aufgaben.
• Ein Finanzteam lässt ein Modell Tabellen, Exporte mit kommagetrennten Werten (CSV) und Protokolldateien dort auswerten, wo sie gespeichert sind. In der Studie DSGym beantwortete das offene Modell gpt-oss-120b 71 Prozent der einfachen Fragen zur Datenanalyse richtig, gegenüber 75 Prozent bei GPT-5. In unserem eigenen KI-Buchhaltungstest erstellte das offene Modell GLM-5.3 Flash aus 66 Rechnungen eine abgestimmte Excel-Arbeitsmappe und erzielte 90 von 95 Punkten.
• Eine Klinik transkribiert diktierte Befunde und entwirft Entlassbriefe auf ihrer eigenen Hardware, sodass Patientendaten keinen externen Dienst erreichen. Der Vergleich mit dem auf Schwärzung spezialisierten Unternehmen Limina führt sieben solcher Situationen nach Branchen auf.

Für ein Unternehmen hat lokale KI gegenüber Cloud-KI vier Vorteile.

• Das Unternehmen behält die Kontrolle über seine Daten und sein geistiges Eigentum: Verträge, Patientenakten oder Quellcode werden innerhalb des eigenen Netzwerks verarbeitet. Der Vergleich mit Limina zeigt sieben Situationen, in denen das ausschlaggebend ist.
• Es fallen keine Gebühren pro Anfrage oder pro Person an. Ein Team von 20 Personen zahlt für ChatGPT Business 6.000 $ im Jahr, und zwar jedes Jahr, während ein Rechner einmal bezahlt wird; der Vergleich mit ChatGPT nennt die aktuellen Preise.
• Der Rechner arbeitet in den eigenen Räumen des Unternehmens und ohne Internetverbindung, zum Beispiel in einem Produktionsnetz, das bewusst vom Internet getrennt ist.
• Das Unternehmen legt das Modell und seine Version fest, zum Beispiel ein bestimmtes Release von Qwen, DeepSeek oder GLM, sodass sich ein Ergebnis im nächsten Jahr genau so wiederholen lässt. Ein gehostetes Modell kann sich ohne Ankündigung ändern.

Ein offenes Modell, das auf einen Desktop-Rechner passt, ist weniger leistungsfähig als die besten Cloud-Modelle, und keine Anpassung schließt diese Lücke vollständig. Der Vergleich mit ChatGPT misst den Abstand Aufgabe für Aufgabe, und die Seite KI-Modell-Benchmarks sammelt die öffentlichen Bewertungen.

• Bei Webrecherche und Bildgenerierung liegen Cloud-Modelle weiterhin deutlich vorn. Bei BrowseComp, einem Test zum Auffinden schwer zugänglicher Fakten im Web, erreicht GPT-6 Astra 91,5 Prozent, die besten offenen Modelle, die auf einen einzelnen Rechner passen, dagegen 64 bis 68 Prozent.
• Der Arbeitsspeicher begrenzt die Größe des Modells, und diese Grenze steht am Tag des Kaufs fest. Ein DGX Spark mit 128 Gigabyte fasst komprimierte Modelle mit mehreren Dutzend Milliarden Parametern, nicht aber die größten offenen Modelle, die mehrere hundert Gigabyte benötigen.
• Jemand muss den Rechner installieren, aktualisieren und reparieren, und die Arbeitszeit dieser Person kostet in der Regel mehr als die Hardware.
• Wenn mehrere Personen gleichzeitig Anfragen senden, teilen sie sich den Rechner, und jede von ihnen wartet länger; ein Rechner für ein Team muss deshalb mit mehreren Nutzern gleichzeitig getestet werden.
• Ein Rechner, der den größten Teil des Tages ungenutzt bleibt, lässt sich gegenüber einem Abonnement von ChatGPT Plus für 20 $ pro Person und Monat nur schwer rechtfertigen.

Der Kaufpreis wird am häufigsten genannt, ist aber der kleinste Teil der Antwort. Vier Kostenpunkte entscheiden darüber, ob sich ein lokales Setup bezahlt macht.

• Der Rechner selbst, etwa ein NVIDIA DGX Spark, ist eine Investition von mehreren tausend Euro, die einmal bezahlt und wie jedes andere Anlagegut abgeschrieben wird.
• Strom und Platz sind der zweite Kostenpunkt. Der Rechner verbraucht im Betrieb Strom, im Leerlauf deutlich weniger, und er braucht einen ausreichend belüfteten Standort statt eines geschlossenen Schranks.
• Die Wartung ist der dritte Kostenpunkt: Updates, Modellwechsel und gelegentliche Ausfälle. In Wirtschaftlichkeitsrechnungen fehlt dieser Posten am häufigsten, und er wird am ehesten unterschätzt.
• Die derzeitige Alternative setzt den Maßstab. ChatGPT Business kostet 25 $ pro Person und Monat, 20 Nutzer kosten also 6.000 $ im Jahr; diesen Betrag muss der Rechner unterbieten, und diese Zahl sollte vor allem anderen berechnet werden.

Diese Frage lässt sich größtenteils auf dem Papier beantworten, bevor Hardware zum Einsatz kommt. Nehmen Sie eine konkrete Aufgabe statt einer Kategorie von Aufgaben und prüfen Sie sie anhand der folgenden vier Fragen.

• Wie oft fällt die Aufgabe an? Eine Aufgabe, die Hunderte Male am Tag läuft, etwa das Sortieren eingehender E-Mails, rechtfertigt eigene Hardware; ein Bericht, der einmal im Quartal geschrieben wird, tut das nicht.
• Wie gut muss das Ergebnis sein, und wer prüft es? Legen Sie den Maßstab fest, bevor Sie Antworten sehen, zum Beispiel mit zehn bis zwanzig Fällen, deren richtiges Ergebnis Sie bereits kennen; der Leitfaden zum lokalen Ausführen von KI erklärt das Vorgehen.
• Gibt es einen Grund, warum das Material das Gebäude nicht verlassen darf, etwa die berufliche Schweigepflicht, Patientendaten oder Geschäftsgeheimnisse? Wenn ja, entscheidet in der Regel schon dieser Grund allein die Frage.
• Wer wird den Rechner betreiben? Wenn sich niemand benennen lässt, ist das Unternehmen noch nicht bereit für einen eigenen Rechner, unabhängig davon, was die Benchmark-Ergebnisse zeigen.

Wer lokale KI gründlich testen will, muss den Rechner normalerweise zuerst besitzen. Unser Testlauf soll diese Lücke schließen.

• Wir betreiben einen NVIDIA DGX Spark mit einem namentlich genannten offenen Modell und stellen für Ihre eigenen Tools einen Standard-Endpunkt bereit, der aus einer Webadresse und einem Zugangsschlüssel besteht.
• Sie verbinden das Tool, das Sie bereits nutzen, zum Beispiel einen n8n-Workflow oder eine für die Schnittstelle von OpenAI entwickelte Anwendung, und führen ein oder zwei Stunden lang Ihre eigenen Aufgaben aus, zum Preis von 10 € pro Stunde, wie auf der Preisseite beschrieben.
• Ihre Messungen behalten Sie: wie lange jede Aufgabe gedauert hat, was das Modell geliefert hat und wo es falsch lag.