KI lokal ausführen: Setups, Modelle und welche Kombinationen funktionieren
Benjamin Spinola, Gründer
Veröffentlicht Aktualisiert 34 Minuten Lesezeit
Künstliche Intelligenz (KI) muss nicht auf den Servern eines Anbieters laufen: Offene Modelle lassen sich herunterladen und auf einem Rechner ausführen, der Ihnen gehört. Dieser Leitfaden erklärt mit Stand Oktober 2026, wie Sie KI lokal ausführen: was zum Betrieb eines Modells gehört und was dafür laufen muss, drei Hardware-Setups, die offenen Modelle nach Größe und welche davon auf welchem Rechner gut laufen, gefolgt von den ersten Schritten, der Beurteilung der Ergebnisse und den Kosten. Die Seite über lokale KI erklärt, was lokale KI ist und wann sie ihre Kosten wert ist.
Inferenz und Training: Was es bedeutet, KI lokal auszuführen
Inferenz: ein fertiges Modell für Antworten nutzen
Ein Sprachmodell ist eine große Datei voller Zahlen, der sogenannten Parameter oder Gewichte, die sein Hersteller zuvor aus einer riesigen Textmenge berechnet hat. Diese fertige Datei zu nutzen, um eine Anfrage zu beantworten, wird als Inferenz bezeichnet, und genau das ist fast immer gemeint, wenn von lokal ausgeführter KI die Rede ist.
Die Inferenz hat zwei Phasen, die beide in Token pro Sekunde gemessen werden, wobei ein Token ein Wort oder ein Teil eines Wortes ist. Das Lesen der Eingabe, die sogenannte Prompt-Verarbeitung, hängt vor allem von der Rechenleistung ab. Das Schreiben der Antwort, die sogenannte Generierung, hängt vor allem davon ab, wie schnell der Rechner die Gewichte aus dem Speicher zum Prozessor überträgt; diese Größe wird als Speicherbandbreite bezeichnet.
Training und Fine-Tuning: verändern, was ein Modell weiß
Das Training berechnet die Gewichte überhaupt erst und erfordert ungleich mehr Rechenaufwand: Meta gibt für Llama 3.1 8B 1,46 Millionen Stunden auf H100-Grafikkarten an, das sind etwa 167 Jahre auf einer einzigen Karte (unsere Berechnung). Beim Fine-Tuning, der Feinabstimmung, wird ein bestehendes Modell mit Ihren eigenen Beispielen so angepasst, dass es einem Format, einem Stil oder einer Aufgabe genauer folgt.
Um jedes Gewicht zu verändern, sind laut Microsofts Fachartikel zu ZeRO aus dem Jahr 2019 über das Training großer Modelle mindestens 16 Byte Speicher pro Parameter nötig, für die Gewichte und die Werte, die das Training zu jedem von ihnen vorhält; bei 8 Milliarden Parametern sind das etwa 128 Gigabyte (GB), noch vor den Arbeitsdaten des Trainings. Ein einzelner Rechner trainiert deshalb meist nur eine kleine Ergänzung, die sogenannte Low-Rank Adaptation (LoRA), häufig auf einer Kopie des Modells, die auf 4 Bit pro Gewicht komprimiert ist; dieses Verfahren wird als Quantized Low-Rank Adaptation (QLoRA) bezeichnet. Für 8 Milliarden Parameter nennt das Fine-Tuning-Werkzeug Unsloth 6 GB Grafikspeicher als Minimum für QLoRA.
Was ein lokaler Rechner kann und was nicht
- Ein lokaler Rechner kann offene Modelle ausführen, deren Dateien und Arbeitsdaten in seinen Speicher passen und deren Format seine Software unterstützt, und er kann Modelle mit LoRA oder QLoRA per Fine-Tuning anpassen.
- Er kann kein leistungsfähiges Modell von Grund auf trainieren: Der Rechenaufwand, den Meta für sein größtes Llama-3-Modell angibt, würde selbst bei der theoretischen Spitzenleistung des DGX Spark von NVIDIA, eines weiter unten beschriebenen Desktop-Rechners, etwa 1.200 Jahre dauern (unsere Berechnung).
- Er erreicht nicht bei jeder Aufgabe die führenden gehosteten Modelle: Bei BrowseComp, einem Test zum Auffinden schwer zugänglicher Fakten im Web, gibt OpenAI für GPT-6 Astra 91,5 Prozent an, während die besten offenen Modelle, die auf einen einzelnen Rechner passen, auf der Rangliste von Steel vom 4. September 2026 64 bis 68 Prozent erreichten, wie unser Vergleich mit ChatGPT darlegt.
Was laufen muss
Ein funktionierendes Setup besteht aus drei Schichten: den Modelldateien, dem Programm, das sie ausführt, und den Anwendungen, über die Menschen sie nutzen. Die meisten Probleme entstehen an den Verbindungsstellen zwischen den Schichten; prüfen Sie Ihre eigenen Tools deshalb früh.
Die Modelldateien
Ein Modell wird als Dateien verbreitet, die seine Gewichte enthalten. Sie werden von Hugging Face, der wichtigsten öffentlichen Website für Modelle, oder aus den Katalogen von Ollama und LM Studio heruntergeladen, meist in mehreren Fassungen, die jedes Gewicht mit einer unterschiedlichen Anzahl von Bits speichern. Gewichte mit weniger Bits zu speichern, wird als Quantisierung bezeichnet; sie macht ein Modell kleiner und schneller, kann aber Genauigkeit kosten.
Die Größe einer Fassung lässt sich vorab abschätzen: Die Parameter in Milliarden, multipliziert mit den Bits pro Gewicht und geteilt durch acht, ergeben Gigabyte. Qwen3.8-27B mit 27,78 Milliarden Parametern benötigt bei 16 Bit 55,6 GB, und seine 4-Bit-Fassungen übersteigen die 13,9 GB der Formel, weil einige Teile in höherer Genauigkeit bleiben: Am 26. Oktober 2026 reichten sie von 14,3 GB bei Unsloth bis 18 GB bei Ollama, und die Fassung von Inferact in NVFP4, dem 4-Bit-Format von NVIDIA, umfasste 26,4 GB.
Ollama und LM Studio führen außerdem Cloud-Modelle, die auf den Servern des Anbieters laufen; am 26. Oktober 2026 boten sie GLM-5.3-Flash und DeepSeek-V4.1-Flash nur in dieser Form an.
Die Inferenz-Laufzeitumgebung (Ollama, LM Studio, llama.cpp, vLLM)
Die Inferenz-Laufzeitumgebung lädt das Modell, führt die Berechnung aus und stellt eine Adresse für Anfragen bereit, meist im Format der Programmierschnittstelle (API) von OpenAI, sodass Tools, die für OpenAI geschrieben wurden, stattdessen ein lokales Modell nutzen können.
- Ollama ist der einfachste Einstieg: Es lässt sich unter macOS und Windows als Desktop-Anwendung oder unter Linux mit einem einzigen Befehl installieren, und seine Bibliothek führte am 26. Oktober 2026 260 Modellfamilien auf.
- LM Studio ist eine Desktop-Anwendung, die den Speicherbedarf eines Modells vor dem Laden abschätzt; seit dem 8. Juli 2025 ist es für die berufliche Nutzung kostenlos, es ist aber nicht Open Source.
- llama.cpp ist die Open-Source-Engine, auf der viele Desktop-Tools aufbauen, und sein eigener Server, llama-server, verarbeitet mehrere Anfragen gemeinsam.
- vLLM stellt ein Modell für viele Nutzer bereit, vor allem auf NVIDIA-Grafikkarten, und veröffentlicht fertige Softwarepakete, sogenannte Container, für die Grace-Blackwell-Systeme von NVIDIA einschließlich des DGX Spark, erfordert aber mehr Einrichtungsaufwand.
Die Software rund um das Modell: Gedächtnis, Websuche und Tools
Ein Modell allein erinnert sich zwischen Unterhaltungen an nichts und kann weder suchen noch handeln. Diese Funktionen stammen von der Software, die es umgibt.
- Chat-Anwendungen wie Open WebUI, AnythingLLM und Jan geben lokalen Modellen ein Chatfenster; Open WebUI ergänzt ein Gedächtnis über Unterhaltungen hinweg und die Suche in hochgeladenen Dokumenten, während Jan das Gedächtnis am 26. Oktober 2026 als demnächst verfügbar aufführte.
- Die Websuche ist nie lokal, weil die Suchanfrage an einen Suchdienst geht; die Websuche von Ollama zum Beispiel ist ein Cloud-Dienst, der ein Ollama-Konto voraussetzt.
- Tools ermöglichen es einem Modell, Dateien zu lesen, Datenbanken abzufragen oder Programme auszuführen, meist über das Model Context Protocol (MCP). Programmieragenten, also Programme, mit denen ein Modell mehrere Schritte einer Programmieraufgabe plant und ausführt, etwa OpenCode, Cline und Aider, verbinden sich über dieselbe OpenAI-kompatible Adresse mit einem lokalen Modell wie jede andere Anwendung.
Drei Setups, um KI lokal auszuführen
Die drei Setups unterscheiden sich vor allem im Arbeitsspeicher, der bestimmt, welche Modelle hineinpassen, und in der Speicherbandbreite, die bestimmt, wie schnell ein Modell schreibt.
Setup 1: ein gewöhnlicher Rechner
Ein gewöhnlicher Rechner ist der Laptop oder Desktop-Rechner, den Sie bereits besitzen; in der Steam Hardware Survey vom September 2026 hatten die meisten Computer 16 oder 32 GB Arbeitsspeicher. Macs mit Apple silicon teilen einen gemeinsamen Arbeitsspeicher zwischen Prozessor und Grafik, zum Beispiel 16 bis 32 GB mit 153 Gigabyte pro Sekunde (GB/s) in einem MacBook Air mit M5. Eine Desktop-Grafikkarte wie eine RTX 5060 Ti mit 16 GB oder eine RTX 5090 mit 32 GB ist deutlich schneller, aber nur für Modelle, die in ihren eigenen Speicher passen.
Setup 2: ein dedizierter Hochleistungsrechner
Ein dedizierter Hochleistungsrechner wird für KI angeschafft und dient einer oder mehreren Personen. Rechner mit gemeinsamem Arbeitsspeicher fassen große Modelle bei mäßiger Geschwindigkeit: Rechner mit dem Ryzen AI Max+ 395 von AMD, etwa der Framework Desktop, haben bis zu 128 GB mit 256 GB/s, und der Mac Studio mit M5 Ultra hat bis zu 512 GB mit 1,2 Terabyte pro Sekunde (TB/s), wobei Apple die Option mit 512 GB am 26. Oktober 2026 als ab Ende Oktober erhältlich aufführte.
Grafik-Workstations fassen weniger Speicher pro Karte, sind aber deutlich schneller: Die RTX PRO 6000 Blackwell von NVIDIA hat 96 GB mit 1.792 GB/s, und vier ihrer Max-Q-Editionen, die auf eine geringere Leistungsaufnahme begrenzt sind, passen in eine einzige Workstation.
Setup 3: ein NVIDIA DGX Spark
Der NVIDIA DGX Spark ist ein kleiner Desktop-Rechner, der auf dem GB10-Chip aufbaut; dieser kombiniert einen Arm-Prozessor mit 20 Kernen und einen Blackwell-Grafikprozessor mit gemeinsamem Arbeitsspeicher, in der ursprünglichen Ausführung 128 GB mit 273 GB/s. Er läuft mit DGX OS, der Ubuntu-Linux-Version von NVIDIA. Sieben weitere Hersteller verkaufen Rechner mit demselben Chip, sechs von ihnen bieten seit dem 23. Oktober 2026 eine Ausführung mit 64 GB an, und NVIDIA gibt an, dass ein Rechner mit 128 GB Modelle mit bis zu 200 Milliarden Parametern bewältigt.
Seine Stärke ist der Arbeitsspeicher, seine Schwäche die Bandbreite: Im Test von LMSYS vom Oktober 2025, der Ollama verwendete, schrieb gpt-oss-20b auf einem DGX Spark 49,7 Token pro Sekunde und auf einer RTX 5090 205, während llama.cpp im Februar 2026 mit demselben Modell auf dem DGX Spark 83,43 erreichte; Werte aus unterschiedlicher Software sind daher nicht direkt vergleichbar. Er eignet sich deshalb für Modelle von etwa 65 bis 100 GB, die keine Grafikkarte für Privatanwender fasst; der Abschnitt zu den Kosten beschreibt, wie Sie einen solchen Rechner vor dem Kauf testen.
Die drei Setups im direkten Vergleich
| Setup | Arbeitsspeicher | Speicherbandbreite | Preis | Leistungsaufnahme | Gleichzeitig bediente Nutzer |
|---|---|---|---|---|---|
| Setup 1: ein gewöhnlicher Rechner | Die meisten haben 16 oder 32 GB Arbeitsspeicher im System und 8 oder 16 GB auf der Grafikkarte. | Sie reicht von 153 GB/s bei einem MacBook Air mit M5 bis zu 1.792 GB/s bei einer RTX 5090. | Ein MacBook Air mit M5 kostet ab 1.299 $. Am 22. Oktober 2026 lag der niedrigste Preis einer RTX 5060 Ti mit 16 GB in den Vereinigten Staaten bei 789 $, und im August 2026 lag der Medianpreis einer RTX 5090 beim Händler Newegg bei etwa 4.700 $. | NVIDIA gibt für die RTX 5060 Ti 180 Watt (W) und für die RTX 5090 575 W an. | Er eignet sich für eine Person; eine Messung mit mehreren Nutzern haben wir nicht gefunden. |
| Setup 2: ein dedizierter Hochleistungsrechner | Rechner mit gemeinsamem Arbeitsspeicher haben bis zu 128 GB mit einem Ryzen AI Max+ 395 oder einem M5 Max und 96, 256 oder 512 GB mit einem M5 Ultra, und eine Workstation hat 96 GB pro Grafikkarte. | Sie reicht von 256 GB/s bei einem Ryzen AI Max+ 395 bis zu 1.792 GB/s bei einer RTX PRO 6000. | Ein Framework Desktop mit 128 GB ist für 3.449 $ gelistet, aber nicht vorrätig, ein Mac Studio mit M5 Ultra und 96 GB kostet ab 5.499 $, und allein eine RTX PRO 6000 war am 12. August 2026 für 16.000 $ gelistet, während sie nicht vorrätig war. | Signal65 maß an der Steckdose 196 W für den Ryzen AI Halo von AMD, einen kleinen Desktop-Rechner mit einem Ryzen-AI-Max+-Prozessor, beim Betrieb von gpt-oss-120b; Apple gibt für den Mac Studio bis zu 480 W an, und NVIDIA gibt für die RTX PRO 6000 bis zu 600 W an, als Max-Q-Edition 300 W. | Er bedient eine Person oder ein kleines Team, und eine Grafik-Workstation bedient mehr Personen gleichzeitig. |
| Setup 3: ein NVIDIA DGX Spark | Er hat 128 GB oder in der kleineren Ausführung 64 GB. | Die Ausführung mit 128 GB überträgt 273 GB/s; die Bandbreite der Ausführung mit 64 GB hat NVIDIA nicht angegeben. | Für die Founders Edition von NVIDIA mit 128 GB wurde ein Preis von 6.950 $ gemeldet, die Ausführung mit 64 GB kostet ab 4.999 $, und Dell führt seinen Rechner mit 128 GB und demselben Chip für 6.593 $. | ServeTheHome maß bei vielen Arbeitslasten mit Sprachmodellen 60 bis 90 W, und das Netzteil ist für 240 W ausgelegt. | vLLM beschreibt ihn als Zielsystem für einen Nutzer oder wenige gemeinsam verarbeitete Anfragen und beschränkte seinen eigenen Test auf vier Anfragen gleichzeitig. |
Open-Weight-Modelle nach Größe
Open-Weight-Modelle sind Modelle, deren Hersteller die trainierten Dateien für alle zum Herunterladen veröffentlichen. In einem dichten Modell arbeitet jeder Parameter an jedem Token; in einem Mixture-of-Experts-Modell sind die Parameter in Gruppen aufgeteilt, die Experten genannt werden und von denen nur wenige an jedem Token arbeiten, sodass das gesamte Modell in den Arbeitsspeicher passen muss, aber fast so schnell schreibt wie ein deutlich kleineres. Ein Name wie Qwen3.5-35B-A3B bedeutet 35 Milliarden Parameter insgesamt, von denen 3 Milliarden aktiv sind. Die folgenden Größen sind 4-Bit-Downloads von Ollama, LM Studio oder Hugging Face, abgerufen am 26. Oktober 2026.
Kleine Modelle (bis etwa 10 Milliarden Parameter)
Kleine Modelle passen auf fast jeden aktuellen Rechner, sind aber die am wenigsten leistungsfähige Klasse und eignen sich daher für kurze, klar umrissene Aufgaben wie das Zusammenfassen, das Entwerfen, das Klassifizieren von Texten und das Beantworten von Fragen zu Bildern.
- Gemma 4 E2B und E4B von Google (31. März 2026) verarbeiten Text, Bilder und Audio; ihre Downloads umfassen 4,6 und 6,6 GB.
- Qwen3.5-4B und Qwen3.5-9B (27. Februar 2026) umfassen als Download 3,3 und 6,6 GB und decken 201 Sprachen ab.
- Ministral 3 8B von Mistral AI (2. Dezember 2025) umfasst als Download 6,0 GB und Phi-4-mini von Microsoft 2,5 GB.
- Nemotron 3.5 Bolt E4B von NVIDIA (23. Oktober 2026) hat 8 Milliarden Parameter, davon 4 Milliarden effektiv, und umfasst als Download 7,9 GB.
Mittelgroße Modelle (etwa 12 bis 40 Milliarden Parameter)
Mittelgroße Modelle sind die größten, die auf eine Grafikkarte mit 24 oder 32 GB passen, und ihre Hersteller beschreiben sie als geeignet für das Programmieren, für Agentenaufgaben und für längere Dokumente.
- Qwen3.8-27B (14. August 2026) ist ein dichtes Modell, das Qwen als stark bei Programmier- und Agentenaufgaben beschreibt; der Download umfasst 18 GB.
- Gemma 4 gibt es als 12B mit Audioeingabe (8,0 GB), als Mixture-of-Experts-Modell 26B A4B (18 GB) und als dichtes 31B (20 GB).
- gpt-oss-20b von OpenAI (5. August 2025) hat 3,6 Milliarden aktive Parameter und wird mit 13,8 GB veröffentlicht, sodass es innerhalb von 16 GB Arbeitsspeicher läuft.
- Muse Glimmer-30B von Meta (August 2026) ist für Programmieragenten auf einer einzelnen Grafikkarte für Privatanwender ausgelegt; der Download umfasst 18 GB.
Große Mixture-of-Experts-Modelle (etwa 80 bis 250 Milliarden Parameter)
Große Mixture-of-Experts-Modelle benötigen bei 4 Bit etwa 65 bis 120 GB: Fassungen bis etwa 100 GB eignen sich für einen Rechner mit 128 GB, Fassungen bis etwa 80 GB für eine Workstation mit einer Karte mit 96 GB, und größere Fassungen benötigen zwei Karten. Mit 5 bis 12 Milliarden aktiven Parametern schreiben sie dort mit brauchbarer Geschwindigkeit.
- gpt-oss-120b von OpenAI hat 117 Milliarden Parameter, davon 5,1 Milliarden aktiv, und umfasst als Download 65 GB.
- Mistral Small 4 (16. März 2026) hat trotz seines Namens 119 Milliarden Parameter; weder die Bibliothek von Ollama noch der Katalog von LM Studio führte es am 26. Oktober 2026, und die Fassung von Unsloth auf Hugging Face umfasst 73,8 GB.
- Nemotron 3.5 Super VL von NVIDIA (15. Oktober 2026, 120 Milliarden Parameter) liest Text, Bilder und Video, und seine NVFP4-Fassung umfasst 75,0 GB.
- Qwen3.8-Flash-Next (August 2026) speichert 176 Milliarden Parameter, von denen 51 Milliarden eine Nachschlagetabelle für Wortfolgen bilden, eine sogenannte N-Gramm-Embedding-Tabelle, die bei Bedarf vom Laufwerk gelesen werden kann. Unsloth nennt für seine 4-Bit-Fassungen 96 bis 114 GB Speicher, wobei System- und Grafikspeicher zusammengezählt werden, und für seine 1-Bit-Fassung 75 GB; die NVFP4-Fassung von NVIDIA umfasst 132,7 GB.
- Mistral Medium 3.5 (80 GB bei 4 Bit) ist ein dichtes Modell, sodass für jedes Token alle seine Gewichte gelesen werden, und nach der Berechnung im nächsten Abschnitt schreibt ein DGX Spark damit höchstens etwa 3,4 Token pro Sekunde.
Die größten offenen Modelle und warum sie nicht auf einen einzelnen Desktop-Rechner passen
Die größten offenen Modelle kommen den führenden gehosteten am nächsten: Am 28. September 2026 bewertete Artificial Analysis GLM-5.3-Flash bei GDPval-AA, einer Bewertung fertiger beruflicher Arbeitsergebnisse, höher als GPT-6 Astra (1.641 gegenüber 1.542), in seinem Intelligence Index, einer kombinierten Punktzahl aus vielen Tests, jedoch niedriger (42 gegenüber 53), wie unsere Seite KI-Modell-Benchmarks darlegt. Keines dieser Modelle passt bei 4 Bit in 128 GB, und die größten übersteigen sogar die 512 GB des größten Mac Studio.
Jeder Weg um diese Grenze herum hat seinen Preis: Mehrere Rechner zu verbinden, vervielfacht den Preis, Fassungen mit 1 bis 3 Bit pro Gewicht können Genauigkeit kosten, und einen Teil des Modells vom Laufwerk zu lesen, verlangsamt die erste Antwort, wie unsere Messung im nächsten Abschnitt zeigt.
- GLM-5.3-Flash von Z.ai (26. August 2026, 320 Milliarden Parameter) umfasst in seiner kleinsten 4-Bit-Fassung 156,8 GB; die Fassungen von Unsloth mit weniger Bits, zum Beispiel 108,7 GB bei 2 Bit, passen in 128 GB, laufen aber nur mit Unsloths eigener Software, weil die Änderung an llama.cpp, die sie benötigen, am 1. Oktober 2026 geschlossen wurde, ohne übernommen zu werden.
- DeepSeek-V4.1-Flash (10. September 2026, am 17. Oktober 2026 als DeepSeek-V4.1-Flash-1017 aktualisiert) hat offizielle Gewichte von 510,3 GB; Unsloth gibt an, dass seine 1-Bit-Fassung der aktualisierten Version mit 128 bis 145 GB Speicher funktioniert, allerdings nur, weil eine große Tabelle des Modells vom Solid-State-Drive gelesen wird.
- Muse Spark Open von Meta benötigt laut Meta bei 4 Bit mindestens 700 GB, und die offiziellen Gewichte von Kimi K3 von Moonshot AI umfassen 1.560,9 GB.
Kontextlänge: warum lange Dokumente zusätzlichen Speicher benötigen
Das Kontextfenster ist die Textmenge, die ein Modell auf einmal berücksichtigt. Für jedes Token darin hält das Modell Arbeitsdaten vor, den sogenannten Key-Value-Cache, dessen Größe pro Token 2 multipliziert mit der Anzahl der Schichten, der Anzahl der Key-Value-Heads, der Größe jedes Heads und den Bytes pro Zahl beträgt; die Konfigurationsdatei des Modells nennt die mittleren drei Werte. Nach unserer Berechnung benötigt Llama 3.1 8B bei 16 Bit 4,19 GB für 32.000 Token und 16,78 GB für 128.000 Token; der zweite Wert ist mehr als dreimal so groß wie sein 4-Bit-Modell mit 4,9 GB bei Ollama.
Den Cache mit 8 Bit zu speichern, halbiert ihn bei einem sehr geringen Verlust an Genauigkeit, so Ollama; dessen Dokumentation setzt den Standardkontext bei weniger als 24 Gibibyte (GiB, eine etwas größere Einheit als das Gigabyte) Grafikspeicher auf nur 4.000 Token und empfiehlt für Agenten und Programmierwerkzeuge mindestens 64.000 Token.
Mehr als Chat: Modelle für Sprache, Bilder und Suchindizes
- Für die Spracherkennung ist Whisper large-v3-turbo von OpenAI (99 Sprachen) die etablierte Wahl, während Cohere Transcribe (14 Sprachen) am 26. Oktober 2026 auf dem Open ASR Leaderboard eine niedrigere durchschnittliche Wortfehlerrate hatte, also einen geringeren Anteil falsch transkribierter Wörter: 5,42 gegenüber 7,83 Prozent.
- Für die Bildgenerierung kommt FLUX.2 [klein] 4B von Black Forest Labs mit etwa 13 GB Grafikspeicher aus, und Z-Image-Turbo von Tongyi passt in 16 GB.
- Für die Suche in Ihren eigenen Dokumenten wandeln Embedding-Modelle Text in Zahlen um, die seine Bedeutung erfassen; EmbeddingGemma 2 von Google (6. Oktober 2026) umfasst als Download je nach Größe 304 Megabyte bis 1,3 GB.
Lizenzen für die kommerzielle Nutzung
Ein Open-Weight-Modell ist nicht automatisch für jede kommerzielle Nutzung freigegeben; die folgenden Zusammenfassungen sind verkürzt und geben den Stand vom 26. Oktober 2026 wieder, und maßgeblich ist der Lizenztext.
- Die Lizenzen Apache 2.0 und MIT, die eine kommerzielle Nutzung unter wenigen Bedingungen erlauben, gelten für Gemma 4, Qwen3.5, Qwen3.8-27B, gpt-oss, Mistral Small 4, GLM-5.3-Flash und DeepSeek-V4.1-Flash.
- Die Qwen Community License von Qwen3.8-Flash-Next verlangt eine gesonderte Lizenz, um das Modell als Dienst anzubieten, und für Produkte, die hauptsächlich für KI-gestütztes Programmieren oder Büroarbeit entwickelt wurden, während eine rein interne Nutzung ausgenommen ist.
- NVIDIA veröffentlicht seine Nemotron-3.5-Modelle unter der OpenMDW License 1.1, die nach Angabe von NVIDIA eine kommerzielle Nutzung erlaubt, und für seine NVFP4-Fassung von Qwen3.8-Flash-Next gelten laut der am 15. Oktober 2026 abgerufenen Modellkarte sowohl die NVIDIA Open Model License als auch die Qwen Community License.
- Mistral Medium 3.5 gewährt kommerzielle Rechte nur Unternehmen mit einem Monatsumsatz von höchstens 20 Millionen US-Dollar.
Welche Modelle auf welchem Rechner gut laufen
| Rechner | Kleine Modelle, bis etwa 10 Milliarden Parameter | Mittelgroße Modelle, etwa 12 bis 40 Milliarden Parameter | Große Mixture-of-Experts-Modelle, etwa 80 bis 250 Milliarden Parameter | Die größten offenen Modelle, etwa 280 Milliarden Parameter und mehr |
|---|---|---|---|---|
| Ein Laptop mit 16 GB Arbeitsspeicher | Gemma 4 E4B und Qwen3.5-9B passen hinein und eignen sich für Entwürfe, Zusammenfassungen, Übersetzungen und Fragen zu Bildern. It's FOSS maß für ein Modell mit 8 Milliarden Parametern auf einem älteren Laptop, der nur seinen Prozessor nutzte, etwa 3 Token pro Sekunde, und nach der unten beschriebenen Berechnung schreibt ein MacBook Air mit M5 mit einem Modell von 6,6 GB höchstens etwa 23; diese Grenze ist ein Näherungswert, weil die Teile für Bilder und Audio nicht für jedes Token gelesen werden. | Gemma 4 12B passt hinein und bewältigt etwas anspruchsvollere Schreib- und Bildaufgaben, während gpt-oss-20b zwar für 16 GB ausgelegt ist, aber wenig Platz für das Betriebssystem und Dokumente lässt. Modelle mit 27 bis 31 Milliarden Parametern passen nicht hinein. | Diese Modelle passen nicht hinein, weil schon gpt-oss-120b 65 GB benötigt. | Diese Modelle passen nicht hinein: Selbst die 2-Bit-Fassung von GLM-5.3-Flash von Unsloth umfasst 108,7 GB. |
| Ein Desktop-Rechner mit einer Grafikkarte mit 16 bis 32 GB | Diese Modelle laufen schnell: Llama 2 7B bei 4 Bit (etwa 3,8 GB), das kleine Testmodell der Leistungsübersichten von llama.cpp, schrieb auf einer RTX 5060 Ti etwa 93 Token pro Sekunde und auf einer RTX 5090 etwa 300. Aktuelle kleine Modelle mit 6,6 GB schreiben langsamer, ungefähr im Verhältnis zu ihrer Größe, was für interaktiven Chat dennoch ausreicht. | Eine Karte mit 16 GB fasst gpt-oss-20b, das der Leitfaden von llama.cpp auf einer RTX 5060 Ti mit 111,5 Token pro Sekunde und auf einer RTX 5090 mit 282,5 maß. Modelle mit 27 bis 31 Milliarden Parametern benötigen 24 oder 32 GB oder müssen teilweise im Arbeitsspeicher des Systems liegen, was Unsloth für Qwen3.8-27B auf Karten mit 16 GB beschreibt und was sie verlangsamt. | Diese Modelle übersteigen den Speicher der Karte, doch ein Teil eines Modells kann im Arbeitsspeicher des Systems bleiben: Der Leitfaden von llama.cpp zu gpt-oss nennt für gpt-oss-120b auf einer RTX 5090, bei der ein Teil der Experten im Arbeitsspeicher des Systems liegt, zu Beginn einer Unterhaltung etwa 30 Token pro Sekunde. | Diese Modelle passen nicht hinein. |
| Ein Rechner mit 128 GB gemeinsamem Arbeitsspeicher, etwa ein Mac Studio mit M5 Max oder ein Rechner mit Ryzen AI Max+ 395 | Mehrere kleine Modelle passen nebeneinander hinein, zum Beispiel für Chat, Sprache und Dokumentensuche. Das kleine Testmodell schrieb auf der Grafik der Serie Ryzen AI Max+ 300 etwa 54 Token pro Sekunde und auf einem M5 Max etwa 120. | Diese Modelle passen sogar bei 16 Bit hinein, doch dichte Modelle schreiben langsam: Signal65 maß das dichte Qwen3.6-27B auf dem Ryzen AI Halo von AMD mit 13 Token pro Sekunde, gegenüber 63,6 für das Mixture-of-Experts-Modell Qwen3.6-35B-A3B, das sich daher besser für interaktive Arbeit eignet. | gpt-oss-120b, Nemotron 3.5 Super VL und Mistral Small 4 passen hinein. Signal65 maß gpt-oss-120b auf dem Ryzen AI Halo mit 56,2 Token pro Sekunde, und der Rechner las Prompts mit 809 Token pro Sekunde, dem 0,45-Fachen der Rate des DGX Spark im selben Test; das eignet sich für Programmier- und Dokumentenarbeit einer Person. Für die anderen beiden Modelle haben wir keine veröffentlichte Geschwindigkeit gefunden. | GLM-5.3-Flash passt nur in den Fassungen von Unsloth unter 4 Bit hinein, etwa mit 108,7 GB bei 2 Bit, die nur mit Unsloths eigener Software laufen, und Unsloth gibt an, dass seine 1-Bit-Fassung von DeepSeek-V4.1-Flash-1017 auf Rechnern mit 128 GB funktioniert, wenn eine große Tabelle vom Laufwerk gelesen wird. Beide können bei so wenigen Bits an Genauigkeit verlieren, und eine veröffentlichte Geschwindigkeit haben wir nicht gefunden. |
| Eine Grafik-Workstation mit 96 GB Videospeicher oder mehr | Diese Modelle laufen etwa so schnell wie auf einer RTX 5090: Das kleine Testmodell schrieb auf einer RTX PRO 6000 Blackwell etwa 281 Token pro Sekunde. | Diese Modelle passen sogar bei 16 Bit hinein, und LMSYS maß gpt-oss-20b auf einer RTX PRO 6000 Blackwell mit 215 Token pro Sekunde. | gpt-oss-120b passt auf eine einzelne Karte mit 96 GB, mit etwa 30 GB Reserve für den Kontext, und schrieb im Leitfaden von llama.cpp auf einer RTX PRO 6000 Max-Q 170,62 Token pro Sekunde. Qwen3.8-Flash-Next passt bei 4 Bit nicht auf eine einzelne Karte mit 96 GB, weil Unsloth für diese Fassungen 96 bis 114 GB angibt; es benötigt daher zwei Karten. | Vier Karten vom Typ RTX PRO 6000 Max-Q mit zusammen 384 GB fassen die 4-Bit-Fassung von GLM-5.3-Flash von NVIDIA (204,4 GB) und, nach unserem Vergleich mit den 305 GB, die Unsloth für seine 4-Bit-Fassung angibt, DeepSeek-V4.1-Flash-1017, wenn eine große Tabelle vom Laufwerk gelesen wird; eine veröffentlichte Geschwindigkeit haben wir nicht gefunden. |
| Ein NVIDIA DGX Spark mit 128 GB gemeinsamem Arbeitsspeicher | Diese Modelle schreiben langsamer als auf einer Grafikkarte: Das kleine Testmodell erreichte etwa 57 Token pro Sekunde, gegenüber etwa 93 auf einer RTX 5060 Ti. Für kleine Modelle allein ist eine Grafikkarte die bessere Anschaffung. | Diese Modelle passen sogar bei 16 Bit hinein. Das Projekt llama.cpp maß gpt-oss-20b mit 83,43 Token pro Sekunde und Qwen3-Coder-30B-A3B mit 61,06, was schnell genug für interaktives Programmieren ist, und Signal65 maß das dichte Qwen3.6-27B mit 11,9. | Für diese Klasse ist der Rechner gebaut: Im Benchmark von llama.cpp schrieb gpt-oss-120b 58,72 Token pro Sekunde und las Prompts mit 2.443,91 Token pro Sekunde, und im Test von vLLM vom 1. Juni 2026 schrieb die NVFP4-Fassung von Nemotron 3 Super von NVIDIA, dem Vorgänger von Nemotron 3.5 Super VL, 22,7 bis 23,7. In unserem einzelnen Test auf einem Lenovo-Rechner mit demselben Chip schrieb die NVFP4-Fassung von Qwen3.8-Flash-Next von NVIDIA, von der ein Teil vom Laufwerk gelesen wurde, mit ausgeschaltetem Reasoning und ausgeschalteter Multi-Token-Vorhersage 16,5 und las neuen Text mit nur etwa 100, wie unterhalb der Tabelle beschrieben. | Wie auf den anderen Rechnern mit 128 GB passen GLM-5.3-Flash und DeepSeek-V4.1-Flash-1017 nur in den Fassungen von Unsloth unter 4 Bit hinein, mit den dort beschriebenen Einschränkungen. NVIDIA gibt an, dass zwei verbundene Rechner bis zu 400 Milliarden Parameter bewältigen; das haben wir nicht gemessen. |
Wie wir die Matrix ausgefüllt haben
Jede Zelle beantwortet, ob 4-Bit-Fassungen der typischen Modelle mit Platz für das Betriebssystem und ein Dokument hineinpassen und wie schnell die Kombination in einer veröffentlichten oder in unserer eigenen Messung lief, gemäß den Quellen, die am 26. Oktober 2026 abgerufen wurden und in der Anmerkung aufgeführt sind.
Wo eine Zelle eine Schätzung angibt, handelt es sich um eine ausgewiesene Berechnung: Ein Modell liest seine aktiven Gewichte für jedes Token, das es schreibt, einmal aus dem Speicher, sodass die Speicherbandbreite geteilt durch ihre Größe eine Obergrenze für die Generierungsgeschwindigkeit ist. Gemessene Werte hängen von der Software, den Einstellungen und der Länge der Unterhaltung ab: Auf einem DGX Spark schrieb gpt-oss-120b im Benchmark von llama.cpp zu Beginn 58,72 Token pro Sekunde und nach 32.768 Token 42,76, im Test von Signal65 57,8.
Was wir selbst auf einem GB10-Rechner gemessen haben
Unser Labor betreibt offene Modelle auf Rechnern mit 128 GB und dem GB10-Chip von NVIDIA, dem Chip des DGX Spark, die von ASUS und Lenovo hergestellt werden. Jeder der folgenden Werte stammt aus einem einzelnen datierten Durchlauf.
- Am 12. Oktober 2026 schrieb die NVFP4-Fassung von Qwen3.8-Flash-Next von NVIDIA, bereitgestellt mit vLLM 0.30.0 auf dem Lenovo-Rechner, über eine Antwort von 600 Token 16,5 Token pro Sekunde, mit dem ersten Token nach 1,19 Sekunden, in einem einzelnen Test mit zwei ausgeschalteten Funktionen: Reasoning, bei dem das Modell vor der Antwort Zwischenschritte ausschreibt, und Multi-Token-Vorhersage, die mehrere Token auf einmal vorschlägt.
- Diese Fassung mit 132,7 GB läuft auf einem einzelnen Rechner mit 128 GB nur, weil ihre N-Gramm-Embedding-Tabelle bei Bedarf vom Laufwerk gelesen wird. Am 14. Oktober 2026 wurde Text, den der Rechner zuvor nicht gelesen hatte, mit nur etwa 100 Token pro Sekunde verarbeitet, höchstwahrscheinlich aus diesem Grund, sodass ein Prompt von 16.000 Token 148 Sekunden auf das erste Token wartete, gegenüber 7,3 Sekunden, nachdem der Text einmal gelesen worden war.
- In unserem KI-Buchhaltungstest, der eine Aufgabe aus GDPval verwendet, dem Satz echter beruflicher Aufgaben von OpenAI, erzielte eine frühere Fassung von Qwen3.8-Flash-Next am 21. September 2026 80 von 95 Punkten, wobei 46 von 264 Salden auf Rechnungsebene falsch waren, und Qwen3.8-27B ohne Reasoning erzielte am 15. September 2026 in drei Versuchen, die nach 30 Minuten abgebrochen wurden, 39, 35 und 9 Punkte. Die Prüfer wussten, welches Modell welche Arbeitsmappe erstellt hatte, die Prüfung ist keine offizielle GDPval-Bewertung, und eine einzelne Aufgabe ist keine Rangliste.
Ihr erstes Modell ausführen, Schritt für Schritt
Auf einem gewöhnlichen Rechner: Ollama oder LM Studio installieren und ein passendes Modell wählen
- Stellen Sie fest, wie viel Arbeitsspeicher der Rechner hat und ob er eine Grafikkarte mit eigenem Speicher besitzt; bei einem Mac teilen sich beide einen gemeinsamen Speicher.
- Installieren Sie Ollama von ollama.com oder LM Studio von lmstudio.ai; auf einem Mac setzt LM Studio Apple silicon voraus.
- Wählen Sie ein Modell, dessen Download deutlich kleiner ist als der freie Arbeitsspeicher, etwa Gemma 4 E4B bei 16 GB; der Befehl ollama run gemma4:e4b lädt es herunter und startet es.
- Erhöhen Sie die Kontextlänge in Richtung der Länge Ihres längsten echten Dokuments, in den Einstellungen von Ollama oder mit seiner Variablen OLLAMA_CONTEXT_LENGTH, weil der Standardwert unter 24 GiB Grafikspeicher bei etwa 4.000 Token liegt; jedes Token des Kontexts benötigt Speicher, erhöhen Sie ihn daher nur so weit, wie der Speicher es zulässt.
- Führen Sie eine Ihrer eigenen Aufgaben aus und notieren Sie die Wartezeit bis zum ersten Wort, die Schreibgeschwindigkeit und ob die Antwort richtig ist.
Auf einem dedizierten Hochleistungsrechner: ein Modell für ein Team bereitstellen
- Wählen Sie ein Modell für das Team und lassen Sie Speicher für mehrere Unterhaltungen frei, von denen jede ihren eigenen Key-Value-Cache benötigt.
- Wählen Sie eine Laufzeitumgebung, die mehrere Anfragen gemeinsam verarbeitet, etwa vLLM, llama-server oder llmster, den Hintergrunddienst von LM Studio.
- Öffnen Sie die Laufzeitumgebung bewusst für das Netzwerk: Ollama lauscht nur auf dem Rechner selbst, bis seine Einstellung OLLAMA_HOST geändert wird, und hat keine eigenen Zugangsschlüssel, sodass der Zugriff davor gesteuert werden muss, zum Beispiel durch eine Firewall-Regel oder durch einen Webserver, der einen Schlüssel prüft, bevor er Anfragen weiterleitet, einen sogenannten Reverse Proxy.
- Geben Sie dem Team eine Chat-Anwendung wie Open WebUI und testen Sie mit mehreren Personen, die gleichzeitig Anfragen senden.
Auf einem DGX Spark
- Aktualisieren Sie zuerst DGX OS; das Update vom Oktober 2026 bringt Version 7.6.0 mit dem CUDA Toolkit 13.0.3 von NVIDIA, der Software, über die Programme den Grafikprozessor nutzen.
- Folgen Sie einer der Anleitungen von NVIDIA, den sogenannten Playbooks, unter build.nvidia.com/spark; NVIDIA veranschlagt für die Einrichtung von vLLM 15 bis 30 Minuten.
- Bevorzugen Sie Fassungen im NVFP4-Format von NVIDIA, die die 4-Bit-Arithmetik des Chips nutzen.
- Lassen Sie ein großes Modell laufen, statt es neu zu laden: Auf unserem GB10-Rechner dauerte der Start von vLLM mit der 132,7 GB großen NVFP4-Fassung von Qwen3.8-Flash-Next am 12. Oktober 2026 etwa 15 Minuten, einschließlich eines Vorbereitungsschritts, der nur beim ersten Start ausgeführt wird.
Ihre eigenen Tools verbinden
Tools, die für OpenAI geschrieben wurden, können ein lokales Modell nutzen, sobald die Basisadresse und der Modellname geändert sind; wo ein Tool einen Zugangsschlüssel verlangt, funktioniert mit Ollama jeder beliebige Wert.
- Ollama antwortet unter http://localhost:11434/v1 und LM Studio unter http://localhost:1234/v1.
- llama-server antwortet in Versionen seit dem 9. Oktober 2026 unter http://127.0.0.1:9931/v1 und in älteren Versionen und älterer Dokumentation an Port 8080, und vLLM verwendet Port 8000.
- Claude Code nutzt über Ollama ein lokales Modell, wenn ANTHROPIC_BASE_URL auf http://localhost:11434 und ANTHROPIC_AUTH_TOKEN auf ollama gesetzt ist, und Ollama empfiehlt dafür einen Kontext von mindestens 64.000 Token.
Wenn es zu langsam ist, nicht hineinpasst oder den Anfang eines Dokuments vergisst
- Wenn das Modell nicht lädt oder der Rechner extrem langsam wird, passt das Modell nicht hinein; wählen Sie dann weniger Bits, ein kleineres Modell, einen kürzeren Kontext oder einen Key-Value-Cache mit 8 Bit.
- Wenn das Schreiben langsam ist, prüfen Sie, ob das gesamte Modell im Grafikspeicher liegt, oder wählen Sie ein Mixture-of-Experts-Modell.
- Wenn das erste Wort bei langen Dokumenten lange auf sich warten lässt, ist das Lesen der Eingabe der Engpass; setzen Sie dasselbe Dokument deshalb an den Anfang des Prompts, damit die Laufzeitumgebung es wiederverwenden kann.
- Wenn das Modell den Anfang eines Dokuments vergisst, ist das Kontextfenster zu klein; erhöhen Sie die Kontextlänge deshalb im Rahmen dessen, was das Modell und der Speicher zulassen.
Die Ergebnisse anhand echter Arbeit beurteilen
Eine Vorführung wirkt fast immer überzeugend; aussagekräftig ist nur ein Test mit Ihrer eigenen Arbeit. Legen Sie fest, was als gute Antwort gilt, bevor Sie die ersten Antworten sehen, damit die Bewertung nicht davon abhängt, wie überzeugend sie klingen.
Verwenden Sie eine repräsentative Aufgabe aus der vergangenen Woche, in ihrer tatsächlichen Länge und mit ihrer tatsächlichen Komplexität, denn ein kurzer, sorgfältig formulierter Prompt beweist nichts über einen Arbeitstag.
Schreiben Sie zuerst auf, wie ein gutes Ergebnis aussieht: was korrekt sein muss, was nicht erfunden werden darf und was enthalten sein muss. Zehn bis zwanzig Beispiele, deren richtige Antwort Sie bereits kennen, sind aufschlussreicher als eine lange Unterhaltung.
Rechnen Sie die Arbeit mit ein, die auf die Antwort folgt. Wenn jemand jedes Ergebnis prüfen und korrigieren muss, gehört diese Zeit zu den Kosten, und ein Modell, das weniger Nachprüfung erfordert, kann die bessere Wahl sein, auch wenn es schwächer erscheint.
Halten Sie das genaue Setup fest, das Sie getestet haben: das Modell und seine Version, die Fassung und ihre Anzahl an Bits, die bereitstellende Software und die Einstellungen einschließlich der Kontextlänge. Ändern Sie jeweils nur eine Sache; andernfalls wissen Sie nicht, welche Änderung geholfen hat.
Was es kostet, KI lokal auszuführen
Einen Rechner kaufen oder ein Abonnement bezahlen
ChatGPT Plus kostet in den Vereinigten Staaten 20 $ und Claude Pro 20 $ pro Person und Monat, Stand 26. Oktober 2026, während ein Rechner einmal bezahlt wird und pro Anfrage nichts kostet. Vier Faktoren entscheiden, was günstiger ist.
- Der Kaufpreis ist im Laufe des Jahres 2026 gestiegen, weil Speicherchips knapp sind: Das Marktforschungsunternehmen TrendForce berichtet, dass die mit Großabnehmern vereinbarten Preise für herkömmlichen dynamischen Direktzugriffsspeicher, den Hauptspeicher von Computern, im ersten Quartal 2026 gegenüber dem Vorquartal um 93 bis 98 Prozent stiegen. Die DGX Spark Founders Edition, die im Oktober 2025 für 3.999 $ auf den Markt kam, wurde am 2. Oktober 2026 mit 6.950 $ gemeldet.
- Die Stromkosten hängen von der Leistungsaufnahme ab: Eine Leistungsaufnahme von 100 W rund um die Uhr verbraucht in 30 Tagen 72 Kilowattstunden (kWh), und eine Leistungsaufnahme von 240 W, die Nennleistung des Netzteils des DGX Spark, verbraucht 172,8 kWh; diese Werte sind mit dem Preis pro Kilowattstunde auf Ihrer eigenen Stromrechnung zu multiplizieren.
- Die Arbeitszeit des Personals für die Installation, die Aktualisierung und die Reparatur des Rechners ist ein Kostenpunkt, den eine Wirtschaftlichkeitsrechnung einbeziehen muss.
- Auch die Qualität ist ein Kostenfaktor, denn ein offenes Modell, das mehr Nachprüfung erfordert, kostet Zeit; der Vergleich mit ChatGPT vergleicht die veröffentlichten Belege Aufgabe für Aufgabe.
Es vor dem Kauf herausfinden
Einen Rechner zu kaufen, um die Frage zu beantworten, ist der teure Weg. Fällt die Antwort negativ aus, bleiben Ihnen sowohl die Antwort als auch die Hardware.
Ihre eigene Arbeit auf einem vorbereiteten Rechner derselben Art auszuführen, beantwortet dieselbe Frage zum Preis einiger Stunden, vorausgesetzt, Hardware, Modell und bereitstellende Software entsprechen denen, die Sie kaufen würden; fragen Sie daher nach der genauen Spezifikation aller drei. Unser Testlauf bietet einen solchen Test auf Anfrage über das Kontaktformular an: Wir betreiben einen Rechner mit dem GB10-Chip des DGX Spark und einem offenen Modell, und Sie verbinden Ihre eigenen Tools damit.
Wenn Sie diese Frage nicht dadurch beantworten möchten, dass Sie zuerst Hardware kaufen, stellt unser Testlauf für lokale KI einen Rechner mit dem NVIDIA-GB10-Chip des DGX Spark und einem offenen Modell bereit, sodass Sie Ihre eigenen Tools verbinden, Ihre eigene Arbeitslast ausführen und das Ergebnis beurteilen können, bevor Sie Ausstattung kaufen. Der Testlauf wird auf Anfrage über das Kontaktformular angeboten. Wenn Sie ein lokales Setup gegen ChatGPT oder einen anderen KI-Chatbot abwägen, lesen Sie private-local.ai vs ChatGPT.
Fragen zum lokalen Ausführen von KI
Kann ich herausfinden, wie ich KI lokal ausführen kann, ohne zuerst Hardware zu kaufen?
Ja, für den größten Teil der Frage: Ein kleines Modell auf Ihrem jetzigen Rechner zeigt, wie die Software funktioniert, und die Tabelle in diesem Leitfaden zeigt, welche Modelle auf welchen Rechner passen. Erst wenn Sie Ihre eigene Arbeit auf einem Rechner der Art ausführen, die Sie in Betracht ziehen, zeigt sich, ob ein größeres Modell sie gut genug erledigt.
Kann ich ChatGPT oder Claude auf meinem eigenen Rechner betreiben?
Nein. Ihre Modelldateien sind nicht veröffentlicht, daher gibt es keine lokale Kopie, die sich installieren ließe, und die Open-Weight-Modelle gpt-oss von OpenAI sind von den Modellen zu unterscheiden, die ChatGPT verwendet. Ob ein offenes Modell Ihre Aufgabe gut genug erledigt, zeigt sich erst, wenn dieselbe echte Arbeit mit beiden ausgeführt wird.
Wie viel Arbeitsspeicher brauche ich, um ein Modell lokal auszuführen?
Multiplizieren Sie die Parameter in Milliarden mit den Bits pro Gewicht und teilen Sie das Ergebnis durch acht, um Gigabyte zu erhalten, und rechnen Sie dann Platz für den Kontext und das Betriebssystem hinzu. Mit Stand Oktober 2026 reichen die 4-Bit-Fassungen von Qwen3.8-27B mit 27,78 Milliarden Parametern von 14,3 bis 18 GB, während die Fassung von Inferact in NVFP4, dem 4-Bit-Format von NVIDIA, 26,4 GB umfasst.
Ist ein lokales Setup privat?
Ein System, das auf Hardware läuft, die Sie kontrollieren, hält die Arbeit des Modells in Ihrem eigenen Netzwerk, und das ist der Hauptgrund, warum Unternehmen ein solches System wollen. Das allein macht jedoch nicht alles sicher, denn Backups, Protokolle, die Tools rund um das Modell und der Zugang zum Rechner spielen weiterhin eine Rolle. Die Websuche und die Cloud-Modelle von Ollama zum Beispiel sind Onlinedienste, die Ihre Eingaben an die Server von Ollama senden.
Kann ich KI lokal auf einem Laptop ausführen?
Ja. Ein Laptop mit 16 GB Arbeitsspeicher fasst Modelle mit bis zu etwa 10 Milliarden Parametern, die sich für Entwürfe, Zusammenfassungen und Fragen zu Bildern eignen, doch die Geschwindigkeit hängt vom Arbeitsspeicher ab: It's FOSS maß für ein Modell mit 8 Milliarden Parametern auf einem älteren Laptop, der nur seinen Prozessor nutzte, etwa 3 Token pro Sekunde (15. Mai 2026). Für schwierige Arbeit bleiben die führenden gehosteten Modelle stärker.
Welches offene Modell passt in 16 GB Arbeitsspeicher?
Mit Stand Oktober 2026 passen die 4-Bit-Fassungen von Gemma 4 E4B (6,6 GB), Qwen3.5-9B (6,6 GB), Ministral 3 8B (6,0 GB) und Gemma 4 12B (8,0 GB) mit Platz für ein Dokument hinein. gpt-oss-20b (13,8 GB) ist für 16 GB ausgelegt, lässt aber wenig Platz, wenn das der gesamte Arbeitsspeicher ist.
Was kann ein NVIDIA DGX Spark ausführen?
Ein einzelner DGX Spark mit 128 GB gemeinsamem Arbeitsspeicher führt die in diesem Leitfaden genannten kleinen und mittelgroßen offenen Modelle aus sowie Mixture-of-Experts-Modelle mit etwa 120 Milliarden Parametern bei 4 Bit, etwa gpt-oss-120b mit 58,72 Token pro Sekunde (llama.cpp, Februar 2026). Die größten offenen Modelle laufen nur in Fassungen unter 4 Bit, die spezielle Software benötigen oder einen Teil des Modells vom Laufwerk lesen, oder überhaupt nicht.
Kann ich ein Modell auf meinem eigenen Rechner per Fine-Tuning anpassen?
Ja, mit Verfahren, die nur eine kleine Ergänzung trainieren: mit der sogenannten Low-Rank Adaptation (LoRA) oder mit deren Variante für auf 4 Bit komprimierte Modelle, der Quantized Low-Rank Adaptation (QLoRA); NVIDIA gibt an, dass ein DGX Spark Modelle mit bis zu 70 Milliarden Parametern per Fine-Tuning anpassen kann. Ein leistungsfähiges Modell von Grund auf zu trainieren, erfordert weit mehr Rechenleistung, als ein einzelner Rechner bietet.
Finden Sie heraus, ob Ihre Arbeit zu einem lokalen Setup passt
Wählen Sie ein Setup, führen Sie eine repräsentative Aufgabe aus und beurteilen Sie, ob das Ergebnis gut genug ist. Zeigt das Ergebnis, dass Sie keinen Rechner kaufen sollten, hat der Test die Frage ebenso gut beantwortet.
Endpunkt anfragen