01 / So funktioniert es
So läuft ein Test mit privater lokaler KI ab
Testen Sie ein offenes Modell auf der Hardware, die Sie in Betracht ziehen, bevor Sie sie kaufen.
Wählen Sie ein Setup.
Sie wählen Hardware und Modell aus einer kurzen Liste von Setups, die wir selbst vorbereitet und getestet haben: ein NVIDIA DGX Spark mit 128 GB Arbeitsspeicher, auf dem Qwen, DeepSeek oder GLM läuft. Jedes Setup nennt den genauen Rechner und eine feste Version des Modells.
Verbinden Sie Ihre eigenen Tools.
Jedes Setup läuft und antwortet wenige Sekunden nach dem Start. Sie erhalten eine Webadresse und einen Schlüssel für einen KI-kompatiblen Endpunkt. Jedes Tool, das diese beiden Angaben akzeptiert, funktioniert, und in Ihrem Netzwerk wird nichts installiert.
Testen und entscheiden Sie.
Führen Sie die Aufgaben aus, auf die es Ihnen ankommt, und halten Sie Geschwindigkeit, Qualität und Fehler fest. Danach kaufen Sie, verzichten auf den Kauf oder bitten uns um Unterstützung. Entscheiden Sie sich dagegen, haben Sie den Kaufpreis gespart. Entscheiden Sie sich dafür, behalten Sie die genaue Konfiguration, sodass sie sich auf einem eigenen Rechner erneut einrichten lässt.
Private Local AI im Einsatz in einer Anwaltskanzlei
Wegen der anwaltlichen Schweigepflicht dürfen wir Mandantendaten nicht an OpenAI oder Anthropic weitergeben. Außerdem wollen wir nicht, dass unser geistiges Eigentum dorthin gelangt.
Eine eigene KI zu betreiben, ist anspruchsvoll, und wir konnten nicht einschätzen, ob sie unsere gesamte Arbeit bewältigen würde.
Mit Private-Local.ai können wir unsere echten Arbeitsabläufe auf genau der Hardware und den KI-Modellen ausführen, die wir in die engere Wahl gezogen hatten. Innerhalb eines Nachmittags wussten wir, mit welchem Setup wir KI in die Kanzlei holen werden: auf einem eigenen Rechner und mit einem eigenen Modell.
Mina
Partnerin
02 / Fragen
Häufige Fragen zu privater KI.
Was ist private KI?
Private KI bedeutet, KI-Modelle auf Hardware zu betreiben, die Ihr Unternehmen selbst kontrolliert, sodass die Arbeit im Haus bleibt, statt an einen externen Anbieter zu gehen. Der Testlauf ist der Schritt davor: Sie mieten den Rechner stundenweise, arbeiten also auf Hardware, die Ihnen nicht gehört, und finden heraus, ob ein eigener Rechner Ihre Arbeit gut genug erledigen würde.
Wo stehen die Server?
Die Server für Deutschland stehen in Frankfurt am Main. Jede Länderseite nennt den Standort ihrer eigenen Server: Vereinigte Staaten (New York und San Francisco), Vereinigtes Königreich (London), Deutschland (Frankfurt am Main), Frankreich (Paris), Spanien (Madrid), Italien (Mailand) und Brasilien (São Paulo).
Warum nicht einfach weiter ChatGPT oder Claude nutzen?
Für einen Großteil Ihrer Arbeit sollten Sie das auch tun. ChatGPT, Claude und Gemini liefern bessere Antworten als jedes offene Modell, das klein genug ist, um auf einem Desktop-Rechner zu laufen. Ein eigener Rechner lohnt sich, wenn Sie KI intensiv nutzen oder kontrollieren müssen, wohin Ihre Daten gehen, und nicht deshalb, weil seine Antworten besser wären.
Welche Tools können wir anbinden?
Sie können alles anbinden, was mit einem KI-kompatiblen Endpunkt arbeitet, und das sind heute die meisten Tools: Programmierassistenten wie Continue, Cline und OpenCode, Automatisierungsplattformen wie n8n, Notiz-Tools wie Obsidian mit dem Copilot-Plugin sowie Ihren eigenen Code. Selbst getestet haben wir bisher den Hermes Agent und direkte Aufrufe aus Code. Die übrigen Tools akzeptieren einen solchen Endpunkt in ihren Einstellungen, wir haben sie aber noch nicht getestet. Wenn Sie bei Ihrem Tool unsicher sind, nennen Sie uns, um welches es sich handelt.
Was kostet der Testlauf, und warum nicht einen unkonfigurierten Rechner mieten?
Der Testlauf kostet 10 € pro Stunde, und Sie zahlen nur für die Stunden, die Sie tatsächlich nutzen; die meisten Fragen sind nach ein bis zwei Stunden beantwortet. Ein unkonfigurierter DGX Spark ist deutlich günstiger zu mieten, aber dann müssen Sie das Modell selbst installieren und bereitstellen. Unser Preis umfasst einen vorbereiteten Rechner mit offengelegter Konfiguration, der bereits einsatzbereit ist, wenn Sie beginnen.
Was passiert nach dem Testlauf?
Sie entscheiden auf Grundlage Ihrer eigenen Ergebnisse: Sie kaufen nichts, Sie kaufen einen Rechner und richten ihn selbst ein, oder Sie vereinbaren mit uns gesondert, dass wir Sie dabei unterstützen.
Dedizierte Hardware
Fordern Sie einen Hardware-Testlauf an.
Führen Sie Ihre eigenen Aufgaben auf einem dedizierten Rechner mit dem NVIDIA-GB10-Chip des DGX Spark aus, bevor Sie einen kaufen. Hardware-Testläufe bieten wir auf Anfrage an; beschreiben Sie uns Ihre Arbeitslast über das Kontaktformular.
Hardware-Testlauf anfragen