Lokale KI 2026: Offene Modelle reichen – was die Hardware kostet
Gemma 4, Qwen 3.6 und GPT-OSS laufen auf einem Rechner im eigenen Haus. Wann sich lokale KI lohnt, welche Hardware Sie brauchen und wo die Grenzen liegen.
„Verträge und Kundendaten in eine US-Cloud? Kommt nicht in Frage.” Diesen Satz höre ich in fast jedem Erstgespräch. Bis vor Kurzem war die ehrliche Antwort darauf: Dann müssen Sie auf einen großen Teil dessen verzichten, was KI kann.
Diese Antwort stimmt nicht mehr. Lokale KI – ein Sprachmodell, das auf einem Rechner in Ihrem Betrieb läuft – hat 2026 den Punkt erreicht, an dem sie für die meisten Büroaufgaben ausreicht. Nicht für alles. Aber für viel mehr, als die meisten glauben.
Was sich geändert hat
Die offenen Modelle sind gut geworden. Im April 2026 hat Google Gemma 4 veröffentlicht – erstmals unter Apache-2.0-Lizenz, also frei für den kommerziellen Einsatz, gebaut auf derselben Forschung wie das proprietäre Gemini 3. Alibaba liefert mit Qwen 3.6 ein Modell, das bei Programmieraufgaben 73 Prozent im SWE-bench erreicht. OpenAI selbst hat mit GPT-OSS-120B ein offenes Modell nachgelegt. Im Artificial-Analysis-Index steht das beste offene Modell inzwischen auf Rang vier, direkt hinter den drei proprietären Spitzenmodellen.
Sie passen auf normale Rechner. Der Trick heißt Mixture-of-Experts: Ein Modell mit 35 Milliarden Parametern aktiviert pro Anfrage nur drei Milliarden davon. Qwen 3.6 läuft deshalb mit 24 GB Grafikspeicher – das ist eine einzelne Grafikkarte, kein Rechenzentrum. Vor zwei Jahren wäre dafür ein Server mit acht Karten nötig gewesen.
Sie sprechen Deutsch. Das war lange die Schwachstelle. Gemma 4 und Qwen 3.6 liefern heute Geschäftskorrespondenz in einer Qualität, die man verschicken kann. Und sie lesen 262.000 Token Kontext – rund 200 Seiten am Stück.
Was die Hardware kostet
Drei Klassen, die sich in der Praxis bewährt haben:
| Klasse | Hardware | Preis | Läuft | Nutzer |
|---|---|---|---|---|
| Einstieg | Rechner mit einer 16–24-GB-Grafikkarte | 3.500–5.800 € | Modelle bis ~30 Mrd. Parameter | 5–15 gleichzeitig |
| Mittelklasse | Mac Studio Ultra oder Workstation mit zwei Karten | 9.500–10.000 € | 70-Mrd.-Modelle, quantisiert | bis 30 gleichzeitig |
| Profi | Workstation mit 96-GB-Profikarte | 12.000–15.000 € | die größten offenen Modelle | Abteilungen |
Dazu kommt Strom: bei 200 Watt Dauerlast rund 40 Euro im Monat. Apple hat am 25. August den Mac Studio mit M5 Ultra vorgestellt, ab 5.499 Dollar mit 96 GB gemeinsamem Speicher – für 70-Milliarden-Modelle derzeit die kompakteste Lösung.
Wann sich das rechnet
Ein Rechenbeispiel, das in der Größenordnung aus mehreren Vergleichen stammt: 30 Mitarbeiter, jeder stellt täglich einige Anfragen an ein Cloud-Modell. Das kostet über die API je nach Modell 800 bis 2.500 Euro im Monat.
Ein Mac Studio Ultra für 10.000 Euro plus 40 Euro Strom hat sich damit nach 8 bis 15 Monaten bezahlt. Ab dann ist jede Anfrage praktisch kostenlos – und keine hat je das Haus verlassen.
Die Faustregel: Ab etwa 15 Personen mit täglicher Nutzung lohnt sich lokale KI finanziell. Darunter ist die Cloud günstiger, und das Datenschutzargument muss allein tragen. Das tut es bei Steuerberatern, Anwälten, Arztpraxen und Konstruktionsbüros regelmäßig.
Wo lokale KI nicht reicht
Ehrlichkeit gehört dazu. Für die absolute Spitze – komplexe Programmieraufgaben, mehrstufige Agenten, die selbstständig über Stunden arbeiten – bleiben Claude Opus 5 und GPT-5.6 vorn. Wer das braucht, fährt hybrid: sensible Daten lokal, die Königsdisziplin über einen europäischen Anbieter mit Auftragsverarbeitungsvertrag.
Und: Ein Testsystem ist an einem Nachmittag aufgesetzt. Ein System, das stabil läuft, Updates bekommt, Zugriffsrechte kennt und vom Team tatsächlich genutzt wird, ist Arbeit. Genau da scheitern die meisten Eigenversuche – nicht an der Technik, sondern am Betrieb.
Der richtige Einstieg
Nicht mit der Hardware anfangen, sondern mit der Frage: Welche Daten dürfen wohin, und welche Aufgaben sollen erledigt werden? Daraus ergibt sich, ob lokal, EU-Cloud oder hybrid der richtige Weg ist – und erst dann, welche Grafikkarte.
Danach testen wir zwei, drei Modelle an Ihren echten Dokumenten. Nicht an Benchmarks. Wenn das Ergebnis passt, kommt die Hardware-Empfehlung mit Zahlen.
Wie das für Ihren Betrieb aussehen kann, steht auf unserer Seite zu lokaler KI und Datensouveränität. Oder Sie schreiben mir kurz, welche Daten Sie schützen müssen: Erstgespräch vereinbaren.