Lokale KI im Unternehmen: Welche Hardware brauchen Sie wirklich?
Wer KI im Unternehmen einsetzen will, ohne Dokumente an OpenAI oder Google zu schicken, landet schnell bei der Frage: Welche Hardware brauchen wir dafür? Die Antwort hängt vor allem an einer Zahl, dem Speicher der Grafikkarte. Hier sind die Faustregeln, die wir selbst nutzen.
- Autor
- Frank Polster
- Stand
- November 2026
- Lesezeit
- ca. 5 Minuten
Die wichtigste Zahl: GPU-Speicher
Das Modell muss in den Speicher der Grafikkarte passen.
Ein Sprachmodell besteht aus Milliarden von Parametern. Damit es schnell antwortet, muss es vollständig in den Speicher der Grafikkarte (VRAM) passen. Passt es nicht, wird es um ein Vielfaches langsamer.
Die Faustregel: Mit 4-Bit-Quantisierung, dem üblichen Kompromiss aus Qualität und Größe, braucht ein Modell etwa 0,6 GB pro Milliarde Parameter. Dazu kommt Speicher für den Kontext, also die Dokumente und den Gesprächsverlauf. Bei langen Dokumenten und mehreren Nutzern gleichzeitig sind das schnell noch einige Gigabyte.
| Modellgröße (Parameter) | GPU-Speicher, 4-Bit | Typische Hardware |
|---|---|---|
| 7–8 Mrd. | ca. 5–6 GB | fast jede aktuelle Grafikkarte |
| 14 Mrd. | ca. 9–10 GB | Karte mit 12–16 GB |
| 32 Mrd. | ca. 20 GB | eine Karte mit 24 GB, z. B. RTX 3090 |
| 70 Mrd. | ca. 40–45 GB | zwei Karten mit je 24 GB |
| über 600 Mrd. (z. B. großes DeepSeek) | mehrere hundert GB | Server mit mehreren Profi-GPUs |
Grobe Richtwerte für 4-Bit-Modelle ohne langen Kontext. Die genauen Werte hängen von Modell, Quantisierung und Software ab.
Welche Modellgröße reicht?
Größer ist nicht immer besser.
- Kleine Modelle (bis ca. 8 Mrd. Parameter) reichen für Zusammenfassungen, Klassifizierung und einfache Fragen. Effiziente Modelle wie die LFM-Familie von Liquid AI laufen sogar auf schwächerer Hardware.
- Mittlere Modelle (14 bis 32 Mrd.) sind für viele Unternehmen der beste Kompromiss: guter Assistent, gute Suche in eigenen Dokumenten, brauchbare Hilfe beim Programmieren. Qwen hat hier starke Modelle.
- Große Modelle (70 Mrd. und mehr) lohnen sich für anspruchsvolles Schreiben, komplexe Analysen und viele gleichzeitige Nutzer.
Unser Rat: Starten Sie mit dem kleinsten Modell, das Ihre Aufgabe gut löst. Neue offene Modelle erscheinen alle paar Monate, und die mittlere Klasse holt schnell auf.
Drei typische Setups
Von der Workstation im Büro bis zum Rechenzentrum.
Workstation mit einer GPU
Eine Grafikkarte mit 24 GB reicht für Modelle bis etwa 32 Mrd. Parameter. Gut für ein kleines Team mit Assistent und Dokumentensuche.
Workstation mit mehreren GPUs
Zwei bis vier Karten ergeben 48 bis 96 GB. Damit laufen Modelle der 70-Mrd.-Klasse, mehrere Modelle parallel oder auch Bild- und Videogenerierung.
GPU-Server im EU-Rechenzentrum
Ein dedizierter Server nur für Sie, zum Beispiel bei Hetzner in Finnland. Kein Gerät im Büro, trotzdem kein KI-Anbieter dazwischen.
Was oft vergessen wird
Strom, Wärme, Lautstärke und Arbeitsspeicher.
- Strom und Wärme: Eine RTX 3090 ist für bis zu 350 Watt ausgelegt. Vier davon ziehen unter Last allein über 1,4 kW. Das braucht eine passende Stromversorgung und Kühlung.
- Lautstärke: Eine Multi-GPU-Workstation gehört nicht neben den Schreibtisch, sondern in einen Server- oder Technikraum.
- Arbeitsspeicher und CPU: Viel RAM hilft beim Laden der Modelle und bei der Verarbeitung großer Dokumentenmengen, etwa beim Einlesen von Scans.
- Betrieb: Updates, Monitoring und neue Modelle kosten laufend Zeit. Planen Sie das ein, egal ob intern oder mit einem Dienstleister.
Unser eigenes Lab
Was wir selbst betreiben.
Wir empfehlen nur, was wir selbst nutzen. In unserem Lab läuft eine Workstation mit vier RTX 3090 (zusammen 96 GB GPU-Speicher), einem Threadripper 3960X und 256 GB DDR4-Arbeitsspeicher. Darauf testen wir neue offene Modelle wie Qwen, DeepSeek und Liquid AI, für Text, Code, Bilder und Video, meist mit llama.cpp.
Für die Verarbeitung von Dokumenten wie PDFs und Scans setzen wir Docling ein, auch in Produktion bei Kunden. Mehr über unser Lab →
Fazit
Für die meisten Unternehmen reicht für den Einstieg eine Workstation mit einer 24-GB-Grafikkarte oder ein gemieteter GPU-Server in der EU. Entscheidend ist nicht die größte Hardware, sondern ein Modell, das zu Ihrer Aufgabe passt, und ein System, das zuverlässig läuft.
Wenn Sie unsicher sind, was Sie brauchen: Beschreiben Sie uns Ihren Anwendungsfall, und wir schicken Ihnen eine grobe Einschätzung für Hardware, Einrichtung und Betrieb.
Private KI für Ihr Unternehmen?
Zum Angebot →