LLM selbst hosten: On-Premise-Guide für Unternehmen — Hardware, Kosten, Tools
On-Premise-LLM selbst hosten mit Llama, Qwen & DeepSeek: VRAM-Bedarf und GPU-Kosten im Überblick, Schritt-für-Schritt-Setup mit Ollama & vLLM, Datenschutz-Vorteile und ehrliche Grenzen.
Immer wieder kommt im Erstgespräch dieselbe Frage: „Können wir so ein Sprachmodell auch bei uns im Haus betreiben?“ Die kurze Antwort lautet: Ja, aber nicht für jeden Anwendungsfall ist es die kluge Wahl. Die lange Antwort steht hier — mit Hardware-Tabelle, Kostenrechnung, Setup-Schritten und den ehrlichen Grenzen.
Was „on-premise“ konkret bedeutet
Ein on-premise-LLM läuft auf Ihrer eigenen Hardware: im Serverraum, im Rechenzentrum Ihres Vertrauens oder auf einer dedizierten Maschine in der Cloud Ihrer Wahl, die nur Ihnen gehört. Der entscheidende Punkt: Prompts, Dokumente und Antworten verlassen Ihr Unternehmen nicht. Kein API-Anbieter, kein Drittland, kein pro Token bezahlter Meter.
Für alles, was mit sensiblen Daten zu tun hat (Kundenakten, Gesundheitsdaten, interne Dokumente, alles, was unter DSGVO oder brancheneigene Regeln fällt), ist das oft der einzige Weg, der ohne langwierige Ausnahmenfreigaben funktioniert.
Was heute realistisch ist
Die Open-Weight-Modelle sind gut geworden. Wir betreiben regelmäßig:
- Llama (Meta): breit aufgestellt, starke Multilingual-Fähigkeiten
- Qwen (Alibaba): aktuell eine der stärksten offenen Familien, von klein bis groß
- DeepSeek: beeindruckende Reasoning-Qualität zu niedrigen Betriebskosten
- GLM (Z AI): solide Allrounder mit gutem Preis-Leistungs-Profil
- dazu spezialisierte Vision-Modelle für Dokumente und Screenshots
Bei klassischen Unternehmensaufgaben (Dokumente zusammenfassen und auswerten, Texte entwerfen, interne Fragen beantworten, Tickets vorqualifizieren, Extraktion mit strukturierter Ausgabe) sind diese Modelle längst gut genug. Ein 7–8-Milliarden-Parameter-Modell, quantisiert auf einer einzelnen Grafikkarte, erledigt viele Alltagsaufgaben erstaunlich souverän. Größere Modelle (30B und aufwärts) bringen spürbar mehr Weltwissen und besseres Reasoning, brauchen aber entsprechend mehr Hardware.
Hardware-Anforderungen: VRAM ist der Engpass
Die ehrliche Rechnung dreht sich fast immer um VRAM, den Speicher der Grafikkarte. Wer ein LLM selbst hostet, plant zuerst den Speicherbedarf — alles andere hängt daran. Große Größenordnungen (quantisiert, also in komprimierter Form):
| Modellklasse | Parameter | Typischer VRAM-Bedarf (quantisiert) | Beispiel-Hardware |
|---|---|---|---|
| Klein | 3–8B | ~6–12 GB | eine Consumer-GPU (z. B. RTX 4060 Ti 16 GB) |
| Mittel | 14–32B | ~16–48 GB | eine Profi-GPU (z. B. RTX 6000 Ada 48 GB) |
| Groß | 70B+ | ~2× 48 GB und mehr | Multi-GPU-Server (2–4× 48 GB) |
Dazu: genug System-RAM (32 GB als Untergrenze, 64 GB+ empfohlen), schnelle NVMe-Speicher für die Dokumentenpipeline, und je nach Anwendungsfall ein Vektorindex für RAG (Retrieval-Augmented Generation), damit das Modell Ihr Wissen statt des Internets zitiert.
Faustregel für den Einstieg
Für ein Pilotprojekt mit einem 8B-Modell reicht eine einzelne GPU mit 16 GB VRAM. Damit lassen sich Dokumente zusammenfassen, FAQ-Antworten generieren und erste Automatisierungen bauen — und Sie merken schnell, ob der Durchsatz für den Produktivbetrieb reicht.
Was ein On-Premise-LLM kostet
Die einmalige Investition für einen soliden Einstiegs-Server liegt typischerweise im niedrigen bis mittleren fünfstelligen Bereich, je nachdem, welche Antwortqualität und Durchsatzrate Sie brauchen. Verglichen mit API-Kosten bei hohen Abfragemengen amortisiert sich das oft schneller, als man denkt. Bei fünf Anfragen pro Tag tut sie es nie. Ehrlichkeit gehört dazu.
Zur Orientierung, drei typische Szenarien:
| Szenario | Hardware | Größenordnung Investition | Passt für |
|---|---|---|---|
| Pilot | 1× Consumer-GPU (16 GB) | ~2.000–4.000 € | 8B-Modelle, einzelne Abteilungen |
| Mittel | 1× Profi-GPU (48 GB) | ~10.000–20.000 € | 32B-Modelle, ganze Organisationen |
| Groß | Multi-GPU-Server | 40.000 €+ | 70B+, hohe Last, viele Nutzer |
Hinzu kommen Betriebskosten (Strom, ggf. Redundanz) und vor allem: Zeit für Betrieb und Updates. Die reine Hardware ist nie die ganze Rechnung.
Setup: von null zum ersten Prompt
Wer ein LLM selbst hosten will, braucht keine eigene Inferenz-Infrastruktur zu bauen. Die etablierte Kette sieht so aus:
- Server vorbereiten — Linux (z. B. Ubuntu LTS), NVIDIA-Treiber, Docker.
- Runtime wählen — Ollama für den einfachen Einstieg (ein Befehl, Modell läuft), vLLM für hohen Durchsatz mit vielen parallelen Anfragen.
- Modell laden — z. B.
ollama run qwen3:8b. Die Open-Weight-Modelle aus der Tabelle oben gibt es alle vorgequantisiert. - Oberfläche aufsetzen — z. B. Open WebUI als Chat-Frontend mit Benutzerführung, oder direkte API-Anbindung an Ihre Systeme.
- RAG anbinden — Vektorindex über Ihre Dokumente, damit das Modell Ihre Daten zitiert statt zu raten.
- Absichern — Zugriffsregelung, Logging, Update-Rhythmus festlegen.
Vom blanken Server bis zum ersten produktiven Prompt sind das erfahrungsgemäß wenige Stunden — der Aufwand liegt danach im Betrieb, nicht im Setup.
Die Rechnung, die jeder anstellen sollte
Drei Fragen entscheiden:
- Wie sensibel sind die Daten? Wenn nichts raus darf, ist on-premise kein Optionsthema, sondern die Anforderung.
- Wie hoch ist das Abfragevolumen? Hohe, stabile Mengen sprechen für eigene Hardware; niedrige oder stark schwankende für die Cloud.
- Wer betreibt das Ganze? Ein LLM-Server ist ein System: Updates, Monitoring, Backup, Sicherheit. Ohne jemanden, der das trägt (intern oder als Dienstleistung), wird aus dem schönen Server ein Schrankkandidat.
On-premise vs. Cloud-API auf einen Blick
| Kriterium | On-Premise | Cloud-API |
|---|---|---|
| Datenschutz / DSGVO | Daten bleiben im Haus | Auftragsverarbeitung nötig |
| Spitzenqualität | Sehr gut, aber nicht State of the Art | Die besten Modelle überhaupt |
| Kosten bei hohem Volumen | Fix, amortisiert sich | Linear mit jedem Token |
| Kosten bei niedrigem Volumen | Unverhältnismäßig | Günstig |
| Skalierung | Hardware beschaffen | Sofort |
| Betriebsaufwand | Updates, Monitoring, Backup | liegt beim Anbieter |
Die ehrlichen Grenzen
On-premise heißt nicht, dass Sie das beste Modell der Welt bekommen. Die absoluten Spitzenmodelle sind proprietär und laufen nur in den großen Rechenzentren ihrer Betreiber. Ein gutes lokales Modell beantwortet Ihre internen Fragen zuverlässig, aber bei sehr komplexen Reasoning-Aufgaben oder extrem langem Kontext liegen die Cloud-Spitzenmodelle vorn.
Auch kein Selbstläufer: Betrieb bedeutet Update-Zyklen, Sicherheitspatches, Kapazitätsplanung. Wer das unterschätzt, zahlt später doppelt.
Häufige Fragen
Was ist der Unterschied zwischen on-premise und Self-Hosting?
Praktisch keiner — „LLM selbst hosten“ und „on-premise“ meinen dasselbe: Das Modell läuft auf Hardware, die Sie kontrollieren. Streng genommen umfasst Self-Hosting auch dedizierte Cloud-Server, die nur Ihnen gehören; on-premise meint meist die Hardware im eigenen Haus.
Reicht eine einzelne GPU für den Anfang?
Ja. Ein quantisiertes 8B-Modell läuft auf einer 16-GB-GPU und erledigt Zusammenfassen, Extrahieren und einfache Assistenten-Aufgaben souverän. Erst ab 30B-Modellen wird der Sprung zu teurer Profi-Hardware nötig.
Ist ein selbst gehostetes LLM DSGVO-konform?
Die Verarbeitung erfolgt vollständig in Ihrer Umgebung — es gibt keine Datenübermittlung an Dritte, die man vereinbaren müsste. DSGVO-konform ist das Gesamtsystem trotzdem nur mit den üblichen Maßnahmen: Zweckbindung, Löschkonzept, Zugriffsregelung, Dokumentation.
Lohnt sich on-premise für kleine Unternehmen?
Nur bei sensiblen Daten oder hohem, stabilem Abfragevolumen. Wer fünf Anfragen pro Tag hat, ist mit einer Cloud-API (mit Auftragsverarbeitung) wirtschaftlich besser bedient. Die Ehrlichkeit darüber spart mehr Geld als jede GPU.
Unser Ansatz: hybrid, ehrlich, produktionsreif
Wir betreiben Open-Weight-Modelle auf Kunden-Hardware, wo es passt, und sagen es offen, wenn die Cloud für einen Anwendungsfall die schlauere Wahl ist. Oft landen wir auf einer Mischform: on-premise für das Daten-nahe Tagesgeschäft, Cloud-API (mit datenschutzgerechter Auftragsverarbeitung) für gelegentliche Spitzenlasten.
Wenn Sie wissen wollen, was für Ihr Unternehmen drin ist: Das Erstgespräch kostet 30 Minuten und eine ehrliche Einschätzung bekommen Sie danach sowieso, auch wenn die Antwort lautet, dass Sie (noch) keine KI brauchen.