Lokale KI
Modelle im eigenen Haus: Hardwarebedarf, VRAM, Quantisierung, Laufzeitumgebungen und die Frage, ab wann sich das gegenüber einer Schnittstelle rechnet.
2 Beiträge in dieser Rubrik
Ollama, llama.cpp und vLLM im Vergleich: Welche Laufzeitumgebung sich für welchen Einsatz im Betrieb eignet
In der Praxis der KI-Integration im Unternehmen entscheiden sich viele für lokale Laufzeitumgebungen, um Abhängigkeiten von Cloud-Infrastrukturen zu vermeiden. Ollama, llama.cpp…
Qwen3.8 27B lokal: Wie Bonsai 2 ein 55-GB-KI-Modell auf wenige Gigabyte schrumpft
Qwen3.8 27B benötigt in seiner vollständigen Version rund 55 GB Speicher. Bonsai 2 komprimiert dasselbe 27B-Ausgangsmodell auf nur etwa 6–7 GB und erreicht laut PrismML trotzdem rund 98,2 Pr
Passt thematisch daneben
Anleitungen & Guides
Schritt für Schritt: einrichten, konfigurieren, betreiben. Mit Betriebssystem, Voraussetzungen, Befehlen aus der offiziellen Quelle und dem
KI-Agenten
Agenten, die etwas tun statt nur zu antworten: Werkzeuganbindung, Tool Calling, MCP, RAG, Kontextbedarf — und wo die Grenzen liegen.
Automatisierung
Vom Dokument zum Vorgang: Prozessketten, Schnittstellen zu ERP und CRM, Freigaben, und was sich wirklich automatisieren lässt.