Ollama ist ein Programm, mit dem man große Sprachmodelle ganz einfach auf dem eigenen Computer ausführen kann, ohne Cloud und ohne komplizierte Einrichtung.

Im Kern arbeitet Ollama als lokaler Server im Hintergrund. Er läuft auf dem eigenen Rechner und nimmt Anfragen über eine einfache HTTP-Schnittstelle entgegen, standardmäßig auf Port 11434.

Für die eigentliche Berechnung nutzt Ollama die Bibliothek llama.cpp. Sie führt die Modelle effizient auf dem Prozessor und der Grafikkarte aus.

Mit einem Befehl wie "ollama pull" lädt man ein Modell aus der Ollama-Bibliothek herunter, und "ollama run" startet direkt ein Gespräch im Terminal.

Die Modelle liegen meist im GGUF-Format vor und sind quantisiert. Das bedeutet, dass die Gewichte mit weniger Bit gespeichert werden, damit das Modell in den normalen Arbeitsspeicher passt.

Ollama erkennt die vorhandene Hardware automatisch. Je nach System nutzt es NVIDIA-Grafikkarten mit CUDA, AMD-Karten oder Apple Silicon mit Metal, und sonst den Prozessor.

Ein Modelfile beschreibt, wie ein Modell angepasst wird: Man legt darin ein Basismodell, einen Systemprompt und Parameter wie die Temperatur fest.

Das Modell wird beim ersten Gebrauch in den Speicher geladen und nach einer Weile ohne Anfragen wieder entladen, damit Ressourcen frei werden.

Da die Schnittstelle einfach ist, lassen sich viele Programme anbinden, darunter Editoren, Chat-Oberflächen und Sprachassistenten wie vtmate. Zusätzlich gibt es eine OpenAI-kompatible Schnittstelle.

So bleiben alle Daten auf dem eigenen Gerät, und man kann Modelle kostenlos ausprobieren, vergleichen und offline nutzen.
