Schulungszentrum der GFU Cyrus AG
Am Grauen Stein 27
51105 Köln
Seminar / Kurs
Ollama: Lokale LLMs einfach ausführen in Köln
Inhalte
- 1. Einführung und Architektur
- Das Ollama-Konzept: Warum Ollama das "Docker für LLMs" ist.
- Model Quantization: Wie Modelle komprimiert werden, um auf handelsüblicher Hardware zu laufen.
- Performance-Check: RAM-Anforderungen und Modellgrößen (7B, 13B, 70B) im Vergleich.
- 2. Installation und Setup
- Plattformen: Nativ unter macOS, Linux (ink. WSL2) und Windows.
- Docker-Deployment: Betrieb von Ollama in Container-Umgebungen für Server.
- GPU-Support: Aktivierung von Hardware-Beschleunigung für NVIDIA (CUDA), Apple Silicon (Metal) und AMD (ROCm).
- 3. Die Ollama Model Library
- Modell-Auswahl: LLaMA (Meta), Mistral, Phi (Microsoft), Gemma (Google) und Qwen.
- Spezialisierte Modelle: CodeLlama für Programmierung und MedPrompt für medizinische Kontexte.
- Management: Pulling, Listing und Löschen von Modell-Instanzen über das CLI.
- 4. Customizing mit Modelfiles
- Struktur eines Modelfiles: Base Model, System Prompts und Parameter (Temperature, Top-K).
- Personalisierung: Erstellung von KI-Assistenten mit spezifischer Persona oder Fachwissen.
- Import: Einbindung externer GGUF-Modelle von Hugging Face in Ollama.
- 5. Ollama API und Integration
- REST API: Endpunkte für /generate und /chat verstehen und nutzen.
- Libraries: Nutzung der offiziellen Python- und JavaScript-SDKs.
- Streaming vs. JSON: Effiziente Verarbeitung von Modell-Antworten in Web-Apps.
- 6. Integration in den Developer Workflow
- Continue.dev: Lokale KI als Copilot-Ersatz in VS Code und JetBrains.
- LangChain & LlamaIndex: Aufbau von RAG-Systemen (Retrieval Augmented Generation) mit lokalen Daten.
- Terminal-KI: Nutzung von Ollama direkt in der Shell für schnelle Hilfe.
- 7. User Interfaces und Kollaboration
- Open WebUI: Aufbau einer ChatGPT-ähnlichen Oberfläche im eigenen Netzwerk.
- Multi-User Support: Verwaltung von Zugriffen und geteilten Modell-Ressourcen.
- Ollama Web UI vs. CLI: Vor- und Nachteile verschiedener Interaktionsformen.
- 8. Sicherheit, Privacy und Compliance
- Air-Gapped AI: Betrieb ohne jegliche Internetverbindung.
- Data Residency: Warum lokale Modelle die ultimative Antwort auf die DSGVO sind.
- Audit-Logging: Überwachung der lokalen KI-Nutzung im Unternehmen.
- 9. Praxis-Workshop: "The Private AI Server"
- Workshop: Einrichtung eines Ollama-Servers mit GPU-Beschleunigung.
- Coding-Task: Entwicklung eines kleinen Python-Tools, das Dokumente lokal zusammenfasst.
- Customization-Task: Erstellung eines spezialisierten Support-Bots via Modelfile.
- Final Roadmap: Strategie zur schrittweisen Ablösung von Cloud-KI-Diensten durch lokale Instanzen.
- Software-Entwickler: Zur Integration von KI-Funktionen ohne Abhängigkeit von OpenAI/Anthropic.
- IT-Sicherheits- & Datenschutzbeauftragte: Zur Evaluierung sicherer KI-Alternativen.
- Data Scientists: Für schnelles Prototyping und Experimentieren mit Open-Source-Modellen.
- Systemadministratoren: Zum Aufbau und Betrieb lokaler Modell-Server.
- 1. Einführung und Architektur
- Das Ollama-Konzept: Warum Ollama das "Docker für LLMs" ist.
- Model Quantization: Wie Modelle komprimiert werden, um auf handelsüblicher Hardware zu laufen.
- Performance-Check: ...
Termine und Orte
| Datum | Dauer | Preis | ||
|---|---|---|---|---|
| Köln, DE | ||||
| 21.09.2026 - 23.09.2026 21 h | 21 h | Details | Details Jetzt buchen | |
| 21.12.2026 - 23.12.2026 21 h | 21 h | Details | Details Jetzt buchen | |
| 22.03.2027 - 24.03.2027 21 h | 21 h | Details | Details Jetzt buchen | |
| 21.06.2027 - 23.06.2027 21 h | 21 h | Details | Details Jetzt buchen | |
| 20.09.2027 - 22.09.2027 21 h | 21 h | Details | Details Jetzt buchen | |
| 20.12.2027 - 22.12.2027 21 h | 21 h | Details | Details Jetzt buchen | |
| Datum | Dauer | Preis | ||
|---|---|---|---|---|
| Köln, DE | ||||
| 21.09.2026 - 23.09.2026 21 h | 21 h | Details | Details Jetzt buchen | |
| 21.12.2026 - 23.12.2026 21 h | 21 h | Details | Details Jetzt buchen | |
| 22.03.2027 - 24.03.2027 21 h | 21 h | Details | Details Jetzt buchen | |
| 21.06.2027 - 23.06.2027 21 h | 21 h | Details | Details Jetzt buchen | |
| 20.09.2027 - 22.09.2027 21 h | 21 h | Details | Details Jetzt buchen | |
| 20.12.2027 - 22.12.2027 21 h | 21 h | Details | Details Jetzt buchen | |