LLMOps - Sprachmodelle produktiv einsetzen

Kursinfo

In diesem Kurs erfahren Sie, wie Sie große Sprachmodelle wie GPT oder LLaMA im Unternehmensumfeld betreiben. Sie automatisieren LLM-Workflows, steuern APIs und binden LLMs mit LangChain oder eigenen Modulen in produktive Prozesse ein.

Dabei berücksichtigen Sie Datenschutz, Monitoring, Versionierung und Prompt-Management – und entwickeln Strategien für stabile, sichere und kontrollierbare KI-Anwendungen.

Dieses Seminar ist ein Angebot der PC-COLLEGE - Gruppe.

Inhalt:

• Einführung in LLMOps
• - Unterschiede zu MLOps
• - Typische Herausforderungen im produktiven Einsatz
• LLM-Architekturen und Deployment-Strategien
• - Hosted APIs vs. On-Premise
• - Modellwahl und Infrastruktur
• Tooling und Frameworks
• - LangChain, BentoML, FastAPI, Docker
• - Model- und Prompt-Management
• Monitoring und Logging
• - Antwortqualität, Prompt-Auswertung, LLM-Observability
• - Tools: Weights & Biases, LangSmith, OpenTelemetry
• Sicherheit und Compliance
• - Datenschutz, Auditierbarkeit, Governance-Regeln
• Kostenkontrolle und Skalierung
• - Token-Tracking, Caching, Request-Management
• Beispielprojekt
• - Aufbau einer LLM-basierten Anwendung mit Logging, Prompt-Debugging und Monitoring