LLMOps - Sprachmodelle produktiv einsetzen

Kursinfo

In diesem Kurs erfahren Sie, wie Sie große Sprachmodelle wie GPT oder LLaMA im Unternehmensumfeld betreiben. Sie automatisieren LLM-Workflows, steuern APIs und binden LLMs mit LangChain oder eigenen Modulen in produktive Prozesse ein. Dabei berücksichtigen Sie Datenschutz, Monitoring, Versionierung und Prompt-Management – und entwickeln Strategien für stabile, sichere und kontrollierbare KI-Anwendungen. Dieses Seminar ist ein Angebot der PC-COLLEGE - Gruppe.

Inhalt:

• Einführung in LLMOps - Unterschiede zu MLOps - Typische Herausforderungen im produktiven Einsatz LLM-Architekturen und Deployment-Strategien - Hosted APIs vs. On-Premise - Modellwahl und Infrastruktur Tooling und Frameworks - LangChain, BentoML, FastAPI, Docker - Model- und Prompt-Management Monitoring und Logging - Antwortqualität, Prompt-Auswertung, LLM-Observability - Tools: Weights & Biases, LangSmith, OpenTelemetry Sicherheit und Compliance - Datenschutz, Auditierbarkeit, Governance-Regeln Kostenkontrolle und Skalierung - Token-Tracking, Caching, Request-Management Beispielprojekt - Aufbau einer LLM-basierten Anwendung mit Logging, Prompt-Debugging und Monitoring