Large Language Models - RAG-Tuning und Evaluation

Kursinfo

Sie erfahren, wie Sie die Qualität von RAG-Systemen bewerten und verbessern. Der Kurs vermittelt Metriken, Tuning-Strategien und Evaluationsmethoden für robuste und nachvollziehbare LLM-Anwendungen im Unternehmen.

Dieses Seminar ist ein Angebot der PC-COLLEGE Gruppe.

Inhalt:

• Grundlagen von Retrieval-Qualität
• - Metriken: Recall, Precision, nDCG
• - Warum klassisches IR- und LLM-Tuning zusammengehören
• Tuning-Strategien
• - Chunking-Varianten (Overlaps, Semantik-basiert)
• - Embedding-Modelle vergleichen
• - Index-Parameter optimieren (z. B. k, Abstandsmessung)
• Re-Ranking & Hybrid Search
• - Lexikalische + semantische Suche kombinieren
• - Einsatz von Cross-Encodern
• - Trade-offs zwischen Qualität und Kosten
• Evaluationstechniken
• - Human-in-the-loop Verfahren
• - Automatisierte Evals: BLEU, ROUGE, BERTScore, G-Eval
• - Benchmark-Sets aufbauen
• Qualitätssicherung im Betrieb
• - Bias-Checks, Halluzinationsanalyse
• - Drift Detection bei Embeddings
• - Canary-Tests für neue Pipelines
• Monitoring & Reporting
• - KPI-Tracking: Retrieval-Präzision, Factuality
• - Dashboards für Stakeholder
• - Feedback Loops und kontinuierliche Verbesserung