Large Language Models (LLM) - RAG-Tuning und Evaluation

BeschreibungSie erfahren, wie Sie die Qualität von RAG-Systemen bewerten und verbessern. Der Kurs vermittelt Metriken, Tuning-Strategien und Evaluationsmethoden für robuste und nachvollziehbare LLM-Anwendungen im Unternehmen. InhaltGrundlagen von Retrieval-Qualität- Metriken: Recall, Precision, nDCG- Warum klassisches IR- und LLM-Tuning zusammengehörenTuning-Strategien- Chunking-Varianten (Overlaps, Semantik-basiert)- Embedding-Modelle vergleichen- Index-Parameter optimieren (z. B. k, Abstandsmessung)Re-Ranking & Hybrid Search- Lexikalische + semantische Suche kombinieren- Einsatz von Cross-Encodern- Trade-offs zwischen Qualität und KostenEvaluationstechniken- Human-in-the-loop Verfahren- Automatisierte Evals: BLEU, ROUGE, BERTScore, G-Eval- Benchmark-Sets aufbauenQualitätssicherung im Betrieb- Bias-Checks, Halluzinationsanalyse- Drift Detection bei Embeddings- Canary-Tests für neue PipelinesMonitoring & Reporting- KPI-Tracking: Retrieval-Präzision, Factuality- Dashboards für Stakeholder- Feedback Loops und kontinuierliche VerbesserungVoraussetzungenGrundkenntnisse in NLP oder Vektorsuche sowie erste Erfahrungen mit RAG, LangChain oder LLM-Entwicklung sind von Vorteil. Basiswissen in Python wird empfohlen.ZielgruppeAlle, die Retrieval-Systeme mit LLMs professionell betreuen oder evaluieren - z.?B. in AI-Teams, QA, Produktentwicklung oder technischem Projektmanagement.