Anmeldung

AI Testing in Practice: Qualitätssicherung für KI-Systeme 

Künstliche Intelligenz (KI)-Systeme lassen sich nicht mit klassischen Softwaretests allein absichern. Modelle lernen aus Daten, verhalten sich probabilistisch und verändern ihre Leistung im Betrieb. Umso wichtiger sind strukturierte, messbare und nachvollziehbare Testansätze, die über reine Modellmetriken hinausgehen. 

In diesem eintägigen Online-Workshop zeigt AIQ, wie KI- und ML-Systeme praxisnah testbar und qualitätsgesichert entwickelt werden. Im Fokus stehen anwendungsnahe Testziele, geeignete Qualitätsdimensionen (u. a. Leistung, Robustheit, Fairness, Sicherheit), moderne Testmetriken sowie der gezielte Einsatz von Tools. Die Teilnehmenden lernen, Testergebnisse verständlich zu dokumentieren, belastbare Nachweise zu erstellen und geeignete Monitoring- und Re-Test-Strategien für den Betrieb festzulegen. 

Der Workshop richtet sich an Softwareentwickler:innen, ML/AI Engineers, Data Scientists sowie QA- und Test Engineers, Tech Leads und Produkt-Verantwortliche. Grundlegende Kenntnisse in Machine Learning, KI-Modellen und Python sind von Vorteil. Der Fokus des Workshops liegt auf Engineering und Testing in der Praxis. 

 

Teilnehmende lernen: 

  • KI-Anwendungsfälle in klare, messbare Testziele zu überführen 

  • relevante Qualitätsdimensionen für KI-Systeme abzuleiten (u. a. Leistung, Robustheit, Fairness, Sicherheit) 

  • geeignete AI-Tests und Testmetriken auszuwählen und korrekt zu interpretieren 

  • passende Tools und Test-Stacks zu bewerten und auszuwählen 

  • Testergebnisse in verständliche Reports und belastbare Nachweise zu überführen 

  • Monitoring- und Re-Test-Strategien für den produktiven Betrieb festzulegen 

  • AI Testing sinnvoll in Engineering-, QA- und MLOps-Prozesse zu integrieren 


Agenda

10:00

Begrüßung und Beginn 

10:05

Einführung AI Testing  

  • Besonderheiten von KI-/ML-Systemen gegenüber klassischer Software 

  • Typische Qualitäts- und Projektrisiken in KI-Anwendungen 

  • Zusammenhang von Qualität und Vertrauenswürdigkeit 

  • Rolle von Regulierung, Standards und Erwartungen aus Organisationen 

  • Einordnung von AI Testing im Produkt- und Entwicklungslebenszyklus

10:30 

Qualitätsdimensionen & Prüfkriterien 

  • zentrale Qualitätsdimensionen für KI-Systeme (Performance, Robustheit, Fairness, Sicherheit u.a.) 

  • Abgrenzung technischer, datenbezogener und systemischer Qualität 

  • Auswahl praxisnaher Prüfkriterien 

  • Umgang mit Zielkonflikten zwischen Qualitätsdimensionen 

  • Beispiele aus realen KI-Anwendungsfällen  

11:30 

Vom Anwendungsfall zum Testplan 

  • strukturierte Beschreibung von KI-Anwendungsfällen 

  • Ableitung messbarer Anforderungen und Testziele 

  • Ãœbersetzung von technische Testkriterien 

  • Priorisierung von Tests nach Risiko und Wirkung 

  • Aufbau eines nachvollziehbaren AI-Testplan 

12:00 

Mittagspause  

13:00 

AI Testing in der Praxis (Hands-on) 

  • Vorstellung eines konkreten KI-Use-Cases 

  • Arbeiten mit Daten, Modellen und Metriken im Jupyter Notebook 

  • Durchführung ausgewählter AI-Tests (z. B. Performance, Robustheit, Bias) 

  • Interpretation und Diskussion der Ergebnisse 

  • Ableitung von Verbesserungs- und Entscheidungsoptionen 

15:00 

Kaffeepause 

15:15 

AI-Tool-Auswahl 

  • Ãœberblick über typische AI-Testing- und Evaluation-Tools 

  • Kriterien für Tool-Auswahl und -Bewertung 

  • Integration in bestehende Entwicklungs- und MLOps-Umgebungen 

  • Lizenz-, Betriebs- und Skalierungsaspekte 

  • Make-or-Buy-Ãœberlegungen und typische Fallstricke 

16:15 

Betrieb und Monitoring 

  • Anforderungen an Reporting und Nachvollziehbarkeit 

  • Monitoring von Modellleistung, Daten- und Konzeptdrift 

  • Definition von Schwellwerten und Re-Test-Triggern 

  • Dokumentation und Pflege von Nachweisen über den Lebenszyklus 

  • Roadmap, nächste Schritte und Ãœbertragung auf eigene Projekte 

17:00 

Ende des Workshops 


Referent 

Paul Luca Palupski ist AI System Engineer beim AIQ. Er hat einen Bachelor in Medizintechnik und einen Master in Gesundheitsinformatik. Seine Schwerpunkte sind Qualitätssicherung und Testing von KI-Systemen. Im Workshop zeigt er, wie man KI-Systeme systematisch testet und Ergebnisse als belastbare Evidenz aufbereitet.​​​​​​​

Registrierung

Teilnehmende Person

Ticket auswählen

Erhalt weiterer Informationen

Datenschutz

Informationen darüber, wie die AI Quality & Testing Hub GmbH mit Ihren personenbezogenen Daten umgeht, zu welchen Zwecken Ihre Daten verarbeitet werden, die Rechtsgrundlagen der Verarbeitung und welche Rechte Sie haben, können Sie unter https://aiqualityhub.com/datenschutz nachlesen. Die Registrierung zu dieser Veranstaltung erfolgt über den Dienstleister eveeno als Auftragsverarbeiter. Die Datenschutzerklärung von eveeno finden Sie unter https://eveeno.com/de/privacy.

Teilnahmebedingungen

Für die Veranstaltung ist eine Teilnehmerzahl von 5 bis 20 Personen vorgesehen. Wird die Mindestzahl an Teilnehmenden eine Woche vor Veranstaltungsbeginn nicht erreicht, behalten wir uns das Recht vor, diese abzusagen. Aus organisatorischen Gründen schließt die Registrierung für unsere Veranstaltungen in der Regel 2 Tage vor dem Veranstaltungstermin. Vielen Dank für Ihr Verständnis.

Bitte beachten Sie die Allgemeinen Geschäftsbedingungen für Veranstaltungen und Newsletter der AI Quality & Testing Hub GmbH (AIQ).

Die Zahlungsabwicklung übernimmt eveeno.