Seite 4: Modellabsicherung für eine zuverlässige KI

Inhaltsverzeichnis

Das sinnvolle Zusammenspiel der drei technischen Aspekte Sicherheit, Verlässlichkeit und Transparenz sind die Grundlage für eine zuverlässige KI. Je nach nach Anwendung, Branche, Rechtslage und Zielgruppe der KI-Anwendung kann ein Aspekt wichtiger sein als andere, aber fehlen sollte keiner. Die folgenden Fragen und Methoden können die Umsetzung leiten:

• Sicherheit: Einsatz von Modellverifikation; Leitfrage: "Verhält sich das Modell bei beliebigen Eingaben wie gefordert?"
• Verlässlichkeit: Einsatz der Unsicherheitsquantifizierung; Leitfrage: "Weiß das Modell, was es nicht weiß?"
• Transparenz: Einsatz von Methoden zur Erklärbarkeit; Leitfrage: "Wie kann ein Mensch die Entscheidung des Modells nachvollziehen?"

Marco Huber
ist Professor für Kognitive Produktionssysteme an der Universität Stuttgart und zugleich Leiter der Abteilungen Bild- und Signalverarbeitung sowie Cyber Cognitive Intelligence (CCI) am Fraunhofer-Institut für Produktionstechnik und Automatisierung IPA. Seine Forschung konzentriert sich auf die Themen maschinelles Lernen, Sensordatenanalyse und Robotik im produktionstechnischen Umfeld.

Literatur:

1. Explaining and Harnessing Adversarial Examples; Ian Goodfellow, Jonathon Shlens, Christian Szegedy
2. Reluplex: An Efficient SMT Solver for Verifying Deep Neural Networks; Guy Katz, Clark Barrett, David L. Dill, Kyle Julian, Mykel J. Kochenderfer; Computer Aided Verification; CAV 2017.
3. Efficient Neural Network Robustness Certification with General Activation Functions; Huan Zhang, Tsui-Wei Weng, Pin-Yu Chen, Cho-Jui Hsieh, Luca Daniel; NeurIPS 2018.
4. Beta-CROWN: Efficient Bound Propagation with Per-neuron Split Constraints for Neural Network Robustness Verification; Shiqi Wang, Huan Zhang, Kaidi Xu, Xue Lin, Suman Jana, Cho-Jui Hsieh, Zico Kolter; NeurIPS 2021.
5. Quantification of Uncertainties in Neural Networks; Xinyang Wu, Philipp Wagner, Marco F. Huber; 2023
6. Algorithmic Learning in a Random World; Vladimir Vovk, Alexander Gammerman, Glenn Shafer; 2. Auflage, 2022
7. "Why Should I Trust You?": Explaining the Predictions of Any Classifier", Marco Tulio Ribeiro, Sameer Singh, Carlos Guestrin; Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD), 2016
8. A Survey on the Explainability of Supervised Machine Learning; Nadia Burkart, Marco F. Huber; Journal of Artificial Intelligence Research (JAIR), 2021; DOI: 10.1613/jair.1.12228
9. Towards Measuring Bias in Image Classification; Nina Schaaf, Omar de Mitri, Hang Beom Kim, Robert-Alexander Windberger, Marco F. Huber; Proceedings of the 30th International Conference on Artificial Neural Networks (ICANN), September 2021.

(rme)