Einsatz von Anwendungen der künstlichen Intelligenz (KI) in der Sozialversicherung

Einsatzspektrum im Aufsichtsbereich

Das bislang diskutierte Einsatzspektrum kann grob in zwei Bereiche differenziert werden: Zum einen werden KI-Systeme diskutiert, die in spezifischen Anwendungsbereichen zur Entscheidungsvorbereitung entwickelt werden (Unterstützung in Erfassungs-, Genehmigungs- und Abrechnungsprozessen). Zu dieser Kategorie gehören auch KI-Systeme zur Mustererkennung (wie z. B. zur Betrugserkennung - siehe hierzu auch KI-Systeme zur Bekämpfung von Fehlverhalten im Gesundheitswesen). Zum anderen sind KI-Assistenzsysteme Gegenstand der Beratungen im Digitalausschuss. Diese sollen administrative Teilfunktionen automatisieren und werden meist mit Hilfe von Sprachsystemen (engl. Large Language Models – LLM) umgesetzt. Das Einsatzspektrum ist groß und reicht von der intelligenten Suche über Sprach- und Textverarbeitung bis hin zu Chatbots.

Allgemeine Herausforderungen

Die individuelle Entwicklung eines KI-Systems ist ein aufwändiger Prozess. Als allgemeine Eingangsvoraussetzung muss für das zu lösende Problem einerseits eine präzise und gut eingrenzbare Fragestellung zugrunde liegen (wie z. B. Klassifizierungsfragen) und andererseits muss für die Beantwortung der Frage eine geeignete Datengrundlage zur Verfügung stehen. D. h. es müssen hinreichend Daten nach Relevanz, Qualität und Umfang vorhanden sein oder vom KI-Modell mitgebracht werden. Ansonsten besteht die Gefahr, dass es (ungewollt) zu Verzerrungen und Diskriminierungen (sog. Bias) in den Ergebnissen kommt, weil die Algorithmen mit bestehenden systematischen Ungleichgewichten trainiert worden sind, diese reproduzieren und auf diese Weise verstärken.

Wirtschaftlichkeit des Einsatzes

Die Entwicklung und der Einsatz von KI-Anwendungen sind aufwändig und nicht zwangsläufig wirtschaftlich. In den meisten Fällen, die im Digitalausschuss diskutiert worden sind, ist daher ein „Proof of Concept“ (PoC) durchgeführt worden. Einerseits sollte dabei zunächst die Machbarkeit untersucht werden (sowohl in technischer, aber auch in rechtlicher Hinsicht). Andererseits wurden Annahmen für eine wirtschaftliche Begründung des Vorhabens nach den gängigen Standards herausgearbeitet und im Rahmen des PoC validiert. Wie bei allen anderen technologischen Innovationen auch, ist der Einsatz kein Selbstzweck und muss im Hinblick auf die Chancen und Risiken gut abgewogen werden.

Ein positiver Nebeneffekt ist in einzelnen Beratungen deutlich geworden: Eine vertiefte und analytische Diskussion der Problemstellung führt oft schon zu Verbesserungen in der herkömmlichen Praxis, unabhängig davon, ob später eine KI-Anwendung zum Einsatz kommt. Voraussetzung für dieses „Business-Process-Reengineering“ ist aber ein kooperativer, interdisziplinärer Dialog, in dem Fachwissen, Organisationsexpertise und IT-Know-how verbunden werden.

Integration in die bestehenden Informationssysteme

Die Integration der KI-Anwendungen in bestehende Informationssysteme ist nach unserer Einschätzung oftmals ebenfalls noch eine große Herausforderung. Dabei geht es einerseits um Schnittstellen der sog. Quellsysteme, um die benötigten Daten ohne größeren Aufwand einfließen zu lassen und andererseits um Schnittstellen in den sog. Zielsystemen, um die Ergebnisse z. B. in Fehlerprüfungen von Dialogsystemen zu integrieren.

Vor diesem Hintergrund empfehlen wir in Diskussionen, die Einordnung der geplanten KI-Systeme in die Gesamtarchitektur darzustellen.

Organisatorische Auswirkungen beim Einsatz von KI-Systemen

Zu den organisatorischen Herausforderungen bei der Einführung von KI-Systemen gehört die Analyse der Auswirkungen auf die Arbeitsprozesse. Dass der Einsatz von innovativen Anwendungssystemen zu veränderten Arbeitsprozessen und Anforderungen an die Sachbearbeitung führt, ist zwar nicht neu, allerdings ist die Angst vor Veränderungen gerade bei dem Einsatz von KI-Systemen besonders ausgeprägt. Oft bestehen Befürchtungen, von diesen Systemen ganz oder teilweise ersetzt zu werden. Diese Szenarien sind von Beginn an in einem begleitenden Veränderungsmanagement zu berücksichtigen und sollten durch akzeptanzfördernde Maßnahmen begegnet werden.

Dabei ist vor dem Hintergrund von Artikel 22 DSGVO und § 31a SGB X deutlich zu kommunizieren: Der Mensch bleibt in der Verantwortung. Eine vollautomatische Sachbearbeitung ist in den allermeisten Fällen – wie insgesamt die Vorstellung einer sog. starken KI, die den Menschen vollständig ersetzen kann – eine Utopie und ist rechtlich vielfach nicht möglich (z. B. bei Ermessensentscheidungen). In der Regel wird aber die Entscheidung vorbereitet und dadurch die Entscheidungsqualität verbessert.  

Interdisziplinäre Ausrichtung des Entwicklungsprozesses

Die oben ausgeführten Herausforderungen zeigen deutlich, dass die Gestaltung von KI-Systemen keine rein technologische Aufgabe ist. Vielmehr können solche komplexen Vorhaben nur gelingen, wenn die Herausforderungen von interdisziplinären Teams gemeinsam angegangen werden. Wir empfehlen daher von Beginn an, ein Projektteam aufzustellen, in dem die verschiedenen Fachexpertisen zusammengeführt werden. Neben der technologischen Perspektive sollten Expertinnen und Experten für die leistungs- und datenschutzrechtlichen, verwaltungsökonomischen und organisatorischen Perspektiven von Beginn an in den 

Datenschutzgrundsätze und die Blackbox-Verarbeitung

Die EU-Datenschutzgrundverordnung (DSGVO) beinhaltet Grundsätze für die Verarbeitung personenbezogener Daten, die auch für KI-Systeme gelten. Personenbezogene Daten müssen u. a. in einer für die betroffenen Person nachvollziehbaren Weise verarbeitet werden (Art. 5 Abs. 1 lit. a DSGVO). Der Grundsatz der Transparenz setzt insbesondere voraus, dass die Umstände der Verarbeitung in verständlicher, klarer und einfacher Sprache erklärt werden können. Je nach Art der KI-Anwendung sind verschiedene Maßnahmen erforderlich. 

Bei regelbasierten Anwendungen (z. B. Entscheidungsbäume) kann die Funktionsweise in der Regel anhand der Eingangsdaten gut nachvollzogen werden (sog. White-Box-Modelle). Dem gegenüber sind Einzelentscheidungen komplexer neuronaler Netze, auf denen viele KI-Systeme derzeit beruhen, selbst für KI-Experten schwer nachvollziehbar und können ohne zusätzliche Methoden und Hilfsmittel nicht erklärt werden („Black-Box-Charakter“). Daher ist die Erklärbarkeit und Transparenz in der KI-Forschung ein viel diskutiertes Thema und in der Praxis eine große Herausforderung (vgl. hierzu z. B. eine Studie im Auftrag des BMWi, Tom Kraus et al., Erklärbare KI, 2021,).

Zudem kollidieren die Betroffenenrechte auf Löschung und Berichtigung mit der technischen Realität von KI-Systemen. Konzepte zum „Maschinellen Verlernen“ oder „Recht aus Vergessenwerden“ sind daher Gegenstand von Forschung und Entwicklung sowie Diskussionen unter Datenschützern (vgl. u. a. LfDI Baden-Württemberg: Diskussionspapier Rechtsgrundlagen im Datenschutz beim Einsatz von Künstlicher Intelligenz, Version 2.0, 17. Oktober 2024). 

Anforderungen an die Datengrundlage

Eine weitere große Herausforderung beim Einsatz von KI-Systemen stellt die Datengrundlage dar. Insbesondere Modelle nach dem Machine-Learning-Ansatz bzw. neuronale Netze sind sehr „datenhungrig“. Daten müssen dabei bezogen auf die jeweilige Problemstellung (Relevanz) sowie in hinreichender Qualität und Quantität vorhanden sein.

Aus datenschutzrechtlicher Sicht führt dieser Datenhunger zu einer notwendigen Auslegung des Begriffs der Erforderlichkeit, die die Menge der zu bearbeitenden Daten mit einbezieht, und einer sich daraus ergebenden Abgrenzung bezogen auf den Grundsatz der Zweckbindung. In den allermeisten Anwendungsfällen sind die gesetzlichen Verarbeitungsbefugnisse dergestalt formuliert, dass für einen bestimmten Zweck Daten erhoben und verarbeitet werden dürfen. Liegt eine Aufgabenbefugnis vor, ist auch eine Verarbeitung zulässig, soweit dies zur Erfüllung der zugrunde liegenden Aufgabe erforderlich ist. Die Herausforderung in der rechtlichen Argumentation ist hierbei, dass die Erforderlichkeit in Abhängigkeit der eingesetzten Technologien unterschiedlich beurteilt werden muss. 

Anlasslose Verarbeitung 

In einigen von uns diskutierten Anwendungsfällen ist eine Abkehr von der einzelfallbezogenen hin zur anlasslosen (Vor-)Verarbeitung diskutiert worden. Als Beispiel kann generell die Abrechnungsprüfung herangezogen werden. Während im Rahmen der herkömmlichen Sachbearbeitung Einzelfälle überprüft werden, soll der Einsatz von KI genutzt werden, um Auffälligkeiten aus den Datenbeständen zu erkennen. Diese werden entweder der Sachbearbeitung bei der Eingabe angezeigt oder es werden Listen erzeugt, die Verdachtsfälle enthalten. Zu diskutieren ist, ob diese Rasterung der Datenbestände mit der Reichweite der jeweiligen Verarbeitungsgrundlage begründet werden kann.

Rechenschaftspflicht

Insgesamt muss zu den datenschutzrechtlichen Fragestellungen eine dokumentierte Auseinandersetzung des Verantwortlichen erfolgen. Dies ist schon allein aufgrund der Rechenschaftspflichten unabdingbar (Artikel 5 Abs. 2 DSGVO).

EU-Verordnung zur Künstlichen Intelligenz

Die KI-Verordnung (kurz: KI-VO oder AI-Act) ist am 1. August 2024 in Kraft getreten. Die KI-VO ordnet die Anwendungen in drei Risikokategorien und definiert Regelungen und Auflagen proportional zum Risiko. Anwendungen und Systeme, die ein inakzeptables Risiko darstellen, wie z. B. staatlich betriebenes Social Scoring oder Emotionserkennung am Arbeitsplatz, sind verboten. Anwendungen mit hohem Risiko, zu denen u. a. auch grundlegende öffentliche Leistungen aus dem Bereich „Life and Health Insurance“ gezählt werden, müssen besondere Transparenzpflichten und Risikomanagementvorgaben erfüllen, zertifiziert werden und in einer öffentlichen EU-Datenbank registriert sein. An Systeme mit begrenztem Risiko werden lediglich besondere Transparenzanforderungen gestellt. Zudem haben Anbieter und Betreiber von KI-Systemen Maßnahmen zu ergreifen, um sicherzustellen, dass ihr Personal über ein ausreichendes Maß an KI-Kompetenz verfügt.

Auf nationaler Ebene müssen bis zum 2. August 2025 nationale Aufsichtsstrukturen eingerichtet werden. Ein Referentenentwurf der letzten Bundesregierung (20. Legislaturperiode) zur Durchführung der KI-VO sah die Bundesnetzagentur als zentrale Marktüberwachungsbehörde vor. Soweit ein entsprechender Entwurf in der neuen 21. Legislaturperiode verabschiedet wird, wird auch das „Konkurrenzfeld“ der Aufsichtsbehörden (Rechts- und Fachaufsicht, Datenschutzaufsicht und KI-Aufsicht) in der Sozialversicherung um eine Perspektive komplexer. Das BAS empfiehlt Abstimmungs- und Koordinierungsmechanismen vorzusehen, wie sie bereits mit BfDI und BSI existieren (vgl. z. B. § 16 Abs. 1 BDSG, § 14a BSI-Gesetz).

Fazit und Ausblick

Für den Einsatz von KI in der Sozialversicherung können große Potenziale gesehen werden, zum einen in spezifischen Anwendungskontexten (z. B. Erkennung von Abrechnungsfehlern, Vorbereitung von Genehmigungsprozessen) und zum anderen als Assistenzsysteme zur vielfältigen Unterstützung der Sachbearbeitung. Wie generell beim Einsatz neuer Technologien üblich, sind neben Fragen der Wirtschaftlichkeit, der Organisation und der Technik auch juristische und regulatorische Herausforderungen zu meistern.  Der Digitalausschuss im BAS bietet hierzu eine vorhabenbegleitende Beratung an (digitalausschuss@bas.bund.de).

Einige Fragen zur ersten Selbsteinschätzung

Die offene Frageliste soll eine erste Selbsteinschätzung unterstützen. Die Liste wird fortwährend erweitert. Ein Anspruch auf Vollständigkeit wird nicht erhoben.

• Gibt es vom Vorstand bzw. der Geschäftsführung strategische Vorgaben zum Umgang mit Künstlicher Intelligenz?
• Sind funktionale und nicht-funktionale Anforderungen so weit verstanden, dass abgeschätzt werden kann, ob und wie Künstliche Intelligenz zum Einsatz kommen kann?
• Wurden Domänenexpertinnen und Domänenexperten in hinreichendem Umfang in die Ideengenerierung mit einbezogen?
• Wurden konventionelle Alternativen untersucht, die auch ohne den Einsatz von KI zum gewünschten Ergebnis führen können?
• Wird der Einsatz der KI unter Berücksichtigung aller Kosten (insbesondere auch der Entwicklungskosten) voraussichtlich wirtschaftlicher sein als der Einsatz von bereits vorhandenen Ressourcen?
• Kann der Gesamtaufwand der Umsetzung schon valide geschätzt werden?
• Sind die rechtlichen Rahmenbedingungen und insbesondere die datenschutzrechtlichen Verarbeitungsbefugnisse für die benötigten Daten geklärt?
• Sind Qualität und Quantität der benötigten Daten gesichert?
• Gibt es bereits Infrastrukturen, die den Umgang mit großen Datenbeständen erlauben?
• Gibt es eine Datenerhebungsstrategie über den gesamten Lebenszyklus und werden entstehende Aufwände, wie zum Beispiel das kontinuierliche Labeln der Daten, berücksichtigt?
• Sind die Verarbeitungsweisen Gegenstand der Informationspflichten gegenüber den Betroffenen? Wie wird die Verarbeitungsweise transparent gemacht?
• Sind geeignete Methoden im Einsatz, um Bias in Trainingsdaten zu erkennen und zu verhindern?
• Sind Methoden zum Erkennen von falsch positiven und falsch negativen Fällen mit vertretbarem Aufwand implementierbar, um Risiken mit großen Auswirkungen abzufangen?
• Ist ein Prozess etabliert, der die Qualität insbesondere von Trainings- und Testdaten prüft und sichert?
• Ist geklärt, zu welchen Zeitpunkten Entscheidungen bezüglich eingesetzter Algorithmen wieder aufgenommen und überdacht werden müssen?
• Wie werden potenzielle Risiken überwacht?
• Wann und wie muss das System neu trainiert werden?

(Stand: 27. Mai 2025)