„Es geht um Entscheidungen über Menschenleben“

Ein geplantes Gesetz soll mehr Automatisierung in BAMF, Ausländerbehörden und Co. bringen. Die Integrationsbeauftragte begrüßt den KI-Einsatz in der Migrationsverwaltung. Doch Menschenrechtsorganisationen warnen vor Diskriminierung und Entscheidungen über Menschenleben.

Schneller, besser, sicherer – das wünscht sich die Bundesregierung für Asyl- und Aufenthaltsverfahren von ihrem geplanten Gesetz zum Einsatz von KI in der Migrationsverwaltung. Der Entwurf, auf den sich die Bundesregierung Ende Juli geeinigt hat, würde dabei neben Asylantragstellenden auch Menschen betreffen, die ein Visum in Deutschland beantragen. Oder solche, die zwar kein Asyl, aber eine Duldung oder Aufenthaltserlaubnis bekommen haben.

Das Gesetz führt vor allem drei Neuerungen ein: Erstens sollen Behörden, die mit dem Asyl- und Aufenthaltsgesetz zu tun haben, mit entsprechenden personenbezogenen Daten KI-Systeme etwa trainieren oder testen dürfen. Zweitens sollen sie damit auch ein „automatisiertes Verfahrensmonitoring“ einrichten können, etwa um Hinweise darauf zu bekommen, ob Antragstellende mit ähnlichen Eigenschaften besonders häufig abgelehnt werden. Drittens sollen BAMF und Ausländerbehörden bei Zweifeln an gemachten Angaben automatisiert Daten mit dem Internet abgleichen dürfen.

Im Vergleich zum ersten bekanntgewordenen Referentenentwurf finden sich in der abgestimmten Regierungsfassung kleine Nachbesserungen, etwa dass biometrische Daten explizit nicht für die automatisierten Abgleiche von BAMF und Ausländerbehörden genutzt werden dürfen. Der Kritik von Verbänden und verschiedenen Bundesbeauftragten wird das nicht gerecht.

Diskriminierung lässt sich nicht durch eine Vorschrift verhindern

Nach Informationen von netzpolitik.org hatte etwa die Antidiskriminierungsbeauftragte des Bundes Ferda Ataman während der Regierungsberatungen deutliche Bedenken geäußert. Unter anderem hatte sie kritisiert, dass ein Verbot diskriminierender Algorithmen nicht ausreichend thematisiert werde. Der Gesetzentwurf postuliert an mehreren Stellen lediglich, dass die entsprechenden Behörden dafür sorgen müssten, dass „diskriminierende Algorithmen weder herausgebildet noch verwendet werden“. Dafür sollen sie die nötigen „technischen und organisatorischen Vorkehrungen“ treffen. Die Antidiskriminierungsbeauftragte forderte dazu nach Informationen von netzpolitik.org, unter anderem jährliche Transparenzberichte über die entwickelten und eingesetzten Systeme zu erstellen.

Auch mehrere Verbände haben einen zu schwachen Schutz vor Diskriminierung kritisiert. Nora Oppermann von der NGO AlgorithmWatch warnt davor, Menschen „unausgereiften KI-Systemen auszusetzen und ihre Schicksale für evidenzlose Forschung zu nutzen“.

Pro Asyl schreibt in seiner Stellungnahme, dass die Vorgaben zur „Nachvollziehbarkeit der Systeme, zum Schutz hochsensibler personenbezogener Daten und zur Verhinderung diskriminierender Entscheidungen“ nicht ausreichen. Wiebke Judith, rechtspolitische Sprecherin der Menschenrechtsorganisation, warnt in einer Pressemitteilung: „Ein Blankoschein für die Anwendung von KI für zig Behörden, wie es der Gesetzentwurf gerade vorsieht, ist höchst gefährlich“. Denn es gehe, so Judith, „um Entscheidungen über Menschenleben“.

Die Organisation fordert, dass der Bundestag den Gesetzentwurf nicht weiterverfolgt oder grundlegend überarbeitet. Nach der Sommerpause wird er mit den Beratungen über den Entwurf beginnen.

„Effizienz darf nicht zulasten verfassungsrechtlicher Grundsätze gehen“

Eine Überarbeitung wünscht sich auch die Bundesbeauftragte für den Datenschutz und die Informationsfreiheit Louisa Specht-Riemenschneider (BfDI). Ein Sprecher der Behörde schreibt gegenüber netzpolitik.org, die Behörde sehe zwar, dass KI-Einsatz „Verwaltungsverfahren effizienter machen“ könne und begrüße dieses Ziel. „Effizienz darf aber nicht zulasten verfassungsrechtlicher Grundsätze gehen“. Aus Sicht der BfDI gebe es im parlamentarischen Verfahren Nachbesserungsbedarf.

„Zum einen sollte der Gesetzentwurf klar regeln, welche Daten für Entwicklung und Einsatz von KI-Systemen genutzt werden dürfen“, so der BfDI-Sprecher. Wo anonymisierte Daten reichen, dürften auch keine personenbezogenen genutzt werden. Eine nächste Stufe wären pseudonymisierte Informationen. Nur wenn die nicht reichen, dürften personenbezogene Informationen für die Entwicklung und den Einsatz von KI-Systemen genutzt werden.

Außerdem stelle der automatisierte Abgleich mit öffentlich zugänglichen Daten „einen erheblichen Grundrechtseingriff“ dar. „Deshalb reicht es nicht aus, erst das Ergebnis eines solchen Abgleichs durch einen Menschen überprüfen zu lassen“, so der Sprecher. Schon vorher müsse geprüft werden, „ob tatsächlich konkrete Zweifel bestehen, die einen solchen Abgleich rechtfertigen. Ein rein algorithmischer Automatismus muss als Auslöser ausgeschlossen sein.“

Integrationsbeauftragte begrüßt KI-Pläne

Positiv sieht das Vorhaben die Integrationsbeauftragte des Bundes Natalie Pawlik. „Die Entwicklung und der Einsatz von KI in der Migrationsverwaltung haben das Potenzial, Engpässe bei der Antragsbearbeitung zu verringern und die Wartezeit auf einen Bescheid zu verkürzen“, so eine Sprecherin der Beauftragten. Sie begrüßt unter anderem das „strikte Diskriminierungsverbot“. So bliebe „die Balance zwischen technischer Innovation und Datenschutz gewahrt“.

In anderen Ländern, die bereits in größerem Maß automatisierte Systeme im Bereich der Migrationsverwaltung nutzen, zeigt sich, was schiefgehen kann: Im Jahr 2023 zeigten journalistische Recherchen Probleme und Diskriminierungen bei einer automatisierten Einstufung von Visumsantragstellenden in den Niederlanden: Das verwendete System stufte etwa nepalesische unverheiratete Männer bestimmten Alters in besondere Risikokategorien ein.

Bei einem aktuellen Fall aus Großbritannien berief sich das dortige Innenministerium bei der Ablehnung eines Asylgesuchs auf ein Dokument, dessen Existenz nicht zweifelsfrei gezeigt werden konnte. Ein Richter wirft dem Ministerium daher vor, sich bei der Ablehnung auf „KI-halluzinierte“ Informationen zu stützten. Das jedoch verweist auf die individuelle Prüfung aller Anträge.

Neu eingeführt werden soll in Großbritannien eine Alterserkennungtechnologie. Kritiker:innen fürchten, dass dadurch noch mehr unbegleitete, minderjährige Geflüchtete als bislang als Erwachsene eingestuft werden.

Anna Biselli  ist Co-Chefredakteurin bei netzpolitik.org. Sie interessiert sich vor allem für staatliche Überwachung und Dinge rund um digitalisierte Migrationskontrolle. Kontakt: E-Mail (OpenPGP), Mastodon, Telefon: +49-30-5771482-42 (Montag bis Freitag jeweils 8 bis 18 Uhr). Dieser Beitrag ist eine Übernahme von netzpolitik, gemäss Lizenz Creative Commons BY-NC-SA 4.0.