Regulierung von Daten, Algorithmen und Systemen Künstlicher Intelligenz

Die Empfehlungen der Datenethikkommission als Blaupause für eine europäische Algorithmenverordnung?


Am 23. Oktober 2019 hat die Datenethikkommission (DEK) der Bundesregierung ihren 240-seitigen Abschlussbericht vorgelegt und damit eine Debatte über die Regulierung von Algorithmen ausgelöst.

I. Handlungsempfehlungen

Die 75 Handlungsempfehlungen für den Umgang mit Daten, künstlicher Intelligenz und algorithmischen Systemen sind ambitioniert und haben es in der Tat in sich:

    1. Zentrale Bundesbehörde für Datenschutz

    Auf Bundesebene soll für den nicht-öffentlichen Bereich eine zentrale Aufsichtsbehörde für den Datenschutz geschaffen werden, um eine einheitliche und kohärente Anwendung des Datenschutzrechts zu gewährleisten. Sie soll mit einem weiten Mandat ausgestattet werden und eng mit anderen Fachaufsichtsbehörden kooperieren. Die Zuständigkeit der Landesdatenschutzbehörden für den öffentlichen Bereich bliebe davon unberührt. Die Zentralisierung der Datenschutzaufsicht für den Markt durch eine zentrale Bundesbehörde wird jedoch nur für den Fall vorgeschlagen, dass die Verstärkung und Formalisierung der Abstimmung zwischen den deutschen Datenschutzaufsichtsbehörden nicht gelingt.

    2. Algorithmen-TÜV

    Zur Regulierung algorithmischer Systeme wird ein fünfstufiger „risikoadaptierter Regulierungsansatz“ vorgeschlagen, bei dem ein steigendes Schädigungs­potenzial der Algorithmen mit wachsenden Anforderungen und Ein­griffstiefen der regulatorischen Instrumente einhergeht. Die Algorithmen werden dabei nach ihrem Schädigungspotenzial in fünf „Kritikalitäts-Stufen“ eingeordnet, die stufenweise den Einsatz jeweils strengerer regulativer Instrumente auslösen. Diese reichen von Kennzeichnungs-, Offenlegungs- und Auskunftspflichten gegenüber Aufsichtsbehörden und Betroffenen (Stufe 2), über Zulassungsverfahren und die Pflicht zur Veröffentlichung von Risikofolgenabschätzungen (Stufe 3), der Offenlegung der in die algorithmische Berechnung einfließenden Faktoren und der kontinuierlichen behördliche Kontrolle über eine Live-Schnittstelle (Stufe 4) bis zum teilweisen oder vollständigen Verbot von Algorithmen (Stufe 5). Ein „spezifisches Gütesiegel als freiwilliges oder verpflichtendes Schutzzeichen“ soll Verbrauchern darüber hinaus eine Orientierung über vertrauenswürdige algorithmische Systeme geben und zugleich marktwirtschaftliche Anreize für die Entwicklung und Nutzung vertrauenswürdiger Systeme setzen.

    3. Europäische Verordnung für algorithmischen Systeme (EUVAS)

    Die Umsetzung der Maßnahmen soll eine Europäische Verordnung für algorithmischen Systeme (EUVAS) sicherstellen. Als horizontaler Rechtsakt soll die Verordnung materielle Regelungen zur Zulässigkeit und Gestaltung algorithmischer Systeme, zur Transparenz, zu Betroffenenrechten, zu organisatorischen und technischen Absicherungen sowie zur Aufsicht bündeln. Die sektorale Konkretisierung erfolgt in einem zweiten Schritt durch weitere Rechtsakte auf europäischer und nationaler Ebene.

    4. Diskriminierungsschutz

    Algorithmenbasierte Prognose- und Entscheidungsprozesse („algorithmic decision making“ = ADM) bergen vor allem mit Blick auf die Ermittlung von Risikoprofilen (z.B. für zukünftige Erkrankungen oder die Kreditwürdigkeit) ein erhebliches Diskriminierungspotenzial. Entsprechend sollen für algorithmische Systeme strenge Anforderungen im Hinblick auf ihre Diskriminierungsfreiheit gelten, die rechtlich über die Aufnahme eines korrespondierenden Tatbestandes innerhalb des Allgemeinen Gleichbehandlungsgesetzes (AGG) sowie Verwertungsverbote abgesichert sind. Die algorithmischen Systemen zugrunde liegenden Entscheidungsmuster dürfen zudem keine systematischen Verzerrungen (Biases) aufweisen oder zu diskriminierenden Entscheidungen führen.

    5. Strenge Regulierung von Plattformbetreibern

    Weitreichend sind die Empfehlungen für „Medienintermediäre mit Torwächterfunktion“. Angesichts der besonderen Gefahren, die von den Medienintermediären mit Torwächterfunktion für Meinungsbildung und Demokratie ausgehen, sollen Anbieter einer dem Rundfunk entsprechenden Regulierung unterworfen werden. News-Aggregatoren werden beim Einsatz algorithmischer Systeme verpflichtet, den Nutzern zumindest zusätzlich eine tendenzfreie, ausgewogene und die plurale Meinungsvielfalt abbildende Zusammenstellung von Beiträgen und Informationen zu verschaffen. Weitere Maßnahmen umfassen eine Kennzeichnungspflicht für Social Bots, Transparenzpflichten für Aggregatoren, das Recht auf Gegendarstellung sowie das Recht auf ein wirksames Verfahren, um gelöschte Beiträge zeitnah wieder einzustellen, solange sie keinen Gesetzen widersprechen. Die Berufung der Netzwerke auf ihre eigenen Regeln darf als Grundlage für eine dauerhafte Löschung nicht ausreichen.

    6. Haftung für Algorithmen

    Komplexität, Dynamik und wachsende „Autonomie“ algorithmischer Systeme stellen das bestehende Haftungsrecht vor erhebliche Herausforderungen. Eine Anpassung des geltenden Haftungsrechts soll neben strafrechtlicher Verantwortlichkeit und Verwaltungssanktionen den geplanten Ordnungsrahmen ergänzen. Neben einer Zurechnung schädigender Vorgänge entsprechend der Regelung über die Haftung von Erfüllungsgehilfen gem. § 278 BGB und eine Anpassung der Produkthaftungsrichtliniesollen etwa neue Tatbestände der Gefährdungshaftung geschaffen werden. Bei der Überarbeitung des Haftungsregimes können in besonderer Weise innovative Haftungskonzepte wie jenes einer differenzierten Betreiberhaftung berücksichtigt werden, die derzeit auf europäischer Ebene erarbeitet werden. Eine eigene Rechtspersönlichkeitfür algorithmischen Systeme hoher Autonomie („elektronische Person“) wird angesichts ethischer Bedenken wie auch der Gefahr einer unzulässigen Begrenzung der Verantwortlichkeit der handelnden Akteure abgelehnt

    7. kein „Dateneigentum“

    Von der Einführung eines dem Sacheigentum oder dem geistigen Eigentum nachgebildeten Ausschließlichkeitsrechts an Daten („Dateneigentum“) rät die Kommission dagegen ab. Die Einführung eigentumsähnlicher Verwertungsrechte, die eine wirtschaftliche Partizipation an datengenerierten Gewinnen ermöglichen, würde bestehende Probleme nicht lösen, sondern vielmehr neue Probleme schaffen. Stattdessen wird vorgeschlagen, nach dem Vorbild des neuen europäischen Regimes zum Schutz von Geschäftsgeheimnissen eine beschränkte Drittwirkung vertraglicher Vereinbarungen hinsichtlich der Beschränkungen der Nutzung und Weitergabe von Daten zuzulassen.

    8. Daten als „Gegenleistung“

    Mit Blick auf die nach Art. 3 Nr. 1 Digitale Inhalte-Richtlinie mögliche Bereitstellung personenbezogener Daten als Entgelt empfiehlt die Kommission, von der plakativen Bezeichnung der „Daten als Gegenleistung“ abzusehen. Einerseits sei dies deshalb geboten, weil personenbezogene Daten als Teil der Persönlichkeit verfassungsrechtlichen Schutz genießen. Andererseits könnte die Anerkennung personenbezogener Daten als synallagmatische Gegenleistung als Argument herangezogen werden, datenbezogen AGB der Inhaltskontrolle zu entziehen oder Verbraucher bei Widerruf der datenschutzrechtlichen Einwilligung vertragsrechtlichen Sanktionen zu unterwerfen. Darüber hinaus stehe die Klärung durch den EuGH noch aus, ob das Geschäftsmodell „digitale Inhalte oder Dienstleistungen gegen personenbezogene Daten“ überhaupt mit dem Koppelungsverbot des Art. 7 Abs. 4 DSGVO vereinbar ist. Zur Gewährleistung echter Freiwilligkeit der Datenhingabe sollen den Verbrauchern alternative Angebote als Bezahlmodell bereitgestellt werden.

    9. personalisierte Risikoeinschätzungen

    Besondere Risiken für die autonome Entscheidung über die Preisgabe personenbezogener Daten bilden die Telematikverträge von Versicherungen oder Bonitäts-scorings durch Kreditinstitute. Hier erlauben personalisierte Risikobewertungen eine höhere Granularität preisrelevanter Vorhersagen durch algorithmische Systeme. Auch wenn die Erteilung einer entsprechenden datenschutzrechtlichen Einwilligung für einzelne Verbraucher zunächst ökonomisch vorteilhaft ist, können entsprechende Geschäftsmodelle ungewünschte Unraveling-Effekte, d.h. ethisch problematische Kettenreaktionen auslösen. So können insbesondere auch Versicherte mit schlechterem Gesundheitszustand unter Druck geraten, trotz drohender höherer Prämien eine entsprechende datenschutzrechtliche Einwilligung zu erteilen. Es besteht zudem die Gefahr, dass die Verweigerung einer entsprechenden Einwilligung als Indiz für einen schlechten Gesundheitszustand und damit ein höheres Versicherungsrisiko gewertet wird. Die Nutzung personalisierter Risikobewertungen ist daher an enge Voraussetzungen zu knüpfen. Sie darf nicht den Kern privater Lebensführung betreffen, sie muss auf einem kausalen Zusammenhang zwischen Daten und Risiko und die Preisdifferenz darf bestimmte Grenzwerte nicht überschreiten.

    10. Erweiterung der DSGVO, postmortaler Datenschutz, Interoperabilität

    Weitere Vorschläge betreffen die Erweiterung der DSGVO etwa um Standards für die Anonymisierung und Pseudonymisierung von Daten, die nach Erwägungsrund 27 zur DSGVO mögliche Einführung nationaler Regelungen für den postmortalen Datenschutz und sowie sektorspezifische Pflichten zur InteroperabilitätB. für soziale Netzwerke und Messenger-Dienste.

    Angesichts der Komplexität des Themas und der Kürze der zur Verfügung stehenden Zeit ist das Ergebnis, das die Kommission nach einem Jahr Tätigkeit vorgelegt hat, bemerkenswert. In einem fulminanten Rundumschlag hat die Kommission nicht weniger als eine fundierte Analyse der wesentlichen Risiken der datengetriebenen Wirtschaft an der Schwelle des 21. Jahrhunderts vorgelegt. Trotz der Beschränkung des Arbeitsauftrages auf die drei Säulen algorithmenbasierte Prognose- und Entscheidungsprozesse (ADM), KI und Daten wurde kaum eine der großen Zukunftsfragen im Kontext der Digitalisierung ausgelassen:

    • Hat das Handeln des Menschen einen ethisch relevanten Wert an sich?
    • In welchem Verhältnis stehen Ethik und Recht zueinander?
    • Welche Werte, welche ethischen und rechtlichen Grundsätze und Prinzipien sind für die Fundierung unseres Gemeinwesens konstitutiv und unverzichtbar?
    • In welchem Umfang dürfen menschliche Entscheidungen auf algorithmenbasierte Analysen gestützt werden?
    • Wann und in welchem Rahmen dürfen Algorithmen Entscheidungen treffen, die bisher menschlichem Handeln vorbehalten waren?
    • Wann sind Algorithmen gefährlich und wie ist mit ihnen umzugehen?Wer darf wann wie lange über welche Daten verfügen?

    So weit der thematische Rahmen auch gespannt war – er reicht von der Philosophie über das Datenschutz- und Datenschuldrecht bis zu Fragen des deep and machine learning, künstlicher Intelligenz und komplexen algorithmischen Systemen – so detailliert sind die Empfehlungen, die der Abschlussbericht nun der interessierten Öffentlichkeit sowie der Politik, Wirtschaft und Wissenschaft vorlegt. Eine Leistung, die man nicht alle Tage sieht. Hier wurden die richtigen, die grundsätzlichen Fragen gestellt und klug wie pragmatisch zu Ende gedacht. Angesichts der Detailfülle und der Reichweite der vorgeschlagenen Lösungen ist wenig überraschend, dass der Bericht eine handfeste Debatte über die Bedeutung, Risiken und Reichweite einer möglichen Regulierung von Algorithmen angestoßen hat.

    Die Reaktionen folgen den tradierten Linien: Während Industrieverbände wie BITKOM vor exzessiver „Regulierungswut“ warnen und kritisieren, dass der Abschlussbericht „fast alle Algorithmen unter einen Generalverdacht“ stellt und damit Deutschland zu einem „analogen Inselstaat“ zurückzubaut, reagieren Verbraucherverbände, Medien und Netzgemeinde ganz überwiegend, die Politik verhalten positiv. Kritik kommt jedoch nicht nur von Seiten Industrie. So ist der Abschlussbericht für Christoph Kucklick, den Chefredakteur des Magazins „Geo“ eine „Blaupause für Totalregulierung der digitalen Sphäre“, die lizensierte Medienordnung „das Ende einer liberalen Digitalisierung“, die Verpflichtung von Medienintermediären zu Ausgewogenheit, Neutralität und Tendenzfreiheit und die staatliche Kontrolle von Torwächtern ein erster Schritt hin zu einem „autoritären Digitalstaat“. Die Politologin Jaume-Palasí sieht in ihm gar eine Gefahr für die Demokratie.

    II. Eine überfällige Debatte

    Tatsächlich hat die Kommission jedoch mit der Frage, in welchem Umfang Algorithmen schon jetzt unser Leben bestimmen und wie weit sie es bestimmen dürfen eine längst notwendige Debatte angestoßen. Sie hat eine Entwicklung zur Diskussion gestellt, die sich atemberaubend rasant, jedoch zugleich erstaunlich unreflektiert gleichsam „unter dem Radar“ der öffentlichen Wahrnehmung vollzieht. Und die Fakten schafft, noch bevor eine substantielle Bewertung ihrer Folgen überhaupt möglich ist. Dass diese Diskussion nun auch Öffentlichkeit, Politik und Wissenschaft in ihrer Breite erreicht, ist zu begrüßen. Sie war längst überfällig. Algorithmen sind allgegenwärtig und zugleich unverzichtbar. Sie sind jedoch nicht harmlos. Algorithmen können menschliches Verhalten steuern und Menschen schaden. Sie tun es bereits jetzt, etwa wenn sie historische Diskriminierungen fortschreiben, weil sich Vorgaben der Entwickler in den Modellen fortsetzen.

    Ein Anschauungsbeispiel lieferten Forscher aus Berkeley, Boston und Chicago bereits zwei Tage nach Vorstellung des Abschlussberichts. In einer im Wissenschaftsmagazin Science veröffentlichten Studie konnten sie nachweisen, dass in den USA Millionen afroamerikanischer Patienten bei der Entscheidung über eine bessere medizinische Versorgung benachteiligt werden. Eine in Krankenhäusern und Versicherungen weit verbreitete Software sollte automatisiert jene Patienten identifizieren, die eher von aufwändigen und teuren Behandlungsprogrammen profitieren würden. Der Algorithmus wurde so programmiert, dass die bisherigen Behandlungskosten als maßgebliches Kriterium für die Berechnung des Risikofaktors herangezogen wurden. Die Korrelation zwischen Behandlungskosten und Gesundheitszustand erwies sich indes als nicht tragfähig. Es stellte sich heraus, dass die Behandlungskosten afroamerikanischer Patienten durchschnittlich um 1.801 USD im Jahr niedriger ausfielen, als für die übrigen Patienten mit vergleichbarem Gesundheitszustand. Afroamerikaner sind damit nicht automatisch gesünder, sondern schlicht unterversorgt.

    Die Gründe hierfür sind vielfältig: Weit verbreitete Armut und hieraus resultierende Zugangsbarrieren zum Gesundheitssystem, infrastrukturschwache Wohnorte, erschwerter Zugang zu Transportmitteln, höhere Anforderungen an Beruf und Kinderbetreuung, geringes Vertrauen in das Gesundheitssystem sowie unmittelbare Diskriminierung durch Ärzte. Im Ergebnis sagen die Behandlungskosten viel über die mannigfaltigen Diskriminierungen aus, denen afroamerikanischer Patienten innerhalb des Gesundheitssystem ausgesetzt sind. Als zuverlässiges Indiz für den Gesundheitszustand taugen sie nicht. Die Folgen sind gravierend: Der bestehende „racial bias“ setzt sich im Algorithmus fort. Afroamerikaner werden bei der Versorgung mit speziellen Behandlungsprogrammen systematisch benachteiligt. Ihre Chancen auf eine Zusatzversorgung sind um mehr als 50 % geringer, als die der übrigen Patienten. Während nach den Vorgaben des Algorithmus lediglich 17,7 % der afroamerikanischen Patienten Zugang zu speziellen Behandlungsprogramme erhalten sollten, würde ihr Anteil ohne Verzerrung bei 46,5 % liegen.

    Die Beispiele ließen sich beliebig fortsetzen und sie können jeden treffen. Sie reichen von diskriminierenden Kredit-Scorings über die automatische Sperre von Facebook-Accounts bis hin zur Vermittlung von Jobangeboten, die etwa im Fall des umstrittenen österreichischen AVM-Algorithmus möglicherweise zur Benachteiligung von Frauen führen.

    III. Blaupause für eine europäische Regelung?

    Wie geht es nun weiter? Mit ihrem Abschlussbericht hat die Kommission Pflöcke eingeschlagen, an denen nun kaum jemand mehr so einfach vorbeikommen wird. Weder in Berlin, noch in Brüssel. Qualität, Tiefgang und konzeptionelle Originalität des Gutachtens sind bemerkenswert. In einem Parforceritt hat die Kommission die großen Grundsatzfragen und Kernprobleme der datengetriebenen Wirtschaft des 21. Jahrhunderts angegangen, analysiert und tragfähige Konzepte für einen effektiven Ordnungsrahmen vorgelegt. Dass die Empfehlungen auf das nationale Recht beschränkt bleiben werden, ist kaum anzunehmen. „Es wäre ein Fehler“, so Paul Nemitz, Hauptberater in der Generaldirektion Justiz und Verbraucherschutz der Europäischen Kommission und zugleich Mitglied der Datenethikkommission, „den Bericht der Datenethikkommission als ‚typisch deutsch‘ abzutun. Das Gegenteil ist richtig.“

    Und tatsächlich ist die Datenethikkommission so europäisch, wie es eine nationale Regierungskommission nur sein kann, was bereits in der Besetzung des Vorsitzes deutlich wird. Diesen teilen sich die Wiener Juristin und Präsidentin des European Law Instituts Christiane Wendehorst sowie die Kölner Medizinethikerin Christiane Woopen, die zugleich als Vorsitzende des Europäischen Ethikrates der europäischen Kommission fungiert. Und so mag es kein Zufall sein, dass mit Roberto Viola, dem Generaldirektor für den digitalen europäischen Binnenmarkt der EU-Kommission und Michael O’Flaherty, dem Direktor der Europäischen Grundrechte Agentur, gleich zwei hochrangige Vertreter der Europäischer Institutionen eigens zur Übergabe des Berichts der Datenethikkommission am 23. Oktober 2019 nach Berlin angereist sind.

    Das Gutachten der Kommission wird in Brüssel nicht nur mit beachtlichem Interesse verfolgt. Es ist personell und konzeptionell zu weiten Teilen ein europäisches Projekt. Und in letzter Konsequenz nicht anders als auf europäischer Ebene zu verwirklichen. Dass dies schneller der Fall sein wird, als der bisherige Stand der Diskussion vermuten lässt, lassen die politischen Leitlinien der designierten Kommissionspräsidentin Ursula von der Leyen erahnen. Danach soll binnen der ersten 100 Amtstage eine Gesetzesinitiative für einen „koordinierten Ansatz für die menschlichen und ethischen Auswirkungen der Künstlichen Intelligenz“ vorgelegt werden. Zwar bestehen mit den Ethik-Leitlinien der Europäischen Kommission für Künstliche Intelligenz erste Vorbereiten, auf die sich der Vorschlag für einen zukünftigen europäischen Rechtsakt stützen könnte. Allerdings bleiben sie im Ganzen vergleichsweise vage. Daher spricht einiges dafür, dass das Gutachten der DEK wenn nicht als Blaupause, so doch als „Goldstandard“ einer europaweit einheitlichen Regulierung für Algorithmen und Systeme künstliche Intelligenz konzeptionell zugrunde gelegt wird. Das Potenzial hierfür hat er allemal.


Matthias Wendland
Matthias Wendland

PD Dr. Matthias Wendland, LL.M. (Harvard) - Institut für Internationales Recht der Ludwig-Maximilians-Universität München

All author posts