AI-Überwachung wird eure Kinder nicht retten: Die Kontrolle von Chats taucht wieder auf

Das Schreckgespenst der Massenüberwachung schwebt weiterhin über Europa. Trotz aller Fortschritte durch die Datenschutz-Grundverordnung (DSGVO) ist die Umgehung der Datenverschlüsselung nach wie vor ein Ziel.

Leider kommt es nur allzu oft vor, dass Verstöße gegen unsere bürgerlichen Freiheiten sich hinter dem Versprechen verstecken, uns vor Monstern zu schützen. Der EU-Vorschlag für die „Verordnung zur Festlegung von Vorschriften zur Verhütung und Bekämpfung des sexuellen Missbrauchs von Kindern“ (CSA-Verordnung oder CSAR) ist ein eindrucksvolles Beispiel dafür. Die Verordnung stand diese Woche erneut zur Abstimmung im Europäischen Parlament. Glücklicherweise wurde es gestern letztendlich verschoben, aufgrund der Kontroverse um das, was Datenschützer als möglicherweise „den am meisten kritisierten EU-Gesetzesentwurf aller Zeiten“ bezeichnen.

Screenshot vom 21. Juni 2024

CSAR stellt Web-Clients im Wesentlichen KI-gestützte Überwachungstechnologie zur Verfügung, um die Verschlüsselung zu untergraben, die die persönlichen Dateien und die Kommunikation aller schützt. All das geschieht angeblich im Namen der Bekämpfung von sexuellem Kindesmissbrauch, aber lass dich nicht von diesem Wolf im Schafspelz täuschen. EU-Bürgern wird eine falsche Wahl vorgelegt: private Kommunikation oder Sexualstraftäter? Glücklicherweise sprechen sich viele, darunter auch Mitglieder des Nym-Kernteams und der Community, eindringlich dagegen aus.

Das Nym-Team hat die schrittweise Weiterentwicklung der Versionen 1.0 und 2.0 von „Chat-Kontrolle“ seit deren Einführung im Jahr 2022 genau verfolgt. Es wird erneut eine Diskussion und eine mögliche Abstimmung mit scheinbar überarbeiteten Formulierungen angestrebt. Die Änderungen mildern jedoch lediglich den Ton ihrer Strategie der Massenüberwachung. Das ist alles nur ein Taschenspielertrick, um zu versuchen, die DSGVO-Verpflichtungen zum Schutz der End-to-End-Datenverschlüsselung zu umgehen. Zwar bleibt die Verschlüsselung von CSAR vielleicht unberührt, doch wird eine noch bedrohlichere Hintertür für die Verschlüsselung vorgeschlagen, die eine noch tiefgreifendere Massenüberwachung von Geräten ermöglichen würde.

Im Folgenden erfährst du, worum es bei dem CSAR-Vorschlag geht und warum er eine solche Bedrohung für die Online-Privatsphäre aller Menschen in der EU und weltweit darstellt.

Was ist Chat-Kontrolle?

Das CSAR-Gesetz, das von Kritikern als „Chat-Kontrolle“ bezeichnet wird, ist ein regulatorischer Versuch, den Datenverkehr von Kinderpornografie und Missbrauch „vor der Übertragung“ aufzuspüren und zu blockieren. Auch wenn wohl kaum jemand dem Ziel widersprechen dürfte, haben Experten lautstark verkündet, dass die vorgeschlagene Regelung schlichtweg nicht wirksam sein wird. Schlimmer noch: Es genehmigt und erzwingt eine Überwachungs-Hintertür in die Geräte eines ganzen Kontinents voller Nutzer.

Client-Side Scanning (CSS)

Die von CSAR vorgeschlagene Lösung für das Problem von Material über sexuellen Kindesmissbrauch (auch CSAM genannt) ist die Massenüberwachung durch Client-Side Scanning (CSS). Anstatt verschlüsselte Übertragungen zu gefährden, scannt es im Wesentlichen Daten auf Geräten oder Servern, bevor die Verschlüsselung stattfindet. Das würde die Sicherheit der Kommunikation und die Prinzipien der End-to-End-Verschlüsselung für alle untergraben.

Verschlüsselung ist der Grundstein für sichere Kommunikation. Wenn du online über eine verschlüsselte Verbindung etwas tust – sei es, dass du persönliche Fotos an Freunde oder Familie schickst oder deine Kreditkarte online nutzt –, kannst du dir ziemlich sicher sein, dass Außenstehende keinen Zugriff auf deine Daten haben und diese nicht missbrauchen können. Die ursprünglichen CSAR-Bemühungen zielten darauf ab, Webdienste dazu zu zwingen, die Verschlüsselung zu knacken, die den Inhalt der Kommunikation der Kunden schützt. Da die Verschlüsselung geknackt wurde, könnten alle Nachrichten auf bestimmtes Material durchsucht werden. Glücklicherweise stieß dies auf heftigen Widerstand seitens der Zivilgesellschaft und von Datenschützern.

Derzeit werden CSS-Technologien vorgeschlagen, die es Webdiensten rechtlich erlauben und ermöglichen würden, die Dateien und die Kommunikation auf deinem Gerät noch bevor eine Verschlüsselung überhaupt stattfindet zu scannen oder zu „überwachen“. Stell dir vor, Apple könnte deine iPhoto- oder iMessenger-Apps regelmäßig nach vorprogrammierten Datenpunkten durchsuchen, die als Bedrohung eingestuft werden. Oder dass ein privater Kommunikationsdienst eine gerichtliche Anordnung dazu erhält. Tatsächlich hat der Präsident von Signal sogar öffentlich erklärt, dass sie ihre Dienste aus EU-Ländern zurückziehen werden, anstatt einen solchen Kompromiss bei der Sicherheit ihrer Nutzer zuzulassen.

Screenshot vom 21. Juni 2024

CSS-Technologie „äußerst fehlerhaft“, sagen Wissenschaftler

Jedes Überwachungs-Scan-Programm muss nach etwas Bestimmtem suchen. Die große Frage ist: Kann es seine Ziele erkennbar ausfindig machen, ohne dabei irrelevante Daten mit einzubeziehen? Im Fall von CSAR ist es das erklärte Ziel, die Geräte der Nutzer auf mögliche Vorkommen von CSAM zu scannen. Das bedeutet zum Beispiel Fotos, die Kinder nackt oder in sexuellen Posen zeigen, oder Nachrichten, die solche Handlungen beschreiben. Aber wie würde das eigentlich genau funktionieren?

Im Grunde wird ein wahrscheinlich KI-gestütztes Datenanalyseprogramm Zugriff auf alle unverschlüsselten Inhalte auf einem Gerät oder Server erhalten. Das System wird anhand von Datenpunkten eine große Anzahl potenzieller Bedrohungen markieren, bevor alle Fälle zur Überprüfung an ein Team aus Menschen weitergeleitet werden. Dieses Team hat dann Zugriff auf deine persönlichen Dateien und deine Kommunikation, um festzustellen, ob du etwas falsch gemacht hast. Verdächtige Inhalte oder Aktivitäten werden dann zur weiteren Untersuchung an die Strafverfolgungsbehörden weitergeleitet.

Forscher haben sehr deutlich davor gewarnt, wie fehleranfällig diese Technologie sein kann – sowohl in technischer Hinsicht als auch im Hinblick auf die Beeinträchtigung der bürgerlichen Freiheiten. Stell dir einen Fehlalarm vor, bei dem persönliche Fotos von Eltern mit ihren Kindern von einem Algorithmus markiert und dann von Analysten angesehen und überprüft werden, bevor sie an die Strafverfolgungsbehörden weitergeleitet werden. Datenwissenschaftler haben gewarnt, dass ein solches „Scannen zwangsläufig wirkungslos ist“ und in großem Maßstab „Nebenwirkungen hervorruft, die für alle Online-Nutzer extrem schädlich sein können und die das Internet und die digitale Gesellschaft für alle unsicherer machen könnten“.

Zeitleiste

CSAR hat sich seit seiner Einführung im Jahr 2022 im EU-Parlament schwer getan. Diese Woche geht es wieder los mit einer strategisch geplanten Diskussion, die unter dem Radar der jüngsten Parlamentswahlen stattfindet. Hier ist die wichtigste Zeitleiste, um den Fortschritt, die Änderungen und den aktuellen Stand zu sehen.

• 11. Mai 2022: Der ursprüngliche CSAR-Vorschlag wird vorgestellt.
• Juni 2022: Es wurde bekannt, dass der Hollywood-Schauspieler Ashton Kutcher mit der Kommissarin für Inneres, Ylva Johansson, zusammengearbeitet hatte, um sich für die damals noch als CSAR bezeichnete Verordnung einzusetzen – zum Vorteil von Thorn, einer Organisation, die er mitbegründet hatte. Thorn verkauft die KI-Tools, die zum Scannen der Geräte von Nutzern verwendet werden sollen. (Kutchner trat später als Vorsitzender von Thorn zurück, nachdem er einen verurteilten Vergewaltiger verteidigt hatte).
• 13. April 2023: Ein vom Europäischen Parlament in Auftrag gegebener Bericht über die Auswirkungen des CSAR-Vorschlags wurde dem Ausschuss für bürgerliche Freiheiten, Justiz und Inneres des EU-Parlaments vorgelegt.
• Juli 2023: Ein offener Brief von 465 Unterzeichnern aus Wissenschaft und Forschung wird an die EU-Kommission geschickt. Wissenschaftler warnen ausdrücklich vor den zu erwartenden Ineffizienzen der vorgeschlagenen Technologien und deren Untergrabung einer „sicheren digitalen Zukunft für unsere Gesellschaft“ sowie „demokratischer Prozesse in Europa und darüber hinaus“.
• 2. Mai 2024: Ein neuer offener Brief von 312 Wissenschaftlern und Forschern aus 32 Ländern wird an die EU geschickt. Sie betonen erneut, dass die sprachlichen Änderungen am CSAR-Vorschlag nichts an der „zutiefst fehlerhaften“ und gefährlichen Technologie ändern werden. Der Brief wurde gemeinsam mit Bart Praneel verfasst, einem Datenschützer, Professor und Berater bei Nym Tech.
• 13. Februar 2024: Das Urteil des Europäischen Gerichtshofs für Menschenrechte im Fall Podchasov gegen Russland unterstreicht die Rolle der End-to-End-Verschlüsselung für die „Sicherung und den Schutz der Privatsphäre in der elektronischen Kommunikation“ sowie für die Gewährleistung „der Ausübung anderer Grundrechte, wie beispielsweise der Meinungsfreiheit“.
• 20. Juni 2024: Die Diskussion und Abstimmung über den überarbeiteten CSAR ist nach einer Verschiebung geplant (siehe Punkt 28 unter „Justiz und innere Angelegenheiten“). Die Abstimmung ist endlich abgesagt!

Es ist wichtig zu beachten, dass das CSAR-Dokument ein Gesetzentwurf ist und keine Rechtswirkung hat, solange es nicht vom Parlament verabschiedet wurde. Dennoch ist es wichtig, dass EU-Bürger ihre Abgeordneten kontaktieren und gegen diese Versuche, die bürgerlichen Freiheiten zu verletzen, protestieren.

Gesetzestext-Spielereien

Wie Dinge sprachlich ausgedrückt werden, kann erhebliche Auswirkungen auf uns haben: Eine verführerische Formulierung kann uns dazu bringen, etwas zu wollen, das wir wahrscheinlich gar nicht wollen, oder uns von etwas abbringen, das eigentlich gar nicht so schlecht ist. Manchmal ist die Formulierung so eintönig und abstrakt, dass wir gar nicht merken, dass wir gerade eine Giftpille schlucken.

Schau dir den neuesten Vorschlag der CSAR zu „Technologien zur Moderation von Uploads“ an. Wenn man sich durch Hunderte von Seiten parlamentarischer Vorschriften liest, können Formulierungen wie diese leicht übersehen werden – und genau darauf sind sie ausgelegt. Was bedeutet das also genau?

Screenshot vom 21. Juni 2024

Schauen wir uns das mal genauer an.

[1] „Anbieter von Diensten zur zwischenmenschlichen Kommunikation“ bezeichnet jeden Webdienst, der deine digitale Kommunikation mit anderen Personen abwickelt. Das ist ein breiter Umfang. Das gilt ganz klar für Messaging-Apps wie WhatsApp, sogar für datenschutzorientierte und verschlüsselte wie Signal. Das gilt aber auch für größere Unternehmen wie Apple, die Foto- und Messaging-Dienste anbieten, ganz zu schweigen von Betriebssystemen.

[2] Die rechtliche Formulierung „müssen installieren und betreiben“ in Bezug auf diese CSS-Technologien bedeutet, dass Kommunikationsdienstleister dazu nicht nur in der Lage sein werden, sondern dass sie dazu verpflichtet sind (oder „müssen“).

[3] Das ist der Kern der Sache: Das Erkennen des Überwachungsobjekts [4] „vor der Übertragung“ bedeutet vor der Verschlüsselung. Sobald die Verschlüsselung eingerichtet ist, würde die Aufspürung von gesuchtem digitalem Material das Knacken der Verschlüsselung erfordern, was nicht zur Debatte steht. Diese Technologie läuft also auf ein massives Scannen von Geräten hinaus, das nur Geräteanbieter oder Betreiber von Apps und Webdiensten im Auftrag der Behörden durchführen können. Da das Ziel verschlüsselter Daten darin besteht, vor dem Zugriff durch Dritte zu schützen, ist diese Technologie im Grunde eine Hintertür zur Verschlüsselung.

[4] Auch wenn das Ziel dieses Scans durchaus die Aufdeckung von CSAM sein mag, bedeutet das Auffinden solcher Inhalte, dass die KI-Programme zunächst Zugriff auf alle unsere Daten oder unsere Kommunikation haben. Zunächst einmal gibt es einen großen Unterschied zwischen „bekanntem Material über sexuellen Kindesmissbrauch“ (zum Beispiel ein Foto oder Video, das bereits von den Behörden identifiziert wurde) und „neuem Material über sexuellen Kindesmissbrauch“. Letzteres führt dazu, dass die Kapazitäten jedes KI-Programms enorme Fehler bei der Unterscheidung zwischen Kinderpornografie und privaten Familienfotos ohne sexuelle Absicht machen können.

So bedeutet „Upload-Moderation“, was so harmlos klingt wie „sicherzustellen, dass die Leute nur eine angemessene Menge an Material online posten“, in Wirklichkeit „KI-gestützte Datenüberwachung auf allen Geräten der Nutzer vor der Verschlüsselung zu Strafverfolgungszwecken“. Füge dieser „Technologie“ noch „ungetestet“ und „wissenschaftlich unwahrscheinlich und fehleranfällig“ hinzu, und wir sind der Wahrheit schon ein Stück näher.

Verschlüsselung knacken oder von hinten angreifen?

Ein Großteil der Kritik an CSAR dreht sich darum, ob es die End-to-End-Verschlüsselung bei der Datenübertragung „knackt“. Die Datenverschlüsselung wurde durch die DSGVO geschützt und kürzlich durch die Entscheidung des Europäischen Gerichtshofs für Menschenrechte in der Rechtssache Podchasov gegen Russland (2024) bekräftigt. Wie Meredith Whittaker, die Präsidentin von Signal, festgestellt hat, ist das nichts weiter als ein Wortspiel oder ein „Rebranding“:

„[D]ie Anordnung einer flächendeckenden Überprüfung privater Kommunikation untergräbt die Verschlüsselung grundlegend.“ Punkt. […] Wir können es eine Hintertür, eine Vordertür oder „Upload-Moderation“ nennen. Aber wie auch immer wir es nennen – jeder dieser Ansätze schafft eine Schwachstelle, die von Hackern und feindlich gesinnten Staaten ausgenutzt werden kann, wodurch der Schutz durch unknackbare Mathematik wegfällt und stattdessen eine hochwertige Schwachstelle entsteht.“

Webdiensten zu ermöglichen, unsere Daten zu verarbeiten, um diese auf unseren Geräten oder auf ihren Servern zu scannen, bevor während der Übertragung eine Verschlüsselung angewendet wird, stellt technisch gesehen keinen „Bruch der Verschlüsselung“ dar. Tatsächlich ist es noch viel schlimmer: eine Hintertür für automatisierte KI-Algorithmen, die als Vermittler bei der Überwachung fungieren und unsere persönlichen Daten an Behörden weiterleiten.

Der CSAR-Vorschlag enthält viel widersprüchliches Lob für den Wert der End-to-End-Verschlüsselung:

„End-to-End-Verschlüsselung“, räumt der CSAR ein, „ist ein notwendiges Mittel zum Schutz der Grundrechte und der digitalen Sicherheit von Regierungen, Wirtschaft und Gesellschaft.“

Und doch würde das, was damit geschaffen werden soll, genau den Datenschutz untergraben, den die Datenverschlüsselung eigentlich schützen soll. Die Überwachungs- oder „Monitoring“-Technologie, so stellt der Vorschlag klar (26a),

„stellt sicher, dass der Erkennungsmechanismus auf die Daten in unverschlüsselter Form zugreifen kann, um eine effektive Analyse und Maßnahmen zu ermöglichen, ohne den durch die End-to-End-Verschlüsselung gebotenen Schutz zu beeinträchtigen, sobald die Daten übertragen wurden.“

Wie Überwachungsbehörden „auf die Daten in unverschlüsselter Form zugreifen können […] „End-to-End-Verschlüsselung ohne Kompromisse“ ist eine dreiste Lüge.

Einwilligung des Nutzers

Eine weitere große Änderung im CSAR-Vorschlag besteht darin, dass Nutzer um ihre Zustimmung zum Einsatz dieser Überwachungstechnologien gebeten werden müssen:

„Material über sexuellen Kindesmissbrauch sollte in allen Diensten zur zwischenmenschlichen Kommunikation durch den Einsatz geprüfter Technologien beim Hochladen nachweisbar bleiben, unter der Voraussetzung, dass die Nutzer ihre ausdrückliche Zustimmung gemäß den Nutzungsbedingungen des Anbieters geben.“

Was bedeutet das genau? Jeder Nutzer, der seine Zustimmung nicht erteilt zum Scannen seiner Daten, kann den Webdienst weiterhin nutzen, solange dies „nicht das Versenden von visuellen Inhalten und URLs beinhaltet“. Dies kann viele Kommunikationsdienste effektiv lahmlegen. Stell dir also vor, du möchtest eine App für private Nachrichten nutzen, aber die EU zwingt die Anbieter, deine Daten vorher zu scannen, und du lehnst das aus gutem Grund ab. Da die App auch das Versenden von Fotos und Links ermöglicht, kannst du den Dienst einfach nicht nutzen.

Fazit

Die Abstimmung über CSAR wurde verschoben, ist aber keineswegs vorbei. Der Gesetzentwurf wird wieder einmal sein hässliches Gesicht zeigen, vielleicht mit weiteren Änderungen am Wortlaut, die versuchen sollen, die Wogen zu glätten, um Europa eine massive digitale Überwachung aufzuzwingen.

Vielen ist jedoch klar, dass diese Art der Massenüberwachung das Problem nicht lösen wird, da es sich eher um ein gesellschaftliches als um ein technisches Problem handelt. Wie Bart Praneel, einer der engsten Berater von Nym, kommentierte:

„[Es ist] unklar, warum manche Regierungen weiterhin auf diesen Massenüberwachungsansatz drängen, anstatt sich auf die Prävention von sexuellem Kindesmissbrauch zu konzentrieren.“

Gewalt gegen Kinder sollte durch die Finanzierung sozialer Dienste und andere präventive Maßnahmen verhindert werden. Ella Jukubowska und EDri haben nach echten Alternativen für das Problem von CSAM und Kindesmissbrauch recherchiert – online und offline. Missbrauch sollte nicht als zynischer PR-Gag genutzt werden, um Verschlüsselung zu knacken und dabei die Privatsphäre und Sicherheit der gesamten europäischen Bevölkerung zu gefährden. Und wir sollten nicht aus Angst vor Monstern bereitwillig zulassen, dass Regierungen unsere Rechte auf Privatsphäre verletzen.

Hoffentlich ist diese jüngste Verzögerung bei der Abstimmung ein Zeichen dafür, dass die Regulierungsbehörden langsam beginnen, diese Tatsache zu erkennen.

Nym Dispatch

Die „Nym Dispatch“-Reihe befasst sich eingehend mit dem Ökosystem der Online- und sozialen Privatsphäre. Schalt ein, um mehr über die Risiken und Geldverdienungsstrategien der Online-Überwachungswirtschaft zu erfahren, angefangen beim Markt für kostenlose VPNs. Die Serie wird sich bald mit den Protokollierungspraktiken kostenloser VPNs befassen; ihren bewusst vagen Einwilligungserklärungen; wie, warum und an wen sie unsere Daten verkaufen; sowie ihren aufdringlichen Werbepraktiken.