La surveillance par IA ne sauvera pas vos enfants : Chat control du chat refait surface

Le spectre de la surveillance de masse continue de peser sur l'Europe. Malgré tous les progrès accomplis grâce au Règlement général sur la protection des données (RGPD), contourner le chiffrement des données reste toujours un objectif pour certains.

Malheureusement, il est trop fréquent que les violations de nos libertés civiles se déguisent en promesses de nous protéger des monstres. La proposition de l’UE pour le « Règlement établissant les règles de prévention et de lutte contre les abus sexuels impliquant des enfants » (règlement CSA, ou CSAR) est un cas étonnant en point. Le règlement a de nouveau été voté au Parlement européen cette semaine. Heureusement, il a finalement été reporté hier en raison de la controverse autour de ce que les [défenseurs de la vie privée] (https://edri.org/our-work/most-criticised-eu-law-of-all-time/) appellent peut-être « le projet de loi communautaire le plus critiqué de tous les temps ».

Screenshot taken on 21 June 2024

CSAR fournit essentiellement aux clients web une technologie de surveillance alimentée par l’IA pour saper le cryptage qui protège les fichiers personnels et les communications de chacun. Tout cela se fait au nom de la lutte contre les abus sexuels sur enfants, mais ne vous laissez pas tromper par ce loup déguisé en agneau. Les citoyens européens se voient imposer un faux choix : communications privées ou prédateurs sexuels ? Heureusement, de nombreuses voix — y compris au sein de l’équipe centrale et de la communauté Nym — s’élèvent avec urgence contre cette mesure.

L'équipe Nym a suivi de près la progression insidieuse des versions 1.0 et 2.0 de [« Chat control » depuis sa création en 2022] (https://nym.com/blog/a-cop-in-every-pocket-client-side-scanning-in-the-uk-and-europe). Elle recherche une fois de plus une discussion et un vote possible avec un langage révisé de manière trompeuse. Cependant, les changements ne font qu'atténuer le ton de sa stratégie de surveillance de masse. Ceci n'est qu'un tour de passe-passe visant à contourner les engagements du RGPD pour protéger le chiffrement des données de bout en bout. Bien que le chiffrement puisse être laissé intact par le CSAR, une porte dérobée plus sinistre concernant le chiffrement est proposée, qui permettrait une surveillance de masse encore plus approfondie des appareils.

Voici ce qui est en jeu dans la proposition CSAR et pourquoi elle constitue une telle menace pour la vie privée en ligne de tous les citoyens de l'UE et de par le monde.

Qu'est-ce que chat control ?

La [législation CSAR] (https://cdn.netzpolitik.org/wp-upload/2024/05/2024-05-28_Council_Presidency_LEWP_CSAR_Compromise-texts_9093.pdf), qui est devenue connue par les critiques du « chat control, » est une tentative réglementaire de localiser et de bloquer le trafic de pédopornographie et d’abus « avant la transmission ». Bien que peu ne devraient pas être en désaccord avec l'objectif, les experts ont [crié sur les toits] (https://threema.ch/en/blog/posts/stop-chat-control) que le règlement proposé ne serait tout simplement pas efficace. Pire encore, il autorise et impose une surveillance détournée dans les dispositifs d'un continent entier d'utilisateurs.

Analyse côté client (CSS)

La solution proposée par la CSAR au problème du matériel d’abus sexuel impliquant des enfants (autrement appelé CSAM) est la surveillance de masse par le biais de [Scannage côté client (CSS)] (https://arxiv.org/pdf/2110.07450). Plutôt que de compromettre les transmissions chiffrées, il analyse essentiellement les données sur des périphériques ou des serveurs avant que le chiffrement ne se produise. Cela porterait atteinte à la sécurité des communications et aux principes du cryptage de bout en bout pour tous.

Le chiffrement est la pierre angulaire de la communication sécurisée. Lorsque vous faites quelque chose en ligne via une connexion chiffrée — envoyer des photos personnelles à vos amis ou à votre famille, ou en utilisant votre carte de crédit en ligne — vous pouvez être raisonnablement assuré que des tiers ne peuvent pas accéder à vos données ou les exploiter. Les efforts originaux de CSAR espéraient contraindre les services web à briser le cryptage protégeant le contenu des communications des clients. Lorsque le chiffrement est cassé, tous les messages peuvent être scannés à la recherche de matériel ciblé. Heureusement, cela a été rencontré avec une [réaction massive de la part de la société civile et des partisans de la protection de la vie privée] (https://cepis.org/app/uploads/2022/03/Open-letter-on-a-right-for-encryption-CEPIS-2022-nosig.pdf).

Ce qui est actuellement proposé, ce sont les technologies CSS qui permettraient légalement et permettraient aux services web d'analyser ou de « surveiller » les fichiers et les communications sur votre appareil avant même que le chiffrement ne soit appliqué. Imaginez qu’Apple soit en mesure de scanner régulièrement vos applications iPhoto ou iMessenger à la recherche de points de données préprogrammés considérés comme une menace. Ou qu'un service de communication privé est donné l'ordre légal pour le faire. En fait, Le président de Signal a même [déclaré publiquement] (https://x.com/mer__edith/status/1796508893822238881) qu'il retirera ses services des juridictions européennes plutôt que de permettre un tel compromis sur la sécurité de ses utilisateurs.

Screenshot taken on 21 June 2024

Les scientifiques disent que la technologie CSS est « profondément imparfaite »

Tout programme de balayage de surveillance a besoin de chercher quelque chose de particulier. La grande question est la suivante : peut-elle discerner ses objectifs sans se livrer à des données sans rapport avec elle? Dans le cas de CSAR, le but indiqué est de scanner les appareils des utilisateurs à la recherche de cas potentiels de CSAM. Cela signifie, par exemple, des photos représentant des enfants nus ou sexuellement, ou des messages décrivant de tels actes. Mais comment cela fonctionnerait-il exactement ?

Essentiellement, un programme d’analyse de données probablement alimenté par AI aura accès au contenu non chiffré de tout le monde sur un appareil ou un serveur. Le système signalera des quantités massives de menaces potentielles basées sur des points de données avant d'envoyer tous les cas à une équipe humaine pour vérification. Cette équipe aura alors accès à vos dossiers personnels et à vos communications pour déterminer si vous avez fait quelque chose de mal. Le contenu ou les activités suspectes seront ensuite transmis aux autorités policières pour plus d'investigation.

Les chercheurs ont été [très vocals] (https://edri.org/wp-content/uploads/2023/07/Open-Letter-CSA-Scientific-community.pdf) en avertissant de la nature des erreurs que cette technologie peut avoir, tant sur le plan technique que pour nuire aux libertés civiles. Imaginez un faux positif, où les photos personnelles des parents de leurs enfants sont signalées par un algorithme puis consultées et examinées par les analystes avant d’être transmises à la loi. Les informaticiens ont warned que ce type de « numérisation est condamnée à être inefficace, et fait à grande échelle créera « des effets secondaires qui peuvent être extrêmement dommageables pour tout le monde en ligne, et qui pourraient rendre l’internet et la société numérique moins sûrs pour tout le monde».

Échéancier

Depuis son introduction en 2022, la CSAR a lutté au sein du Parlement européen. Il est de retour cette semaine avec une discussion stratégiquement programmée sous le radar des récentes élections parlementaires. Voici la chronologie clé pour voir son avancement, ses modifications et son état actuel.

• 11 mai 2022: La proposition originale CSAR est introduite.
• Juin 2022: Il a été révélé que l'acteur hollywoodien Ashton Kutchner [avait travaillé] (https://netzpolitik.org/2022/dude-wheres-my-privacy-how-a-hollywood-star-lobbies-the-eu-for-more-surveillance/) avec la commissaire aux affaires intérieures Ylva Johansson faisant du lobbying pour le CSAR de l'époque, au profit de Thorn, une organisation qu'il a co-fondée. L'épine vend les outils de l'AI qui serait utilisée pour scanner les appareils des gens. (Kutchner a ensuite démissionné en tant que président de Thorn après [avoir défendu un violeur condamné] (https://fortune.com/europe/2023/09/26/thorn-ashton-kutcher-ylva-johansson-csam-csa-regulation-european-commission-encryption-privacy-surveillance/)).
• 13 avril 2023: Un rapport commandé par le Parlement européen sur l'impact de la proposition CSAR a été présenté à la commission des libertés civiles du Parlement européen, Justice et affaires intérieures.
• Juillet 2023: Lettre ouverte de 465 signataires de la science et de la recherche est envoyé à la Commission Européenne. Les scientifiques mettent explicitement en garde contre les probables inefficacités des technologies proposées et leur remise en cause de « un avenir numérique sûr pour notre société» et de « processus démocratiques en Europe et au-delà».
• 2 mai 2024: Une nouvelle lettre ouverte de 312 scientifiques et chercheurs de 32 pays est envoyée à l'UE. Ils réitèrent que le changement de langue de la proposition CSAR ne changera pas « profondément défectueux » et la technologie dangereuse. La lettre est co-rédigée par Bart Praneel, défenseur de la vie privée, professeur et conseiller Nym Tech.
• 13 février 2024: Ruling par la Cour européenne des droits de l'homme à Podchasov v. La Russie souligne le rôle du cryptage de bout en bout pour « sécuriser et protéger la vie privée des communications électroniques » et assurer « la jouissance d’autres droits fondamentaux ». comme la liberté d’expression».
• 20 juin 2024: La discussion et le vote sur la CSAR révisée est scheduled après le report (voir point 28 sous « Justice et affaires intérieures »). Le vote est enfin annulé !

Il est important de noter que le document CSAR est une proposition législative et n’a aucun effet juridique à moins d’être approuvé par l’organe parlementaire. Néanmoins, il est important que les citoyens de l'UE contactent leurs représentants et protestent contre ces efforts visant à violer les libertés civiles.

Jeux de langue législative

La manière dont les choses sont formulées dans une langue peut avoir des effets significatifs sur nous : une tournure séduisante peut nous faire désirer quelque chose que nous ne voulons probablement pas, ou au contraire nous dégoûter de quelque chose qui n’est en réalité pas si mal. Parfois, la formulation peut être tellement monotone et abstraite que nous ne remarquons même pas que nous sommes en train d’avaler une pilule empoisonnée.

Entrez la dernière proposition de CSAR pour « les technologies pour la modération des téléchargements». À la lecture de centaines de pages de règlements parlementaires, de telles phrases peuvent facilement passer inaperçues, ce qui est exactement ce à quoi elles sont destinées. Alors, qu'est-ce que cela signifie exactement ?

Screenshot taken on 21 June 2024

Dissoudre tout cela.

[1] « Fournisseurs de services de communication interpersonnelle » désigne tout service en ligne qui gère vos communications numériques avec d’autres personnes. C'est un vaste champ d'application. Il s'applique clairement aux applications de messagerie comme WhatsApp, même celles axées sur la vie privée et chiffrées comme Signal. Mais cela s'applique aussi aux grandes entreprises comme Apple qui fournissent des services de photo et de messagerie, sans parler des systèmes d'exploitation.

[2] L'ordre légal de « doit installer et exploiter » ces technologies CSS implique que les services de communication non seulement pourront le faire, mais qu'ils doivent (ou « doivent »).

[3] C'est le nœud de la question : détecter l'objet de surveillance [4] « avant la transmission » signifie avant le chiffrement. Une fois que le chiffrement est en place, la détection de tout matériel numérique recherché nécessiterait un cryptage cassé, ce qui n'est pas sur la table. Ainsi, cette technologie se résume à la numérisation de périphériques de masse, que seuls les fournisseurs d'appareils ou les opérateurs d'applications et de services web peuvent effectuer au nom des autorités. Étant donné que le but des données chiffrées est de se protéger contre l'accès de tiers, cette technologie est essentiellement une porte arrière vers le chiffrement.

[4] Bien que le but de ce balayage puisse être la détection de la CSAM, La localiser signifie que les programmes IA ont d'abord accès à toutes nos données ou communications. Premièrement, il y a une grande différence entre « le contenu de l'abus sexuel d'enfants connu» (par exemple, une photo ou une vidéo déjà identifiée par les autorités) et « le nouveau contenu d’abus sexuels impliquant des enfants.» Avec ces derniers, les capacités de tout programme AI-sont capables de faire d'énormes erreurs dans la distinction entre la pédopornographie et les photos familiales privées sans intention sexuelle.

Donc « la modération des téléchargements », qui semble aussi inoffensive que « s’assurer que les gens ne publient qu’une quantité raisonnable de matériel en ligne, signifie en fait « la surveillance des données par IA sur tous les appareils de tous les utilisateurs avant le cryptage à des fins répressives». Ajoutez « non testé » et « scientifiquement improbable et sujet aux erreurs » à cette « technologie », et nous sommes plus proches de la vérité.

Casser le chiffrement ou le prendre par derrière ?

Une grande partie de la réaction contre CSAR a tourné autour de la question de savoir si elle « casse » le chiffrement de bout en bout pour la transmission de données. Le chiffrement des données a été protégé par le RGPD et récemment renforcé par la récente décision de la Cour européenne des droits de l'homme dans l'affaire Podchasov c. Russie (2024). En tant que Meredith Whittaker, le Président du Signal, a noted, cela ne représente rien de plus qu'une pièce sur la langue ou un « rebranding » :

«[M]balayage de masse des communications privées sape fondamentalement le chiffrement. Arrêt complet. […] Nous pouvons l’appeler une porte dérobée, une porte d’entrée ou une «modération d’upload». Mais quelle que soit notre appellation, chacune de ces approches crée une vulnérabilité qui peut être exploitée par des pirates informatiques et des États nations hostiles. la suppression de la protection des mathématiques indestructibles et la mise en place d’une vulnérabilité de grande valeur».

En permettant aux services Web qui facilitent nos données de tout analyser sur nos appareils ou sur leurs serveurs avant que tout cryptage soit appliqué pendant la transmission ne soit techniquement « cassé le chiffrement». En fait, c’est bien pire : une porte dérobée permettant aux algorithmes automatisés d’IA de servir un rôle de surveillance intermédiaire dans la connexion de nos données personnelles avec les autorités.

La proposition CSAR a beaucoup de louanges contradictoires pour la valeur du chiffrement de bout en bout :

«[E]cryptage ind-to-end », admet la CSAR, « est un moyen nécessaire de protéger les droits fondamentaux et la sécurité numérique des gouvernements, de l’industrie et de la société».

Et pourtant, ce qu'elle cherche à créer nuirait explicitement à la même confidentialité que le cryptage des données est censé protéger. La technologie de surveillance ou de "surveillance", la proposition clarifie (26a),

« s’assure que le mécanisme de détection peut accéder aux données sous sa forme non chiffrée pour une analyse et une action efficaces, sans compromettre la protection offerte par le cryptage de bout en bout une fois que les données sont transmises.»

Comment la surveillance peut « accéder aux données sous sa forme non chiffrée […] sans compromettre” le cryptage de bout en bout est un morceau brave de taureau.

Consentement de l'utilisateur

Un autre changement majeur de la proposition CSAR est que les utilisateurs doivent être invités à accepter l'utilisation de ces technologies de surveillance:

« Le matériel de maltraitance sexuelle des enfants devrait rester détectable dans tous les services de communication interpersonnels par le biais de l'application de technologies révisées, lors du téléchargement, à la condition que les utilisateurs donnent leur consentement explicite dans les conditions générales du fournisseur.”

Qu'est-ce que cela signifie exactement ? Tout utilisateur qui [ne donne pas son consentement] (https://www.patrick-breyer.de/en/majority-for-chat-control-possible-users-who-refuse-scanning-to-be-prevented-from-sharing-photos-and-links/) peut toujours utiliser le service web. tant que « cela n’implique pas l’envoi de contenu visuel et d’URLs ». Cela peut rendre de nombreux services de communication inopérants. Imaginez donc que vous vouliez une application de messagerie privée, mais l'UE les oblige à scanner vos données à l'avance, et vous refusez pour de bonnes raisons. Puisque l'application permet également d'envoyer des photos et des liens, vous ne pouvez tout simplement pas utiliser le service.

Conclusion

Le vote sur la CSAR a été reporté, mais il n'est absolument pas terminé. Le projet de loi rehaussera sa tête moche peut-être avec d'autres révisions au langage qui tenteront de calmer les eaux pour pousser la surveillance numérique de masse en Europe.

Cependant, ce qui est clair pour beaucoup, c'est que ce type de surveillance de masse ne résoudra pas le problème. qui est un problème social plutôt qu'un problème technique. En tant que Bart Praneel, l'un des conseillers proches de Nym, a commented :

« La raison pour laquelle certains gouvernements insistent sans cesse sur cette approche de surveillance de masse plutôt que de se concentrer sur la prévention des abus sexuels à l’encontre des enfants.»

Il faut éviter les dommages causés aux enfants par le financement des services sociaux et d'autres moyens de prévention. Ella Jukubowska et EDri ont recherché [de réelles alternatives] (https://edri.org/our-work/chat-control-10-principles-to-defend-children-in-the-digital-age/) le problème de la CSAM et de la maltraitance des enfants, en ligne et hors ligne. Les abus ne devraient pas être utilisés comme une manœuvre cynique de relations publiques pour briser le chiffrement et compromettre, au passage, la vie privée et la sécurité de toute la population européenne. Et nous ne devrions pas laisser les gouvernements bafouer leur droit à la vie privée par peur des monstres.

Espérons que ce dernier retard de vote soit le signe que les régulateurs commencent à se rendre compte de ce fait.

Nym Dispatch

La série The Nym Dispatch plonge au cœur de l’écosystème de la vie privée en ligne et sociale. Connectez-vous pour en savoir plus sur les risques et les tactiques monétaires de l'économie de la surveillance en ligne, à commencer par le marché VPN libre. La série couvrira bientôt les pratiques de logging des VPN gratuits ; leurs contrats de consentement délibérément vagues ; comment, pourquoi et à qui ils vendent nos données et leurs pratiques publicitaires invasives.