A vigilância por IA não vai salvar seus filhos: o controle de chats volta à tona

O fantasma da vigilância em massa continua pairando sobre a Europa. Apesar de todos os avanços trazidos pelo Regulamento Geral de Proteção de Dados (RGPD), contornar a criptografia de dados ainda é um alvo.

Infelizmente, é muito comum que as violações das nossas liberdades civis se disfarcem de promessas de nos proteger de monstros. A proposta da UE para o “Regulamento que estabelece regras para prevenir e combater o abuso sexual infantil” (Regulamento CSA, ou CSAR) é um exemplo impressionante disso. A regulamentação voltou a ser votada no Parlamento Europeu esta semana. Felizmente, acabou sendo adiado ontem por causa da polêmica em torno do que os defensores da privacidade estão chamando de possivelmente “o projeto de lei da UE mais criticado de todos os tempos”.

Captura de tela feita em 21 de junho de 2024

O CSAR basicamente oferece aos clientes da web uma tecnologia de vigilância baseada em IA para contornar a criptografia que protege os arquivos e as comunicações pessoais de todo mundo. Tudo isso em nome do combate ao abuso sexual infantil, mas não se deixe enganar por esse lobo em pele de cordeiro. Os cidadãos da UE estão recebendo uma escolha falsa: comunicações privadas ou predadores sexuais? Felizmente, muita gente, incluindo membros da equipe principal e da comunidade da Nym, está se manifestando com urgência contra isso.

A equipe da Nym vem acompanhando de perto o avanço gradual das versões 1.0 e 2.0 do “Controle de bate-papo” desde seu lançamento em 2022. Mais uma vez, está tentando promover uma discussão e uma possível votação com uma redação enganosamente revisada. No entanto, as mudanças apenas amenizam o tom da estratégia de vigilância em massa. Tudo isso não passa de um truque para tentar contornar os compromissos do GDPR de proteger a criptografia de dados de ponta a ponta. Embora a criptografia possa não ser afetada pela CSAR, está sendo proposta uma brecha ainda mais preocupante na criptografia, que permitiria uma vigilância em massa ainda mais profunda dos dispositivos.

Abaixo está o que está em jogo na proposta da CSAR e por que ela é uma ameaça tão grande à privacidade online de todo mundo na UE e no mundo todo.

O que é o controle de bate-papo?

A lei CSAR, que ficou conhecida pelos críticos como “controle de bate-papo”, é uma tentativa regulatória de localizar e bloquear o tráfego de pornografia infantil e abuso “antes da transmissão”. Embora poucos devam discordar do objetivo, os especialistas têm gritado aos quatro ventos que a regulamentação proposta simplesmente não vai funcionar. Pior ainda, isso autoriza e impõe uma porta dos fundos de vigilância nos dispositivos de um continente inteiro de usuários.

Client-Side Scanning (CSS)

A solução proposta pelo CSAR para o problema do material de abuso sexual infantil (também chamado de CSAM) é a vigilância em massa por meio da Client-Side Scanning (CSS). Em vez de comprometer as transmissões criptografadas, ele basicamente verifica os dados nos dispositivos ou servidores antes que a criptografia aconteça. Isso prejudicaria a segurança das comunicações e os princípios da criptografia de ponta a ponta para todo mundo.

Criptografia é a base da comunicação segura. Quando você faz algo online por meio de uma conexão criptografada — seja enviando fotos pessoais para amigos ou familiares, ou usando seu cartão de crédito na internet —, pode ficar razoavelmente tranquilo, pois terceiros não podem acessar nem explorar seus dados. As iniciativas originais do CSAR tinham como objetivo obrigar os serviços da web a quebrar a criptografia que protege o conteúdo das comunicações dos clientes. Com a criptografia quebrada, todas as mensagens poderiam ser analisadas em busca de conteúdo específico. Felizmente, isso gerou uma enorme reação negativa da sociedade civil e dos defensores da privacidade.

O que está sendo proposto atualmente são tecnologias CSS que permitiriam legalmente que serviços da web escaneassem ou “monitorassem” os arquivos e as comunicações no seu dispositivo antes mesmo da criptografia ser aplicada. Imagina que a Apple consiga verificar regularmente seus apps iPhoto ou iMessenger em busca de pontos de dados pré-programados considerados uma ameaça. Ou que um serviço de comunicação privada receba uma ordem judicial para fazer isso. Na verdade, o presidente da Signal chegou a declarar publicamente que eles vão retirar seus serviços das jurisdições da UE, em vez de permitir tal comprometimento da segurança dos usuários.

Captura de tela feita em 21 de junho de 2024

Tecnologia CSS é “profundamente falha”, dizem cientistas

Qualquer programa de varredura de vigilância precisa procurar por algo específico. A grande questão é: será que ele consegue identificar seus alvos de forma perceptível sem coletar dados irrelevantes? No caso do CSAR, o objetivo declarado é fazer uma varredura nos dispositivos dos usuários em busca de possíveis casos de CSAM. Isso significa, por exemplo, fotos que mostram crianças nuas ou em situações de caráter sexual, ou mensagens que descrevem esses atos. Mas como isso funcionaria exatamente?

Basicamente, um programa de análise de dados, provavelmente movido por IA, vai ter acesso ao conteúdo não criptografado de todo mundo em um dispositivo ou servidor. O sistema vai sinalizar um monte de ameaças em potencial com base em pontos de dados antes de enviar todos os casos para uma equipe humana para verificação. Essa equipe terá acesso aos seus arquivos pessoais e às suas comunicações para determinar se você fez algo errado. Conteúdos ou atividades suspeitas serão encaminhados às autoridades policiais para investigação mais aprofundada.

Pesquisadores têm sido muito enfáticos ao alertar sobre o quanto essa tecnologia pode ser propensa a erros, tanto do ponto de vista técnico quanto como um risco às liberdades civis. Imagina um falso positivo, em que as fotos pessoais que um pai ou uma mãe tirou dos filhos são sinalizadas por um algoritmo e, em seguida, vistas e analisadas por analistas antes de serem repassadas às autoridades. Cientistas de dados alertaram que esse tipo de “varredura está fadada a ser ineficaz” e, se feita em grande escala, vai criar “efeitos colaterais que podem ser extremamente prejudiciais para todo mundo online e que podem tornar a internet e a sociedade digital menos seguras para todos”.

Linha do tempo

O CSAR vem enfrentando dificuldades no Parlamento Europeu desde que foi apresentado em 2022. Está de volta esta semana com uma discussão estrategicamente agendada, passando despercebida em meio às recentes eleições parlamentares. Aqui está a linha do tempo principal para acompanhar o avanço, as mudanças e a situação atual.

• 11 de maio de 2022: A proposta original do CSAR é apresentada.
• Junho de 2022: Foi revelado que o ator de Hollywood Ashton Kutcher vinha trabalhando com a comissária de Assuntos Internos, Ylva Johansson, fazendo lobby a favor do então chamado CSAR, em benefício da Thorn, uma organização que ele cofundou. A Thorn vende as ferramentas de IA que seriam usadas para escanear os dispositivos das pessoas. (Kutchner depois deixou o cargo de presidente da Thorn depois de defender um estuprador condenado).
• 13 de abril de 2023: Um relatório encomendado pelo Parlamento Europeu sobre o impacto da proposta da CSAR foi apresentado à Comissão de Liberdades Cívicas, Justiça e Assuntos Internos do Parlamento Europeu.
• Julho de 2023: Carta aberta assinada por 465 cientistas e pesquisadores é enviada à Comissão Europeia. Cientistas alertam explicitamente contra as prováveis ineficiências das tecnologias propostas e como elas podem comprometer “um futuro digital seguro para a nossa sociedade” e “os processos democráticos na Europa e além”.
• 2 de maio de 2024: Nova carta aberta de 312 cientistas e pesquisadores de 32 países é enviada à UE. Eles reiteram que as mudanças na redação da proposta do CSAR não vão alterar uma tecnologia “profundamente falha” e perigosa. A carta foi escrita em coautoria com Bart Praneel, defensor da privacidade, professor e consultor técnico da Nym.
• 13 de fevereiro de 2024: Decisão do Tribunal Europeu dos Direitos Humanos no caso Podchasov v. Rússia destaca o papel da criptografia de ponta a ponta para “garantir e proteger a privacidade das comunicações eletrônicas” e assegurar “o gozo de outros direitos fundamentais, como a liberdade de expressão”.
• 20 de junho de 2024: A discussão e votação da CSAR revisada estão agendadas após o adiamento (veja o item 28 em “Justiça e Assuntos Internos”). A votação foi finalmente cancelada!

É importante notar que o documento CSAR é uma proposta legislativa e não tem efeito legal a menos que seja aprovado pelo órgão legislativo. Mesmo assim, é importante que os cidadãos da UE entrem em contato com seus representantes e protestem contra essas tentativas de violar as liberdades civis.

Jogos de linguagem legislativa

A forma como as coisas são expressas na linguagem pode ter efeitos significativos sobre a gente: uma frase sedutora pode fazer a gente querer algo que provavelmente nem quer, ou nos afastar de algo que, na verdade, não é tão ruim assim. Às vezes, a forma como as coisas são ditas pode ser tão monótona e abstrata que nem percebemos que estamos engolindo uma pílula envenenada.

Insira a proposta mais recente do CSAR sobre “tecnologias para moderação de uploads”. Ao ler centenas de páginas de regulamentos parlamentares, frases como essa podem facilmente passar despercebidas, o que é exatamente o que elas foram feitas para fazer. Então, o que isso significa exatamente?

Captura de tela feita em 21 de junho de 2024

Vamos analisar isso.

[1] “Provedores de serviços de comunicação interpessoal” significa qualquer serviço da web que lida com suas comunicações digitais com outras pessoas. Esse é um escopo bem amplo. Isso claramente se aplica a apps de mensagens como o WhatsApp, mesmo aqueles focados em privacidade e criptografados, como o Signal. Mas isso também vale para empresas maiores, como a Apple, que oferecem serviços de fotos e mensagens, sem falar nos sistemas operacionais.

[2] A ordem jurídica de “deverão instalar e operar” essas tecnologias CSS implica que os serviços de comunicação não apenas poderão fazê-lo, mas que devem (ou “devem”).

[3] Esse é o ponto crucial: detectar o objeto da vigilância [4] “antes da transmissão” significa antes da criptografia. Uma vez que a criptografia esteja em vigor, a detecção de qualquer material digital procurado exigiria quebrar a criptografia, o que não está em discussão. Então, essa tecnologia equivale a uma varredura em massa de dispositivos, que só os fabricantes de dispositivos ou os operadores de aplicativos e serviços web podem fazer em nome das autoridades. Como o objetivo dos dados criptografados é proteger contra o acesso de terceiros, essa tecnologia é, na verdade, uma porta dos fundos para a criptografia.

[4] Embora o objetivo dessa varredura possa muito bem ser a detecção de CSAM, localizá-lo significa que os programas de IA primeiro precisam ter acesso a todos os nossos dados ou comunicações. Primeiro, tem uma grande diferença entre “material conhecido de abuso sexual infantil” (por exemplo, uma foto ou vídeo já identificado pelas autoridades) e “material novo de abuso sexual infantil”. Com isso, os programas de IA podem cometer erros graves ao distinguir entre pornografia infantil e fotos particulares de família sem conotação sexual.

Então, a “moderação de uploads”, que parece tão inofensiva quanto “garantir que as pessoas só publiquem uma quantidade razoável de conteúdo online”, na verdade significa “vigilância de dados com IA em todos os dispositivos dos usuários antes da criptografia, para fins de aplicação da lei”. Acrescente “não testada” e “cientificamente improvável e propensa a erros” a essa “tecnologia”, e ficamos mais perto da verdade.

Quebrar a criptografia ou dar uma de trás?

Grande parte da reação contra o CSAR girou em torno da questão de saber se ele “quebra” a criptografia de ponta a ponta nas transmissões de dados. A criptografia de dados foi protegida pelo GDPR e recentemente reforçada pela decisão do Tribunal Europeu dos Direitos Humanos no caso Podchasov v. Rússia (2024). Como Meredith Whittaker, presidente da Signal, observou, isso não passa de um jogo de palavras ou de uma “mudança de marca”:

“[E]xigir a varredura em massa de comunicações privadas enfraquece fundamentalmente a criptografia. Ponto final. […] Podemos chamar isso de backdoor, porta da frente ou “moderação de upload”. Mas, seja qual for o nome que a gente dê, cada uma dessas abordagens cria uma vulnerabilidade que pode ser explorada por hackers e países hostis, tirando a proteção da matemática inquebrável e colocando no lugar dela uma vulnerabilidade de alto valor.”

Permitir que serviços da web que lidam com nossos dados os analisem em nossos dispositivos ou em seus servidores antes que qualquer criptografia seja aplicada durante a transmissão não é, tecnicamente, “quebrar a criptografia”. Na verdade, é muito pior: uma porta dos fundos para que algoritmos automatizados de IA desempenhem um papel de vigilância intermediária, conectando nossos dados pessoais às autoridades.

A proposta do CSAR traz muitos elogios contraditórios sobre o valor da criptografia de ponta a ponta:

“[A] criptografia de ponta a ponta”, admite o CSAR, “é um meio necessário para proteger os direitos fundamentais e a segurança digital dos governos, da indústria e da sociedade.”

E, no entanto, o que eles estão tentando criar prejudicaria explicitamente a mesma privacidade de dados que a criptografia de dados tem como objetivo proteger. A tecnologia de vigilância ou “monitoramento”, como a proposta deixa claro (26a),

“garante que o mecanismo de detecção possa acessar os dados em seu formato não criptografado para uma análise e ação eficazes, sem comprometer a proteção oferecida pela criptografia de ponta a ponta assim que os dados forem transmitidos.”

Como a vigilância pode “acessar os dados em seu formato não criptografado […] “sem comprometer” a criptografia de ponta a ponta é uma grande besteira descarada.

Consentimento do usuário

Outra grande mudança na proposta do CSAR é que os usuários devem ser solicitados a dar consentimento para o uso dessas tecnologias de vigilância:

“O material de abuso sexual infantil deve continuar detectável em todos os serviços de comunicação interpessoal por meio da aplicação de tecnologias comprovadas, quando enviado, desde que os usuários deem seu consentimento explícito de acordo com os termos e condições do provedor.”

O que isso significa exatamente? Qualquer usuário que não der seu consentimento para que seus dados sejam analisados ainda pode usar o serviço web, desde que isso “não envolva o envio de conteúdo visual e URLs”. Isso pode, de fato, deixar muitos serviços de comunicação inoperantes. Então, imagina que você queira um app de mensagens privadas, mas a UE obrigue os desenvolvedores a analisar seus dados antes, e você se recuse a isso por um bom motivo. Como o app também permite enviar fotos e links, você simplesmente não pode usar o serviço.

Conclusão

A votação sobre o CSAR foi adiada, mas isso não significa que o assunto tenha acabado. O projeto de lei vai dar as caras de novo, talvez com mais revisões no texto que vão tentar acalmar os ânimos para empurrar a vigilância digital em massa na Europa.

No entanto, o que está claro para muitos é que esse tipo de vigilância em massa não vai resolver o problema, que é mais social do que técnico. Como Bart Praneel, um dos principais consultores da Nym, comentou:

“[não está] claro por que alguns governos continuam insistindo nessa abordagem de vigilância em massa em vez de se concentrarem na prevenção do abuso sexual infantil.”

É preciso prevenir os danos às crianças por meio do financiamento de serviços sociais e outras medidas preventivas. Ella Jukubowska e EDri vêm pesquisando alternativas reais para o problema do CSAM e do abuso infantil, tanto online quanto offline. O abuso não deve ser usado como um golpe cínico de relações públicas para quebrar a criptografia e, nesse processo, comprometer a privacidade e a segurança de toda a população europeia. E não devemos permitir de boa que os governos violem nossos direitos à privacidade só por medo de monstros.

Espero que esse último adiamento da votação seja um sinal de que os reguladores estão começando a perceber esse fato.

Nym Dispatch

The Nym Dispatch é uma série que analisa a fundo o ecossistema da privacidade online e nas redes sociais. Fica ligado pra saber mais sobre os riscos e as táticas de ganhar dinheiro da economia da vigilância online, começando pelo mercado de VPNs gratuitas. A série vai abordar em breve as práticas de registro de dados das VPNs gratuitas; seus contratos de consentimento deliberadamente vagos; como, por que e para quem elas vendem nossos dados; e suas práticas invasivas de publicidade.