ИИ-слежка не спасёт ваших детей: «контроль чатов» снова поднимает голову

Призрак массовой слежки продолжает нависать над Европой. Несмотря на все достижения, достигнутые Общим регламентом по защите данных (GDPR), обход шифрования данных по-прежнему остаётся целью.

К сожалению, слишком часто нарушения наших гражданских свобод маскируются под обещания защитить нас от чудовищ. Предложение ЕС о «Регламенте, устанавливающем правила предотвращения и борьбы с сексуальным насилием над детьми» (CSA Regulation, или CSAR) — поразительный тому пример. Регламент снова был вынесен на голосование в Европейском парламенте на этой неделе. К счастью, голосование было отложено вчера из-за споров вокруг того, что защитники приватности называют, возможно, «самым критикуемым законопроектом в истории ЕС».

Скриншот сделан 21 июня 2024 года

CSAR по сути предоставляет веб-клиентам технологии слежки на базе ИИ, подрывающие шифрование, которое защищает личные файлы и коммуникации пользователей. Всё это подаётся под предлогом борьбы с сексуальным насилием над детьми, но не дайте себя обмануть — это волк в овечьей шкуре. Гражданам ЕС навязывают ложный выбор: приватные коммуникации или сексуальные хищники? К счастью, многие — включая членов основной команды и сообщества Nym — активно выступают против этого.

Команда Nym внимательно следит за постепенным продвижением версий 1.0 и 2.0 инициативы «Chat Control» с момента её появления в 2022 году. Сейчас документ снова выносится на обсуждение и возможное голосование — с обманчиво изменёнными формулировками. Однако внесённые изменения лишь смягчают формулировки его стратегии массовой слежки. Всё это лишь уловка, попытка обойти обязательства GDPR по защите сквозного шифрования данных. Хотя само шифрование формально может остаться нетронутым в рамках CSAR, предлагается куда более зловещая лазейка — механизм, который позволит осуществлять ещё более глубокую массовую слежку за устройствами.

Ниже приведено, что поставлено на карту в предложении CSAR и почему оно представляет серьёзную угрозу онлайн-приватности не только граждан ЕС, но и пользователей по всему миру.

Что такое «Chat Control»?

Законодательная инициатива CSAR, которую критики называют «контролем чатов», представляет собой попытку регулирования, направленную на выявление и блокировку трафика, связанного с детской порнографией и насилием, «ещё до его передачи». Хотя с самой целью спорить трудно, эксперты громко бьют тревогу, утверждая, что предлагаемое регулирование просто не будет работать. Что ещё хуже — он фактически разрешает и узаконивает создание «чёрного хода» для слежки на устройствах целого континента пользователей.

Сканирование на стороне клиента (Client-Side Scanning, CSS)

Предлагаемое CSAR решение проблемы материалов, связанных с сексуальным насилием над детьми (так называемых CSAM), заключается в массовой слежке с помощью сканирования на стороне клиента (Client-Side Scanning, CSS). Вместо взлома зашифрованных передач система по сути сканирует данные на устройствах или серверах ещё до того, как происходит шифрование. Это подорвёт безопасность коммуникаций и принципы сквозного шифрования для всех пользователей.

Шифрование — это краеугольный камень безопасной коммуникации. Когда вы делаете что-либо в интернете через зашифрованное соединение — отправляете личные фотографии друзьям или семье, оплачиваете покупки банковской картой, — вы можете быть относительно уверены, что посторонние не смогут получить доступ к вашим данным или использовать их. Изначальные инициативы CSAR были направлены на то, чтобы обязать веб-сервисы обходить шифрование, защищающее содержимое коммуникаций клиентов. Если шифрование будет нарушено, все сообщения могут быть просканированы на предмет искомого материала. К счастью, это вызвало широкую волну возмущения со стороны гражданского общества и защитников приватности.

В настоящее время предлагаются технологии CSS, которые юридически разрешат и обеспечат возможность веб-сервисам сканировать или «мониторить» файлы и коммуникации на вашем устройстве ещё до применения шифрования. Представьте, что Apple получает возможность регулярно сканировать ваши приложения iPhoto или iMessage в поисках заранее заданных «подозрительных» данных, которые считаются потенциальной угрозой. Или что частный сервис обмена сообщениями получает законное распоряжение делать то же самое. Фактически президент Signal публично заявила, что компания выведет свои сервисы с территории ЕС, если ей придётся идти на подобный компромисс с безопасностью своих пользователей.

Скриншот сделан 21 июня 2024 года

Учёные заявили, что технология CSS «глубоко ошибочна»

Любая система слежки и сканирования должна искать что-то конкретное. Главный вопрос в том: может ли она точно находить свои цели, не затрагивая при этом несвязанные данные? В случае с CSAR заявленная цель — сканировать устройства пользователей на предмет возможного наличия материалов CSAM. Это означает, например, фотографии, изображающие детей обнажёнными или в сексуальном контексте, либо сообщения, описывающие такие действия. Но как это вообще должно работать на практике?

По сути, программе анализа данных, скорее всего основанной на ИИ, будет предоставлен доступ ко всему незашифрованному содержимому на устройствах или серверах пользователей. Система будет отмечать массовое количество потенциальных угроз на основе определённых параметров данных, после чего все случаи будут передаваться человеческой команде для проверки. Эта команда получит доступ к вашим личным файлам и переписке, чтобы определить, совершали ли вы что-нибудь неправомерное. Подозрительный контент или активность затем будут переданы правоохранительным органам для дальнейшего расследования.

Исследователи активно предупреждают о том, насколько эта технология подвержена ошибкам — как с технической точки зрения, так и с позиции угрозы гражданским свободам. Представьте ситуацию, когда алгоритм ошибается: фотографии родителя с его детьми ошибочно помечаются как подозрительные, затем их просматривают аналитики, а после передают в полицию. Учёные-данные предупреждают, что подобное «сканирование обречено на неэффективность», а при масштабном применении создаст «побочные эффекты, которые могут быть чрезвычайно вредными для всех пользователей сети и сделают интернет и цифровое общество менее безопасными для каждого».

Хронология

CSAR с момента своего представления в 2022 году с трудом продвигается через Европейский парламент. На этой неделе документ вновь появился в повестке — обсуждение назначено стратегически, тихо, в тени недавних парламентских выборов. Вот ключевая временная шкала, показывающая его продвижение, изменения и текущее состояние.

• 11 мая 2022 года: представлено исходное предложение CSAR.
• Июнь 2022 года: стало известно, что голливудский актёр Эштон Катчер работал с комиссаром по внутренним делам Евросоюза Ильвой Йоханссон, лоббируя тогдашний проект CSAR в интересах организации Thorn, сооснователем которой он является. Thorn продаёт инструменты на базе ИИ, которые предполагалось использовать для сканирования устройств пользователей. (Позже Катчер ушёл с поста председателя Thorn после защиты осуждённого насильника).
• 13 апреля 2023 года: в Комитет Европарламента по гражданским свободам, вопросам юстиции и внутренним делам был представлен отчёт, подготовленный по заказу Европарламента, об оценке влияния предлагаемого регламента CSAR.
• Июль 2023 года: Открытое письмо, подписанное 465 учёными и исследователями, направлено в Еврокомиссию. Учёные прямо предупреждают о вероятной неэффективности предлагаемых технологий и их подрыве «безопасного цифрового будущего нашего общества» и «демократических процессов в Европе и за её пределами».
• 2 мая 2024 года: новое открытое письмо, подписанное 312 учёными и исследователями из 32 стран, направлено в Евросоюз. Они подчёркивают, что изменения формулировок в предложении CSAR не исправят «глубоко ошибочную» и опасную технологию. Письмо соавтором подписал Барт Пренеел — специалист по приватности, профессор и советник компании Nym Tech.
• 13 февраля 2024 года: Решение Европейского суда по правам человека по делу Подчасов против России подчёркивает значение сквозного шифрования для «обеспечения и защиты приватности электронных коммуникаций» и гарантии «реализации других фундаментальных прав, таких как свобода выражения мнений».
• 20 июня 2024 года: обсуждение и голосование по обновлённому проекту CSAR запланированы после переноса (см. пункт 28 в разделе «Юстиция и внутренние дела»). Голосование наконец отменено!

Важно отметить, что документ CSAR представляет собой лишь законодательное предложение и не имеет юридической силы, пока не будет одобрен парламентским органом. Тем не менее гражданам ЕС важно обращаться к своим представителям и выступать против этих попыток нарушить гражданские свободы.

Языковые уловки в законодательстве

То, как вещи выражены на языке, может существенно влиять на нас: заманчивый оборот может заставить нас захотеть то, чего мы на самом деле не хотим, или, наоборот, отвернуть от чего-то, что вовсе не так уж плохо. Иногда формулировки бывают настолько однообразными и абстрактными, что мы даже не замечаем, как «проглатываем ядовитую пилюлю».

Позвольте представить последнее предложение CSAR — «технологии модерации загрузок». Когда читаешь сотни страниц парламентских регламентов, такие выражения легко пропустить — именно на это они и рассчитаны. Так что же это на самом деле означает?

Скриншот сделан 21 июня 2024 года

Давайте разберёмся по порядку.

[1] «Поставщики сервисов межличностных коммуникаций» — это любые веб-сервисы, которые обрабатывают ваши цифровые коммуникации с другими людьми. Это крайне широкое определение. Оно явно охватывает мессенджеры вроде WhatsApp, включая ориентированные на приватность и зашифрованные приложения, такие как Signal. Но оно также распространяется и на крупные компании, такие как Apple, предоставляющие сервисы для обмена фото и сообщениями — не говоря уже об их операционных системах.

[2] Юридическая формулировка «shall install and operate» («должны установить и эксплуатировать») в отношении технологий CSS означает, что сервисы коммуникации не просто смогут их использовать, а будут обязаны это делать.

[3] В этом и суть вопроса: обнаружение объекта слежки [4] «prior to transmission» («до передачи») означает — до момента шифрования. Когда шифрование уже применяется, для обнаружения искомых цифровых материалов потребовалось бы его взломать — а это не рассматривается как вариант. Таким образом, эта технология фактически сводится к массовому сканированию устройств, которое могут выполнять только производители устройств или операторы приложений и веб-сервисов — по поручению властей. Поскольку цель шифрования данных — защитить их от доступа третьих лиц, эта технология по сути представляет собой «чёрный ход» к шифрованию.

[4] Хотя целью такого сканирования формально может быть обнаружение CSAM, само его выполнение означает, что программы с искусственным интеллектом сначала получают доступ ко всем нашим данным и коммуникациям. Во-первых, существует большая разница между «известными материалами, связанными с сексуальным насилием над детьми» (например, фотографиями или видео, уже идентифицированными властями) и «новыми материалами сексуального насилия над детьми». В случае с новыми материалами возможности любой программы на базе ИИ способны допускать серьёзные ошибки при различении детской порнографии и частных семейных фотографий, не несущих сексуального содержания.

Итак, «модерация загрузок», что звучит так безобидно, как «убедиться, что люди публикуют разумное количество материалов», на самом деле означает «мониторинг данных с помощью ИИ на всех устройствах пользователей ещё до шифрования — в интересах правоохранительных органов». Добавьте «непроверенную» и «научно маловероятную и склонную к ошибкам» к этому «технологическому решению» — и мы будем ближе к истине.

Взлом шифрования или обход шифрования изнутри?

Большая часть критики в адрес CSAR сосредоточена вокруг вопроса, «нарушает» ли он сквозное шифрование при передаче данных. Шифрование данных защищено Общим регламентом ЕС по защите данных (GDPR) и недавно было подтверждено решением Европейского суда по правам человека по делу Подчасов против России (2024). Как отметила Мередит Уиттакер, президент Signal, это не что иное, как игра словами или «ребрендинг»:

«[О]бязательное массовое сканирование частных коммуникаций в корне подрывает шифрование. Точка. […] Мы можем назвать это задним проходом, парадным входом или „модерацией загрузок“. Но как бы мы это ни называли, каждый из этих подходов создаёт уязвимость, которой могут воспользоваться хакеры и враждебные государства, лишая защиту непробиваемой математики и заменяя её уязвимостью высокой ценности.»

То, что веб-сервисы, обрабатывающие наши данные, получают возможность сканировать их на наших устройствах или на своих серверах до применения шифрования при передаче, технически не является «взломом шифрования». Фактически всё гораздо хуже: это лазейка, позволяющая автоматизированным алгоритмам ИИ выполнять роль посредника слежки, соединяя наши личные данные с органами власти.

Предложение CSAR изобилует противоречивыми заявлениями о ценности сквозного шифрования:

«[С]квозное шифрование, — признаёт CSAR, — является необходимым средством защиты фундаментальных прав и цифровой безопасности правительств, промышленности и общества.»

И всё же то, что предлагается создать, прямо подрывает ту самую конфиденциальность данных, которую шифрование призвано защищать. Технология слежки или «мониторинга», как ясно указано в предложении (26a),

«гарантирует, что механизм обнаружения может получать доступ к данным в их незашифрованной форме для эффективного анализа и действий, не нарушая защиту, обеспечиваемую сквозным шифрованием после передачи данных.»

То, как система слежки может «получать доступ к данным в их незашифрованной форме […] не нарушая» сквозное шифрование, — откровенная чушь.

Согласие пользователя

Ещё одним крупным изменением в предложении CSAR является требование получать согласие пользователей на использование этих технологий слежки:

«материалы, связанные с сексуальным насилием над детьми, должны оставаться обнаруживаемыми во всех сервисах межличностных коммуникаций посредством применения проверенных технологий при загрузке, при условии, что пользователи дают на это своё явное согласие в рамках условий и положений провайдера.»

Так что это означает на самом деле? Любой пользователь, не давший согласия на сканирование своих данных, всё же сможет пользоваться веб-сервисом — при условии, что его использование «не связано с отправкой визуального контента и URL-ссылок». Это может фактически сделать многие сервисы коммуникации непригодными для использования. Представьте, что вы хотите пользоваться приватным мессенджером, но ЕС обязывает такие приложения сканировать ваши данные заранее, а вы — по вполне разумной причине — отказываетесь. Поскольку приложение также позволяет отправлять фотографии и ссылки, вы просто не сможете пользоваться этим сервисом.

Заключение

Голосование по делу CSAR было отложено, но отнюдь не завершено. Этот законопроект снова поднимет свою уродливую голову — возможно, с новыми формулировками, призванными успокоить общественное мнение и продвинуть идею массовой цифровой слежки в Европе.

Однако многим ясно, что подобная массовая слежка не решит проблему, которая по своей сути является социальной, а не технической. Как отметил Барт Пренеел, один из ближайших советников Nym, в своём комментарии:

«Неясно, почему некоторые правительства продолжают продвигать этот подход массовой слежки, вместо того чтобы сосредоточиться на предотвращении сексуального насилия над детьми.»

Насилие над детьми следует предотвращать путём финансирования социальных служб и других профилактических мер. Элла Якубовска и организация EDRi исследуют реальные альтернативы решению проблемы CSAM и сексуального насилия над детьми — как в интернете, так и вне его. Насилие не должно использоваться как циничный PR-ход для подрыва шифрования и подрыва приватности и безопасности всего населения Европы. И мы не должны сознательно позволять правительствам нарушать наши права на неприкосновенность личной жизни из-за страха перед монстрами.

Надеемся, что это последнее отложение голосования является признаком того, что регуляторы начинают осознавать этот факт.

Диспетчер Nym

Серия The Nym Dispatch представляет собой глубокое погружение в экосистему онлайн- и социальной приватности. Следите за выпусками, чтобы узнать больше о рисках и схемах заработка в экономике онлайн-слежки — начиная с рынка бесплатных VPN. В ближайших выпусках серия расскажет о практике ведения логов у бесплатных VPN-сервисов, их намеренно расплывчатых соглашениях о согласии, о том, как, зачем и кому они продают наши данные, а также о навязчивых рекламных методах, которые они используют.