AI 监控无法保护你的孩子：“聊天控制”再次抬头

大规模监控的阴影依然笼罩着欧洲。尽管**《通用数据保护条例》（GDPR）**取得了诸多进展，但绕过数据加密仍然是攻击者的目标。

遗憾的是，侵犯公民自由的行为往往以“保护我们免受怪物侵害”的承诺为幌子，这已司空见惯。欧盟关于《制定预防和打击儿童性虐待规则的条例》（CSA 条例，或称 CSAR）的提案，便是这一现象的惊人例证。本周，该法规再次在欧洲议会接受表决。值得庆幸的是，由于围绕隐私倡导者所称的“有史以来备受批评的欧盟法律草案”引发的争议，该草案最终于昨日被推迟。

截图拍摄于 2024 年 6 月 21 日

CSAR 实质上为网络客户端提供了基于人工智能的监控技术，旨在破坏保护每个人个人文件和通信的加密机制。这一切都是以打击儿童性虐待为名，但千万不要被这只披着羊皮的狼所蒙蔽。欧盟公民正被逼做出一个虚假的选择：是隐私通信，还是性犯罪者？幸运的是，包括 Nym 核心团队和社区成员在内的许多人，正紧急发声反对这一做法。

Nym 团队一直密切关注 “聊天控制” 1.0 和 2.0 版本自 2022 年推出以来的逐步推进。该提案再次试图通过看似经过修订的措辞来引发讨论并可能进行投票。然而，这些变化只是稍微缓和了其大规模监控战略的基调。这不过是一场障眼法，试图规避《通用数据保护条例》（GDPR）中关于保护端到端数据加密的承诺。虽然 CSAR 可能不会触及加密技术，但其中提出了一项更令人不安的加密后门方案，该方案将对设备进行更深入的大规模监控。

以下是 CSAR 提案涉及的关键问题，以及它为何对欧盟乃至全球每个人的网络隐私构成如此大的威胁。

什么是聊天控制？

CSAR法案——被批评者戏称为“聊天管控”——是一项旨在“在传输之前”定位并拦截儿童色情和虐待内容的流量的监管尝试。虽然几乎没有人会反对这一目标，但专家们一直在大声疾呼，称拟议的监管措施根本不会奏效。更糟糕的是，它授权并强制在整个大陆用户的设备中植入监控后门。

客户端扫描 (CSS)

CSAR针对儿童性虐待材料（亦称CSAM）问题提出的解决方案，是通过客户端扫描（CSS）进行大规模监控。它并非通过牺牲加密传输的安全性来实现，而是本质上在加密发生之前对设备或服务器上的数据进行扫描。这将损害所有人的通信安全，并违背端到端加密的原则。

加密 是安全通信的基石。当您通过加密连接进行在线操作时——无论是向亲友发送私人照片，还是在线使用信用卡——您都可以相当放心，第三方无法访问或利用您的数据。最初的 CSAR 举措曾希望迫使网络服务提供商破解保护客户通信内容的加密机制。一旦加密被破解，所有消息都可能被扫描以查找特定内容。幸运的是，此举遭到了公民社会和隐私倡导者的强烈反对。

目前提出的是一系列 CSS 技术，这些技术将从法律上允许并使网络服务能够在加密甚至尚未应用之前，扫描或“监控”您设备上的文件和通信。试想，如果苹果公司能够定期扫描你的 iPhoto 或 iMessenger 应用，查找被预先编程为威胁的数据点。或者某家私密通信服务商收到了_法律命令_要求其这样做。事实上，Signal 的总裁甚至曾公开表示，与其在用户安全方面做出妥协，不如从欧盟管辖范围内撤出服务。

截图拍摄于 2024 年 6 月 21 日

科学家称 CSS 技术“存在严重缺陷”

任何监控扫描程序都需要搜索特定的目标。关键问题在于：它能否在不引入无关数据的情况下，明显地找到目标？就 CSAR 而言，其明确目标是扫描用户的设备，以查找潜在的儿童色情材料（CSAM）。这意味着，例如，展示儿童裸体或性行为的照片，或描述此类行为的消息。但这到底是如何运作的呢？

本质上，一个很可能由人工智能驱动的数据分析程序将能够访问设备或服务器上所有人的未加密内容。该系统将根据数据点标记大量潜在威胁，然后将所有案例发送给人工团队进行核实。该团队随后将能够访问您的个人文件和通信记录，以确定您是否做错了什么。可疑内容或活动将被转交执法机构进行进一步调查。

研究人员一直直言不讳地警告这项技术存在诸多缺陷，无论是从技术角度还是对公民自由的损害来看都是如此。试想一种误报情况：父母拍摄的子女私人照片被算法标记，随后被分析师查看和审查，最后被转交给执法部门。数据科学家已警告称，此类“扫描注定无效”，且若大规模实施，将产生“对所有网民都极其有害的副作用，并可能使互联网和数字社会对每个人来说都变得不那么安全”。

时间线

自 2022 年提出以来，CSAR 一直在欧盟议会中举步维艰。本周，该活动再度回归，在近期议会选举的阴影下，一场经过战略性安排的讨论悄然展开。以下是了解其进展、变化和当前状态的关键时间线。

• 2022年5月11日： 首次提出原始的 CSAR提案。
• **2022年6月：**有消息披露，好莱坞演员阿什顿·库彻 曾与 内政专员伊尔瓦·约翰松合作，为当时被称为 CSAR 的法案进行游说，此举使他共同创立的组织 Thorn 受益。 Thorn 销售的 AI 工具 会被用于扫描人们的设备。（库奇纳后来因为一名被定罪的强奸犯辩护而辞去了 Thorn 主席的职务。）
• 2023年4月13日： 一份由欧洲议会委托撰写的关于《通信服务提供商协助报告》（CSAR）提案影响的报告已提交给欧盟议会公民自由、司法和内政事务委员会。
• 2023年7月： 由465位科研界签署人联名签署的公开信已提交至欧盟委员会。科学家们明确警告称，所提议的技术很可能存在效率低下问题，并会破坏“我们社会的安全数字未来”以及“欧洲及以外地区的民主进程”。
• **2024年5月2日：**来自32个国家的312名科学家和研究人员向欧盟发送了一封新的公开信。他们重申，对 CSAR 提案的措辞修改并不会改变这项“存在严重缺陷”且危险的技术。本文由隐私倡导者、教授兼 Nym 技术顾问 Bart Praneel 共同撰写。
• 2024年2月13日： 欧洲人权法院在“Podchasov诉俄罗斯”案中的裁决强调了端到端加密在“保障和保护电子通信隐私”以及确保“享有其他基本权利（如表达自由）”方面的作用。
• 2024年6月20日： 关于修订版CSAR的讨论和投票已安排，此前该议程曾被推迟（参见“司法与内政”项下的第28项）。投票最终被取消！

需要注意的是，CSAR 文件是一项立法提案，除非获得议会机构批准，否则不具有法律效力。尽管如此，欧盟公民仍应联系其代表，抗议这些侵犯公民自由的行径。

立法语言游戏

语言表达方式会对我们产生重大影响：一句诱人的措辞可能会让我们想要一些我们可能并不真正需要的东西，或者让我们对一些其实并不那么糟糕的事物产生抵触情绪。有时，措辞会如此单调且抽象，以至于我们甚至没有意识到自己正在吞下“毒丸”。

请参阅 CSAR 关于“上传内容审核技术”的最新提案。在阅读数百页的议会条例时，此类措辞很容易被忽略，而这正是它们的设计初衷。那么，这到底意味着什么呢？

截图拍摄于 2024 年 6 月 21 日

让我们来详细分析一下。

[1] “人际通信服务提供商”是指处理您与他人之间数字通信的任何网络服务。这是一个广泛的范畴。这显然也适用于 WhatsApp 这样的即时通讯应用，甚至包括 Signal 这样注重隐私且经过加密的应用。但这同样适用于像苹果这样提供照片和消息服务的大型公司，更不用说操作系统了。

[2] “应当安装和运营”这一关于 CSS 技术的法律规定意味着，通信服务提供商不仅能够这样做，而且必须（或“应当”）这样做。

[3] 这正是问题的关键：在“传输前”[4] 检测被监视的对象，意味着在加密之前。一旦加密措施到位，要检测任何被追查的数字内容，就必须破解加密，而这是绝无可能的。因此，这项技术实质上相当于大规模设备扫描，而只有设备供应商或应用程序及网络服务运营商才能代表当局执行此类操作。由于加密数据的目的是防止第三方访问，因此这项技术本质上是加密的后门。

[4] 虽然此类扫描的目标很可能是检测儿童性虐待材料（CSAM），但要定位这些内容，意味着人工智能程序首先必须能够访问我们所有的数据或通信内容。首先，“已知儿童性虐待材料”（例如，已被当局识别的照片或视频）与“新出现的儿童性虐待材料”之间存在很大区别。就后者而言，任何人工智能程序在区分儿童色情内容与无性意图的私人家庭照片时，都可能出现巨大的误判。

因此，所谓的“上传审核”（听起来似乎只是“确保人们在网上只发布合理数量的内容”这样无害的事情），实际上意味着“在加密之前，对所有用户设备进行基于人工智能的数据监控，以满足执法需求”。如果在这项“技术”前加上“未经测试”和“在科学上不太可能且容易出错”的标签，我们才更接近真相。

是破解加密，还是从背后下手？

针对 CSAR 的许多反对声音都围绕着它是否“破坏”了数据传输的端到端加密这一问题。数据加密受《通用数据保护条例》（GDPR）保护，并因欧洲人权法院近期在“Podchasov 诉俄罗斯”（2024）一案中的裁决而得到进一步强化。正如 Signal 总裁梅雷迪思·惠特克（Meredith Whittaker）所指出的，这无非是玩弄语言或“重新包装”罢了：

“[M]强制对私人通信进行大规模扫描，从根本上削弱了加密技术。句号。[…]我们可以称之为“后门”、“前门”，或者“上传审核”。“但无论我们如何称呼它，这些方法中的每一种都会产生一个漏洞，可能被黑客和敌对国家利用，从而剥夺了不可破解的数学所提供的保护，取而代之的却是一个高价值的漏洞。”

允许网络服务提供商在传输过程中应用任何加密之前，先在我们的设备或其服务器上扫描所有数据，从技术上讲并不算“破解加密”。事实上，情况远比这更糟：这为自动化 AI 算法提供了一扇后门，使其在将我们的个人数据与当局连接的过程中充当中介监视角色。

CSAR提案对端到端加密的价值给出了许多相互矛盾的评价：

CSAR 承认：“端到端加密是保护基本权利以及政府、行业和社会数字安全所必需的手段。”

然而，它所试图构建的体系，却会明确地破坏数据加密本应保护的数据隐私。关于监控或“监测”技术，该提案明确指出（26a），

“确保检测机制能够访问未加密形式的数据，以便进行有效分析和采取行动，同时在数据传输后不损害端到端加密所提供的保护。”

监控机构如何“访问未加密形式的数据 […]“在不妥协的情况下”实现端到端加密，这简直是赤裸裸的胡说八道。

用户同意

CSAR提案中的另一项重大变化是，必须征得用户同意才能使用这些监控技术：

“在服务提供商的服务条款下，只要用户给予明确同意，通过应用经过审核的技术，所有人际通信服务中上传的儿童性虐待材料均应保持可检测状态。”

这到底意味着什么？任何未同意其数据被扫描的用户，只要其行为“不涉及发送视觉内容和 URL”，仍然可以使用该网络服务。这可能会导致许多通信服务无法正常运行。试想，你想使用一款私密通讯应用，但欧盟却强制要求应用在发送前扫描你的数据，而你出于正当理由拒绝了这一要求。由于该应用还允许发送照片和链接，因此您根本无法使用该服务。

结论

关于 CSAR 的投票已被推迟，但这绝不意味着此事已告一段落。该法案将再次卷土重来，或许会进一步修改措辞，试图平息舆论，从而在欧洲推行大规模数字监控。

然而，许多人清楚的是，这种大规模监控无法解决问题，因为这本质上是一个社会问题，而非技术问题。正如 Nym 的核心顾问之一 Bart Praneel 所 评论：

“[目前]尚不清楚为什么一些政府坚持推行这种大规模监控手段，而不是专注于预防对儿童的性虐待。”

应通过资助社会服务及其他预防手段，防止对儿童的伤害。 Ella Jukubowska 和 EDri 一直在研究针对 CSAM 和儿童虐待问题的 切实可行的替代方案，涵盖线上和线下领域。不应将滥用行为作为一种玩世不恭的公关噱头，以此来破解加密技术，并在此过程中危及整个欧洲民众的隐私与安全。而且，我们不应因为害怕“怪物”而心甘情愿地允许政府侵犯我们的隐私权。

希望此次投票的最新推迟，能表明监管机构已开始意识到这一事实。

Nym Dispatch

**《Nym Dispatch》**系列深入探讨了在线和社交隐私生态系统。敬请收看，深入了解网络监控经济中的风险与盈利策略，首先从免费 VPN 市场开始。本系列即将探讨免费 VPN 的日志记录做法；其故意含糊其辞的同意协议；它们如何、为何以及向谁出售我们的数据；以及其侵入性的广告做法。