Pengawasan AI tidak akan menyelamatkan anak-anak Anda: Pembatasan obrolan kembali mengemuka

Ancaman pengawasan massal terus membayangi Eropa. Terlepas dari semua kemajuan yang dicapai oleh General Data Protection Act (GDPR), mengelak dari enkripsi data masih menjadi sasaran.

Sayangnya, pelanggaran terhadap kebebasan sipil kita sering sekali disamarkan dengan janji-janji untuk melindungi kita dari monster. Usulan Uni Eropa mengenai “Peraturan yang menetapkan aturan untuk mencegah dan memerangi pelecehan seksual terhadap anak” (Peraturan CSA, atau CSAR) adalah contoh yang sangat mencolok dalam hal ini. Peraturan tersebut sekali lagi diajukan untuk pemungutan suara di Parlemen Eropa minggu ini. Untungnya, hal itu akhirnya ditunda kemarin karena kontroversi seputar apa yang oleh para pembela privasi disebut sebagai kemungkinan “rancangan undang-undang Uni Eropa yang paling banyak dikritik sepanjang masa.”

Tangkapan layar diambil pada 21 Juni 2024

CSAR pada dasarnya menyediakan teknologi pengawasan berbasis AI kepada klien web untuk merusak enkripsi yang melindungi file dan komunikasi pribadi setiap orang. Semua ini dilakukan atas nama pemberantasan pelecehan seksual terhadap anak, tetapi jangan tertipu oleh serigala berbulu domba ini. Warga negara UE diberi pilihan yang menyesatkan: komunikasi pribadi atau predator seksual? Untungnya, banyak pihak, termasuk mereka yang berada di tim inti dan komunitas Nym, secara mendesak menyuarakan penolakan terhadap hal tersebut.

Tim Nym telah terus memantau perkembangan bertahap dari versi 1.0 dan 2.0 “Kontrol obrolan” sejak diluncurkan pada tahun 2022. Sekali lagi, hal ini berusaha memicu diskusi dan kemungkinan pemungutan suara dengan bahasa yang direvisi secara menipu. Namun, perubahan tersebut hanya meredam intensitas strategi pengawasan massalnya. Ini semua hanyalah tipu muslihat untuk mencoba mengabaikan komitmen GDPR dalam melindungi enkripsi data ujung ke ujung. Meskipun enkripsi mungkin tidak akan tersentuh oleh CSAR, sebuah celah keamanan yang lebih mengkhawatirkan terkait enkripsi telah diusulkan, yang akan memungkinkan pengawasan perangkat secara massal dan lebih mendalam.

Di bawah ini adalah apa yang dipertaruhkan dalam proposal CSAR dan mengapa hal ini menjadi ancaman besar bagi privasi daring setiap orang di Uni Eropa dan di seluruh dunia.

Apa itu kontrol obrolan?

Undang-undang CSAR, yang oleh para kritikus dikenal sebagai “pengendalian obrolan,” merupakan upaya regulasi untuk melacak dan memblokir lalu lintas konten pornografi anak serta pelecehan “sebelum ditransmisikan.” Meskipun hanya sedikit yang akan tidak setuju dengan tujuannya, para ahli telah secara lantang menyatakan bahwa peraturan yang diusulkan itu sama sekali tidak akan efektif. Lebih buruk lagi, hal ini mengizinkan dan memaksakan adanya pintu belakang pengawasan ke dalam perangkat pengguna di seluruh benua.

Pemindaian Sisi Klien (CSS)

Solusi yang diusulkan CSAR untuk masalah materi pelecehan seksual anak (atau disebut CSAM) adalah pengawasan massal melalui Client-Side Scanning (CSS). Alih-alih membahayakan transmisi terenkripsi, sistem ini pada dasarnya memindai data pada perangkat atau server sebelum enkripsi dilakukan. Hal ini akan merusak keamanan komunikasi dan prinsip-prinsip enkripsi ujung-ke-ujung bagi semua orang.

Enkripsi adalah landasan komunikasi yang aman. Saat Anda melakukan sesuatu secara daring melalui koneksi terenkripsi — mengirim foto pribadi kepada teman atau keluarga, atau menggunakan kartu kredit Anda secara daring — Anda dapat merasa cukup yakin bahwa pihak luar tidak dapat mengakses atau menyalahgunakan data Anda. Upaya CSAR semula bertujuan memaksa layanan web untuk memecahkan enkripsi yang melindungi isi komunikasi klien. Dengan enkripsi yang telah dibobol, semua pesan dapat dipindai untuk mencari materi yang menjadi sasaran. Untungnya, hal ini menuai reaksi keras dari masyarakat sipil dan para pembela privasi.

Yang saat ini diusulkan adalah teknologi CSS yang secara hukum akan mengizinkan dan memungkinkan layanan web untuk memindai atau “memantau” file dan komunikasi di perangkat Anda bahkan sebelum enkripsi diterapkan. Bayangkan jika Apple dapat secara rutin memindai aplikasi iPhoto atau iMessenger Anda untuk mencari titik data yang telah diprogram sebelumnya dan dianggap sebagai ancaman. Atau bahwa layanan komunikasi swasta menerima perintah hukum untuk melakukannya. Bahkan, presiden Signal telah secara terbuka menyatakan bahwa mereka akan menarik layanan mereka dari yurisdiksi Uni Eropa daripada membiarkan adanya kompromi terhadap keamanan para penggunanya.

Tangkapan layar diambil pada 21 Juni 2024

Teknologi CSS “sangat cacat,” kata para ilmuwan

Setiap program pemindaian pengawasan perlu mencari sesuatu yang spesifik. Pertanyaan utamanya adalah: apakah sistem ini dapat secara jelas menemukan targetnya tanpa menarik data yang tidak relevan? Dalam kasus CSAR, tujuan yang dinyatakan adalah memindai perangkat pengguna untuk mencari kemungkinan keberadaan CSAM. Ini berarti, misalnya, foto yang menggambarkan anak-anak dalam keadaan telanjang atau berkonotasi seksual, atau pesan yang menggambarkan tindakan semacam itu. Tapi, bagaimana tepatnya cara kerjanya?

Pada dasarnya, program analisis data yang kemungkinan didukung oleh AI akan diberi akses ke konten tidak terenkripsi milik semua orang di perangkat atau server. Sistem akan menandai sejumlah besar potensi ancaman berdasarkan titik-titik data sebelum mengirimkan semua kasus ke tim manusia untuk verifikasi. Tim ini kemudian akan memiliki akses ke berkas-berkas pribadi dan komunikasi Anda untuk menentukan apakah Anda telah melakukan kesalahan. Konten atau aktivitas yang mencurigakan kemudian akan diteruskan ke pihak berwenang untuk penyelidikan lebih lanjut.

Para peneliti telah sangat vokal dalam memperingatkan betapa rentan terhadap kesalahan teknologi ini, baik dari segi teknis maupun sebagai ancaman terhadap kebebasan sipil. Bayangkan sebuah kasus positif palsu, di mana foto-foto pribadi anak-anak milik orang tua ditandai oleh sebuah algoritma, lalu dilihat dan ditinjau oleh para analis sebelum diteruskan ke penegak hukum. Para ilmuwan data telah memperingatkan bahwa “pemindaian semacam itu pasti tidak akan efektif,” dan jika dilakukan dalam skala besar akan menimbulkan “efek samping yang bisa sangat merugikan semua pengguna internet, serta berpotensi membuat internet dan masyarakat digital menjadi kurang aman bagi semua orang.”

Garis Waktu

CSAR telah menghadapi berbagai kendala di Parlemen Uni Eropa sejak diperkenalkan pada tahun 2022. Acara ini kembali digelar minggu ini dengan diskusi yang dijadwalkan secara strategis di tengah-tengah pemilihan umum parlemen baru-baru ini. Berikut adalah garis waktu utama untuk melihat perkembangannya, perubahannya, dan status terkini.

• 11 Mei 2022: Usulan CSAR yang asli diperkenalkan.
• Juni 2022: Terungkap bahwa aktor Hollywood Ashton Kutcher telah bekerja sama dengan Komisaris Urusan Dalam Negeri Ylva Johansson dalam melobi apa yang saat itu disebut CSAR, demi kepentingan Thorn, sebuah organisasi yang ia dirikan bersama. Thorn menjual alat AI yang akan digunakan untuk memindai perangkat orang-orang. (Kutchner kemudian mengundurkan diri sebagai ketua Thorn setelah membela seorang pelaku pemerkosaan yang telah divonis bersalah).
• 13 April 2023: Sebuah laporan yang dibuat atas permintaan Parlemen Eropa mengenai dampak usulan CSAR telah disampaikan kepada Komite Kebebasan Sipil, Keadilan, dan Urusan Dalam Negeri Parlemen Uni Eropa.
• Juli 2023: Surat terbuka yang ditandatangani oleh 465 ilmuwan dan peneliti dikirimkan kepada Komisi Uni Eropa. Para ilmuwan secara tegas memperingatkan mengenai kemungkinan inefisiensi dari teknologi yang diusulkan serta dampaknya yang merusak “masa depan digital yang aman bagi masyarakat kita” dan “proses-proses demokrasi di Eropa dan di luarnya.”
• 2 Mei 2024: Surat terbuka baru dari 312 ilmuwan dan peneliti di 32 negara dikirimkan ke Uni Eropa. Mereka menegaskan kembali bahwa perubahan redaksional pada proposal CSAR tidak akan mengubah teknologi yang “sangat cacat” dan berbahaya tersebut. Artikel ini ditulis bersama oleh Bart Praneel, seorang aktivis privasi, profesor, dan penasihat Nym Tech.
• 13 Februari 2024: Putusan oleh Mahkamah Hak Asasi Manusia Eropa dalam kasus Podchasov v. Rusia menekankan peran enkripsi ujung-ke-ujung untuk “mengamankan dan melindungi privasi komunikasi elektronik” serta menjamin “penikmatan hak-hak fundamental lainnya, seperti kebebasan berekspresi.”
• 20 Juni 2024: Diskusi dan pemungutan suara mengenai CSAR yang telah direvisi dijadwalkan setelah penundaan (lihat butir 28 di bawah “Keadilan dan Urusan Dalam Negeri”). Pemungutan suara akhirnya dibatalkan!

Penting untuk dicatat bahwa dokumen CSAR ini merupakan usulan legislatif dan tidak memiliki kekuatan hukum kecuali disetujui oleh badan perwakilan rakyat. Meskipun demikian, penting bagi warga negara Uni Eropa untuk menghubungi perwakilan mereka dan memprotes upaya-upaya yang melanggar kebebasan sipil ini.

Permainan bahasa dalam bidang legislatif

Cara sesuatu diungkapkan dalam bahasa dapat memberikan pengaruh yang signifikan terhadap kita: susunan kata yang memikat dapat membuat kita menginginkan sesuatu yang sebenarnya mungkin tidak kita butuhkan, atau membuat kita enggan terhadap sesuatu yang sebenarnya tidak seburuk itu. Terkadang, cara penyampaiannya bisa begitu monoton dan abstrak sehingga kita bahkan tidak menyadari bahwa kita sedang menelan pil beracun.

Masukkan proposal terbaru CSAR mengenai “teknologi untuk moderasi unggahan.” Saat membaca ratusan halaman peraturan parlemen, frasa seperti ini bisa dengan mudah terlewatkan, dan memang itulah tujuan dari frasa tersebut. Jadi, apa sebenarnya artinya?

Tangkapan layar diambil pada 21 Juni 2024

Mari kita uraikan ini.

[1] “Penyedia layanan komunikasi antarpribadi” berarti layanan web apa pun yang menangani komunikasi digital Anda dengan orang lain. Ini cakupannya luas. Hal ini jelas berlaku untuk aplikasi pesan seperti WhatsApp, bahkan yang berfokus pada privasi dan terenkripsi seperti Signal. Namun, hal ini juga berlaku bagi perusahaan besar seperti Apple yang menyediakan layanan foto dan pesan, apalagi sistem operasi.

[2] Perintah hukum “harus memasang dan mengoperasikan” teknologi CSS ini berarti bahwa penyedia layanan komunikasi tidak hanya akan mampu melakukannya, tetapi juga wajib (atau “harus”) melakukannya.

[3] Inilah inti permasalahan: mendeteksi objek pengawasan [4] “sebelum transmisi” berarti sebelum enkripsi. Setelah enkripsi diterapkan, pendeteksian materi digital apa pun yang dicari akan memerlukan pemecahan enkripsi, yang tidak menjadi pilihan. Jadi, teknologi ini pada dasarnya merupakan pemindaian perangkat secara massal, yang hanya dapat dilakukan oleh penyedia perangkat atau operator aplikasi dan layanan web atas nama pihak berwenang. Karena tujuan data terenkripsi adalah untuk melindungi dari akses pihak ketiga, teknologi ini pada dasarnya merupakan pintu belakang bagi enkripsi.

[4] Meskipun tujuan pemindaian ini mungkin memang untuk mendeteksi CSAM, proses pencariannya berarti program AI tersebut terlebih dahulu harus memiliki akses ke seluruh data atau komunikasi kita. Pertama, terdapat perbedaan besar antara “materi pelecehan seksual anak yang sudah diketahui” (misalnya, foto atau video yang telah diidentifikasi oleh pihak berwenang) dan “materi pelecehan seksual anak yang baru.” Dengan metode yang terakhir ini, kemampuan program AI mana pun berpotensi menimbulkan kesalahan besar dalam membedakan antara pornografi anak dan foto keluarga pribadi yang tidak memiliki maksud seksual.

Jadi, “moderasi unggahan,” yang terdengar seolah-olah hanya “memastikan orang hanya memposting materi dalam jumlah yang wajar secara daring,” sebenarnya berarti “pengawasan data berbasis AI pada semua perangkat pengguna sebelum enkripsi untuk keperluan penegakan hukum.” Tambahkan kata “belum teruji” serta “secara ilmiah tidak mungkin dan rawan kesalahan” pada “teknologi” ini, dan kita akan lebih mendekati kebenaran.

Mematahkan enkripsi atau menyelinap dari belakang?

Banyak reaksi negatif terhadap CSAR berpusat pada pertanyaan apakah hal ini “merusak” enkripsi ujung-ke-ujung untuk transmisi data. Enkripsi data dilindungi oleh GDPR dan baru-baru ini diperkuat oleh putusan Mahkamah Hak Asasi Manusia Eropa dalam kasus Podchasov v. Rusia (2024). Sebagaimana yang telah disebutkan oleh Meredith Whittaker, Presiden Signal, hal ini tidak lebih dari sekadar permainan kata-kata atau “rebranding”:

“[M]ewajibkan pemindaian massal terhadap komunikasi pribadi pada dasarnya merusak enkripsi.” Titik. […] Kita bisa menyebutnya pintu belakang, pintu depan, atau ‘moderasi unggahan.’ Namun apa pun sebutannya, masing-masing pendekatan ini menciptakan kerentanan yang dapat dimanfaatkan oleh peretas dan negara-negara yang bermusuhan, menghilangkan perlindungan matematika yang tak terpecahkan dan menggantikannya dengan kerentanan bernilai tinggi.”

Dengan mengaktifkan layanan web yang memfasilitasi data kami untuk memindai semuanya di perangkat kami atau di server mereka sebelum enkripsi diterapkan selama transmisi, secara teknis hal ini bukanlah “mematahkan enkripsi.” Bahkan, kenyataannya jauh lebih buruk: adanya celah bagi algoritma AI otomatis untuk berperan sebagai perantara dalam pengawasan, dengan menghubungkan data pribadi kita kepada pihak berwenang.

Usulan CSAR mengandung banyak pujian yang saling bertentangan mengenai nilai enkripsi ujung-ke-ujung:

“[E]nkripsi ujung-ke-ujung,” kata CSAR, “merupakan sarana yang diperlukan untuk melindungi hak-hak dasar serta keamanan digital pemerintah, industri, dan masyarakat.”

Namun, apa yang ingin diciptakannya justru secara eksplisit akan merusak privasi data yang sama yang seharusnya dilindungi oleh enkripsi data. Teknologi pengawasan atau “pemantauan”, sebagaimana dijelaskan dalam usulan tersebut (26a),

“memastikan bahwa mekanisme deteksi dapat mengakses data dalam bentuk yang tidak terenkripsi untuk analisis dan tindakan yang efektif, tanpa mengorbankan perlindungan yang diberikan oleh enkripsi ujung-ke-ujung setelah data dikirimkan.”

Bagaimana pengawasan dapat “mengakses data dalam bentuk yang tidak terenkripsi […] tanpa mengorbankan” enkripsi ujung-ke-ujung hanyalah omong kosong belaka.

Persetujuan pengguna

Perubahan besar lainnya dalam proposal CSAR adalah bahwa pengguna harus dimintai persetujuan atas penggunaan teknologi pengawasan ini:

“materi pelecehan seksual anak harus tetap dapat dideteksi di semua layanan komunikasi antarindividu melalui penerapan teknologi yang telah diverifikasi, saat diunggah, dengan syarat bahwa pengguna memberikan persetujuan eksplisit sesuai dengan syarat dan ketentuan penyedia layanan.”

Apa sebenarnya arti dari hal ini? Setiap pengguna yang tidak memberikan persetujuannya agar datanya dipindai tetap dapat menggunakan layanan web ini, selama hal tersebut “tidak melibatkan pengiriman konten visual dan URL.” Hal ini dapat secara efektif membuat banyak layanan komunikasi tidak dapat beroperasi. Jadi, bayangkan Anda menginginkan aplikasi pesan pribadi, tetapi Uni Eropa memaksa mereka untuk memindai data Anda terlebih dahulu, dan Anda menolaknya dengan alasan yang kuat. Karena aplikasi ini juga memungkinkan pengiriman foto dan tautan, Anda sama sekali tidak dapat menggunakan layanan ini.

Kesimpulan

Pemungutan suara mengenai CSAR memang telah ditunda, namun hal ini sama sekali belum berakhir. RUU tersebut akan kembali mencuat, mungkin dengan revisi lebih lanjut pada redaksinya yang akan berusaha meredakan ketegangan guna mendorong pengawasan digital massal di Eropa.

Namun, yang jelas bagi banyak orang adalah bahwa pengawasan massal semacam ini tidak akan menyelesaikan masalah, yang pada dasarnya merupakan masalah sosial, bukan masalah teknis. Seperti yang telah dikatakan oleh Bart Praneel, salah satu penasihat dekat Nym:

“[Masih] tidak jelas mengapa beberapa pemerintah terus mendorong pendekatan pengawasan massal ini alih-alih berfokus pada pencegahan pelecehan seksual terhadap anak-anak.”

Kekerasan terhadap anak harus dicegah melalui pendanaan layanan sosial dan cara-cara pencegahan lainnya. Ella Jukubowska dan EDri telah meneliti alternatif nyata untuk mengatasi masalah CSAM dan pelecehan anak, baik secara daring maupun luring. Penyalahgunaan tidak boleh dijadikan sebagai taktik humas yang sinis untuk memecahkan enkripsi dan, dalam prosesnya, membahayakan privasi serta keamanan seluruh penduduk Eropa. Dan kita tidak boleh dengan sukarela membiarkan pemerintah melanggar hak privasi kita hanya karena takut pada monster-monster itu.

Semoga penundaan pemungutan suara terbaru ini menjadi pertanda bahwa pihak regulator mulai menyadari fakta ini.

Nym Dispatch}

Seri The Nym Dispatch mengulas secara mendalam ekosistem privasi daring dan media sosial. Ikuti terus untuk mengetahui lebih lanjut mengenai risiko dan taktik menghasilkan uang dalam ekonomi pengawasan daring, dimulai dari pasar VPN gratis. Serial ini akan segera membahas praktik pencatatan data oleh VPN gratis; perjanjian persetujuan mereka yang sengaja dibuat samar; bagaimana, mengapa, dan kepada siapa mereka menjual data kita; serta praktik periklanan mereka yang mengganggu.