I söndags diskuterade vi omfattningen av barnpornografi på Internet och hur oräkneliga pedofiler sprider barnporr med tusentals nya offer varje år. Vi tittade också på det nya lagförslag som syftar till att bemöta det, Chat Control, och konstaterade att trots dess goda intentioner har det fått mycket kritik, med kommentarer som “Inte ens Östtysklands säkerhetspolis Stasi hade övervakning på den här nivån” eller “This (proposal) is the most terrifying thing I’ve ever seen“.
Idag ska vi titta närmare på varför så många är så skeptiska mot förslaget. Jag kommer också att dela mina egna åsikter, gå igenom vad det finns för möjliga alternativ, samt titta på vad som kommer att hända framöver.
Vad är motargumenten?
Jag har sett sex olika typer av motargument.
1. “Det är inte verkningsfullt”
Låt oss börja med kanske den viktigaste frågan: skulle Chat Control överhuvudtaget hjälpa utsatta barn?
Vissa menar att svaret är nej. Redan nu lägger svenska polisen automatgenererade ärenden på hög: mer än 13.000 ärenden från sociala medier har blivit liggande, flera i många år. Skulle mångdubbla mängden rapporter komma in, med lika dålig eller lägre kvalitet, skulle det finnas ännu mindre resurser för relevanta ärenden. Europaparlamentets utredningstjänst skriver:
The fact that the proposal targets known content, new content, and grooming, while the technologies to detect new content and grooming are of low accuracy (compared to the technologies to detect known CSAM). A majority of experts consulted consider that deploying the technologies to detect new CSAM and grooming will result in an increase in reported content and a reduction in accuracy, thereby substantially impacting law enforcement agencies' (LEAs) workload.
Dessutom skulle det inte hjälpa till att gripa de värsta förövarna, eftersom nätverken av dedikerade pedofiler inte använder kommersiella tjänster för att sprida barnporr:
Mandatory chat control will not detect the perpetrators who record and share child sexual exploitation material. Abusers do not share their material via commercial email, messenger, or chat services, but organize themselves through self-run secret forums without control algorithms. Abusers also typically upload images and videos as encrypted archives and share only the links and passwords.
2. “Förespråkarna är inte ärliga med sina avsikter”
Det här är det motargument som jag tycker är svagast: att Ylva Johansson influerats av lobbyister och “bolag” som vill sälja programvaror för AI-scanning. Att barnrättsorganisationen Thorn, som utvecklar just sådan programvara, har ekonomiska intressen att den används är inte konstigt: alla organisationer vill ju skapa sig mer resurser. Men det är en ideell organisation som jag tror genuint vill åstadkomma just de säger: utradera barnporren.
Alla politiker påverkas ju av olika röster, och det är inte orimligt att barnrättsorganisationer är tongivande i frågan om att skydda de mest utsatta barnen. Problemet ligger inte i att Ylva Johansson lyssnat på dem — snarare att hon nästan bara verkar lyssnat på dem.
3. “Det vore omoraliskt och olagligt att införa massövervakning”
Många menar att det är orimligt att staten kan få genomsöka din hushållselektronik efter olagligt material utan brottsmisstanke, på samma sätt som staten inte får lyssna på dina telefonsamtal utan misstanke, installera en robothundnos i ditt medicinskåp som sniffar efter kokain, eller montera en kamera i ditt sovrum som ser till att ingen våldtas där. Bara känslan av ständigt vara övervakad är en inskränkning i våra friheter:
The ability of citizens to freely use digital devices, to create and store content, and to communicate with others depends strongly on our ability to feel safe in doing so. The introduction of scanning on our personal devices—devices that keep information from to-do notes to texts and photos from loved ones—tears at the heart of privacy of individual citizens. Such bulk surveillance can result in a significant chilling effect on freedom of speech and, indeed, on democracy itself.
En undersökning visar t.ex. att 80% av unga skulle inte känna sig trygga i att utforska sin sexualitet eller engagera sig politiskt om företag eller polis kan läsa deras samtal.
I vår iver att se till att pedofiler inte har något privatliv så ser vi till att ingen får ett privatliv. Conor Friedersdorf skriver i The Atlantic om hur rättigheten till ett privatliv borde gälla både offline och online:
An American who stores accumulated photographs in a spare bedroom or attic or self-storage space correctly presumes that those albums of visual keepsakes are off-limits to other people. Though an exhaustive inventory of the nation’s snapshots would include a minuscule percentage showing illegal acts, it would be outrageous if a photo-album manufacturer or a storage-facility employee insisted that, like it or not, their business would be investigating all of your photos, just to make sure that nothing in your collection was unlawful or immoral. We expect to be presumed innocent of nefarious acts, absent evidence to the contrary—and to be spared public or private agents rifling through our personal effects.
För 15 år sedan var det en het debatt i Sverige om FRA-lagstiftningen, som var ett mindre långtgående förslag: det riktade sig inte emot inhemska kommunikationer, och innebar i sig inget förbud om kryptering. FRA:s generaldirektör Ingvar Åkesson sa då:
FRA ska signalspana för att kartlägga yttre hot mot landet. Ändå odlas uppfattningen att FRA skall lyssna på alla svenskars telefonsamtal, läsa deras e-post och sms. En vidrig tanke. Hur kan så många tro att en demokratiskt vald riksdag skulle vilja sitt folk så illa?
Tydligen verkar förespråkarna tycka att det inte är en lika vidrig tanke idag.
Att övervaka all digital kommunikation — även om det är för ett lovvärt syfte, som att hitta barnpornografi — är massövervakning. Men EU-stadgan slår fast att inskränkningar i de grundläggande rättigheterna, som just rätten till respekt för sitt privatliv och sina kommunikationer, måste vara nödvändiga och proportionerliga. Är det verkligen proportionerligt att scanna alla européers alla digitala meddelanden för att hitta ett litet antal förövare?
Betydligt mer begränsade förslag om att massövervaka om vem som skickar meddelanden till vem (“metadata”) — inte ens själva innehållet i meddelandena — för att motverka terrorism har vid flera tillfällen skjutits ner i EU-domstolen. Legala experter tror att massövervakning skulle anses bryta mot själva essensen i rättigheten till privatliv, och därmed vara olaglig per definition.
4. “Att bryta kryptering just för det här blir ett sluttande plan”
Även om man skulle tycka att ändamålen helgar medlen för just barnporr så menar kritikerna att sådana här bakdörrar är ett sluttande plan, och det skulle t.ex. bli väldigt lätt för auktoritära regimer att kräva att teknikbolagen också börjar scanna efter en lista på bilder från Himmelska fridens torg eller andra “förbjudna” situationer.
Deploying technology for automatically monitoring all online communications is dangerous: It can very easily be used for other purposes in the future, for example copyright violations, drug abuse, or “harmful content”. In authoritarian states such technology is to identify and arrest government opponents and democracy activists. Once the technology is deployed comprehensively, there is no going back.
Man behöver inte vara rädd för att Europa ska förvandlas till Kina för att frukta ett sådant här scenario. Viktor Orbán är nog lite sugen på att läsa oppositionspolitikers chattkonversationer. Kanske han behöver säkerställa att det inte diskuteras sexuella övergrepp på barn där?
Apple utvecklade en metod, som man tänkte lansera 2021, för att scanna bilder efter kända övergrepp inför uppladdning till iCloud. Men efter omfattande kritik drogs funktionen tillbaka. Den innehöll inte alla de kontroversiella förslag i Chat Control, men bara risken att olika regeringar skulle få kräva att utnyttja funktionen för massa andra syften bortom att hitta barnporr var nog för Apple.
Cambridge-professorn Ross Anderson håller med, och menar att debatten hittills inte tagit hänsyn till att polisen kan tänkas flytta fram sina positioner:
“The security and intelligence community have always used issues that scare lawmakers, like children and terrorism, to undermine online privacy,” he said. “We all know how this works, and come the next terrorist attack, no lawmaker will oppose the extension of scanning from child abuse to serious violent and political crimes.”
Forskning har visat att man relativt enkelt kan vidareutveckla algoritmerna för att hitta olagliga bilder till att även identifiera ansikten i bilder. Och man kan ju se det som ett naturligt nästa steg: Vem kan argumentera emot att försöka hitta barn i trafficking? Och när den tekniken väl är implementerad, vilken statsminister vill inte utnyttja alla sina medborgares telefonkameror för att försöka hitta en terrorist efter nästa storskaliga terroristattack? Och när man väl har gjort det...
Redan innan förslaget ens förverkligats har också mycket riktigt Europol börjat prata om det vore praktiskt att ha tillgång till alla meddelanden för att lösa andra typer av brott, och gärna också även “oskyldiga” nakenbilder som kan vara bra att ha.
“[The Europol official] mentioned that there are other crime areas that would benefit from detection and suggested that these could be included [...] All data is useful and should be passed on to law enforcement, there should be no filtering by the [EU] Centre because even an innocent image might contain information that could at some point be useful to law enforcement."
Även europeiska polisrepresentanter har i sina remissvar varit tydliga med hur viktigt det är att de kan läsa privata meddelanden nu, eftersom det här ju blir ett prejudikat för andra områden:
... it is “necessary” that law enforcement authorities have the ability to access encrypted communications to investigate online sexual abuse crimes and that the “impact of this regulation is significant because it will set a precedent for other sectors in the future.” ...
Erfarenheterna från FRA-lagstiftning pekar för övrigt åt samma håll: när en övervakningsmekanism väl är på plats är det lätt att fortsätta utveckla den.
5. “Det kommer att skapa nya säkerhetsrisker”
Om man stänger av e2e-kryptering, eller går förbi dem, skapas också nya så kallade attackvektorer. En minskad IT-säkerhet leder helt enkelt till att hackare får större möjlighet att knäcka systemet. EU-kommissionen rekommenderar därför själva att deras anställda använder appen Signal, just för den erbjuder e2e-kryptering.
Att försvaga krypteringen som européer får använda, till exempel genom att bygga in bakdörrar, skulle vara en julafton för fientliga stater eller cyberbrottslingar som vill läsa våra meddelanden, eller utpressa oss genom att låsa våra datorer. Och med tanke på hur ofta de lyckas hacka servrar hos stora bolag, som har världens bästa IT-säkerhet, vill vi verkligen att våra telefoner ska bli sådana måltavlor? En grupp forskare inom IT-säkerhet har gjort en noggrann genomgång av riskerna. Man landar i att scanning är mycket osäkrare när det sker på enskilda telefoner än på de stora techbolagens servrar (såsom idag), och att det riskerar att få konsekvenser för IT-säkerheten i världen som är svåra att överblicka:
As most user devices have vulnerabilities, the surveillance and control capabilities provided by CSS [client-side scanning] can potentially be abused by many adversaries, from hostile state actors through criminals to users’ intimate partners. [...]
Introducing this powerful scanning technology on all user devices without fully understanding its vulnerabilities and thinking through the technical and policy consequences would be an extremely dangerous societal experiment. Given recent experience in multiple countries of hostile-state interference in elections and referenda, it should be a national-security priority to resist attempts to spy on and influence law-abiding citizens. CSS makes law-abiding citizens more vulnerable with their personal devices searchable on an industrial scale. Plainly put, it is a dangerous technology.
Att sprida tekniken för genomföra scanning till alla världens mobiltelefoner kommer också göra det mycket lättare för brottslingar att analysera den och hitta dess svagheter. Redan veckor efter att Apple presenterat sitt förslag — som sedan drogs tillbaka — lyckades personer på Internet knäcka algoritmen och både skapa falska positiva (bilder som flaggas som barnporr men inte är det) och falska negativa (bilder som fortfarande är barnporr men inte flaggas som det).
Det här tekniska problemet är helt enkelt väldigt svårt att lösa på ett säkert sätt.
Och litar vi på att det nya EU-centrumet kan hantera de miljontals nakenbilder de kommer att samla in? Som två forskare skriver i GP:
En databas över intima bilder eller privata sexmeddelanden som samlats in för att eventuellt upptäcka sexuella övergeppsförsök – ett av de föregivna syftena med EU:s Chatcontrol 2.0 - skulle exempelvis vara guldgruva för underrättelsetjänster och andra som ville idka utpressning mot makthavare.
6. “Oskyldiga kommer att drabbas”
Ibland hör man “har man inget att dölja så borde man inte ha något emot övervakning”. Men det är ju knappast sant. De flesta svenskar skulle förmodligen inte vara bekväma med att ha den där våldtäktsspanande AI-kameran i sitt sovrum, även om de inte har några planer på att begå våldtäkter.
Här kontrar just förespråkarna för Chat Control med att det bara är “en AI” som ska läsa dina meddelanden, och de blir ju inte generade. Men det är ju inte hela sanningen. På WhatsApp skickas 100 miljarder meddelanden och 7 miljarder foton varje dag, och även om algoritmen bara tycker sig se “nakenhet” och “ung person” i en bråkdel av bilderna, eller tecken på grooming i en hundradels promille av alla meddelanden, så blir det ju ändå miljontals meddelanden och foton som måste scannas manuellt. En stor majoritet av dem kommer inte leda till åtal, t.ex. 17-åring som skickar en nakenbild till sin pojkvän, eller en mamma som skickar en bild på sin nakna 1-åring som leker i vattenspridaren till mormor. En tredjedel av alla minderåriga skickar frivilligt intima bilder till sina partners. Ska verkligen två 17-åringar som skickar intima bilder till varandra registreras av Europol?
Det låga tröskelvärde som fastställs i förslaget för utbyte av rapporter med brottsbekämpande myndigheter (sådana som ”inte är uppenbart ogrundade”) innebär dessutom en stor sannolikhet för att falska positiva resultat (dvs. innehåll som felaktigt markerats som sexuella övergrepp mot barn) kommer att lagras i Europols informationssystem, eventuellt under längre perioder.
Kommissionens förslag riskerar att leda till att stora mängder barn blir fokus för polisutredningar bara för att de utforskar sin sexualitet, och bilder som de trodde var privata riskerar att läcka till potentiellt hundratals vuxna som är involverade i utredningarna. Som ordförande för Hollands Authority for the Prevention of Online Terrorist Content and Child Sexual Abuse Material säger:
A big part of the material that we see is not a result of sexual abuse. The material’s indeed being spread by the Internet — but it’s a growing number which is a result of sexual activity of young people themselves. [The risk of] leaked images and sextortion [are] even more reason why we should keep the Internet safe and secure.
För övrigt, vilka människor ska gå igenom de här miljontals nakenbilderna, som flaggats av algoritmerna? Är det anställda på det nya EU-centrumet eller polisen som ska göra grovjobbet? Blir det som hur content moderation funkar idag på Facebook, där tiotusentals lågbetalde kontraktsarbetare sitter i ett slags call center i Nairobi och kollar igenom alla olämpliga bilder som delas? Kommer det höjas röster att alla de här personerna ska sitta i Borås istället i och med att det gäller svenska nakenbilder?
Vill man över huvud taget ha massa personer i Borås (eller Bryssel) vars jobb är att kolla på alla svenska nakenbilder på unga personer? (Man kan ju tänka sig att en sådan verksamhet skulle locka till sig exakt de personerna man inte vill ska jobba med det.)
Det är heller inte direkt lugnande att se på hur rättsosäkert de initiala tillämpningarna av sådana här filter gjorts. New York Times berättar om en man som skickade en bild på sin sons svullna penis till sin läkare. Google flaggade och raderade hans konto och polisanmälde honom. Polisen la ner utredningen så fort de tittat på fallet, men kunde inte nå honom för att meddela det, för att han inte längre hade kvar sin mailadress eller telefonnummer (båda kopplade till Google-kontot). Det finns fler liknande fall där personer i praktiken förlorat hela sina digitala liv — bröllopsfoton, mail, telefonnummer — för att en algoritm flaggat något som visade sig vara helt irrelevant.
Och det är ju inte bara familjer eller unga älskare som har behov av privatliv för att kunna skicka lättklädda bilder. Den springande punkten är att om man förbjuder kryptering just för det här syftet, så förbjuds kryptering i alla sammanhang. Det innebär att man äventyrar demokratiaktivisters, visselblåsares, och journalisters konfidentialitet och yttrandefrihet, och i vissa fall därmed också deras liv.
Vad tycker jag?
Jag skulle generellt säga att jag är ganska långt från en klassisk integritetsaktivist.
Jag tycker att man får tåla lite övervakning för att komma till rätta med brottslighet, jag gillar kameror i offentliga miljöer och jag stödjer förstås telefonavlyssningar vid brottsmisstanke. Ofta tycker jag integritetsfrågor blir antingen komiska, som när EU tror att att mitt liv blir bättre av jag måste klicka bort en ruta om cookies på varje ny webbsajt jag går in på, eller tragiska, som när dåvarande Datainspektionen sköt ner regionernas tjänst Hälsa för mig, och menade att friska vuxna inte får ge samtycke till att familjemedlemmar tar del av deras hälsodata.
Men rätt till privatliv är en viktig rättighet, och det är inte en tillfällighet att alla vidriga diktaturer riktat in sig på att inskränka den sfären så mycket de kan.
Jag läste en gång av en novell av Isaac Asimov, The Dead Past. Det handlar om en värld där en teknisk innovation raderar ut möjligheten att ha ett privatliv. Spoiler alert: huvudpersonen bygger ett “kronoskop” där man kan observera historiska skeenden, var som helst i världen. Men det visar sig efter ett tag att man tyvärr i praktiken inte kan gå alltför långt tillbaka i tiden, så det går inte att använda maskinen för att åtnjuta Ciceros sista tal eller slaget vid Troja. Men däremot går det utmärkt att använda i absolut närtid: till exempel för att snegla på när din granne hade sex för en kvart sen. Sensmoralen om vikten av ett privatliv gjorde ett djupt intryck på mig, och det finns förstås oräkneliga andra skildringar av vad som händer i ett samhälle när ens privatliv förintas. Den gripande Oscarsvinnaren The Lives of Others (Das Leben der Anderen) är ett annat utmärkt exempel hur massövervakning förstör och korrumperar människor.
Så: sexualbrott mot barn är något av det vidrigaste i samhället, och vi måste bekämpa det så gott vi bara kan, men vi måste också värna vuxnas och barns rätt till personlig integritet. En permanent förordning får inte förbjuda eller försvaga e2e-kryptering, och kommer därför inte att kunna scanna av krypterad kommunikation. Ens telefon ska heller inte, med hjälp av mer eller mindre bra AI, scanna igenom alla bilder på ens egen telefon på jakt efter “tidigare okänd” nakenhet, eller alla meddelanden man skickar på jakt efter grooming. Sökningar av ens egendom ska bara ske när polisen har en välgrundad misstanke. Och att förbjuda alla under 17 år att använda WhatsApp, FaceTime eller Roblox är så löjligt att jag inte ens orkar kommentera det.
Men om man inte gör exakt det som Ylva Johansson föreslår, vad kan man då göra för att stoppa spridningen av barnporr?
Jag tycker till stor del att teknikutvecklingen senaste åren är ändamålsenlig: till exempel att icke-krypterade bilder som sparas i en molntjänst scannas mot en lista på känd barnporr, såsom Dropbox gör idag. Jag tycker också att Apples nya lösningar för att varna tonåringar om de håller på att skicka eller få nakenbilder är smarta.
Men kan på liknande sätt tänka sig en AI-tjänst på ens egen telefon, som blir bättre och bättre på att scanna inkommande meddelande efter klassiska grooming-mönster och varnar användaren för vad som håller på att ske, på samma sätt som Meta redan börjat göra för att stödja tonåringar i hur de kan interagera med främlingar.
Det finns också många andra förslag som verkar lovande, från bland annat Europaparlamentet, Piratpartiet, centerpartister och WhatsApp:
tjänster för tonåringar ska byggas enligt security by design, med principer som t.ex. att användare blir synliga för andra bara om de explicit väljer att vara det, och varnas om de försöker dela kontaktuppgifter eller nakenbilder
moderera publika chatrum med högst risk för grooming
gör det lättare att rapportera brott direkt på plattformarna
öka stödet till polisens nationella it-brottscentrum
ge polisen möjlighet att genomsöka det öppna internet och darknet, där majoriteten av övergreppsmaterial finns, och möjlighet att kräva att materialet raderas på sina servrar (vilket inte görs idag!)
låt polisen genomföra brottsprovokation
intensifiera samarbetet med Europol
analysera metadata löpande för att förebygga brott, inte bara för att detektera och rapportera
utbilda tonåringar i vilka faror som finns online, och uppmuntra dem att prata med sina föräldrar, men utbilda dem också i hur de ska agera om personer de litar på försöker utnyttja dem
Kort sagt tycker jag nog ungefär som Europaparlamentet och dataskyddsombuden i EU-länderna och ja, svenska folket:
Svenskarna känner inte till EU förslaget Chat Control, när de blir informerade om den anser endast 13 % av svenskarna att det är ett mycket bra förslag. Novus undersökning visar också att svenskarna inte är beredda att rutinmässigt ge upp sin integritet, bara 6 % har inga problem alls med att myndigheter och internetleverantörer kan se vad man skriver eller sparar för filer. Men man kan delvis tänka sig att ge upp sin integritet för att hjälpa polisen i sin jakt mot kriminella. Dock skall det endast ske i samband med brottsmisstanke.
Vad händer nu?
EU-kommissionens roll är ju att lägga fram lagförslag och sen stiftas EU-lagar av de två “kamrarna”: det mellanstatliga ministerrådet och det folkvalda Europaparlamentet:
Den 4-5 december är det nytt möte i ministerrådet, vilket i Sverige föregås av samråd i riksdagens EU-nämnd 1 december. Majoriteten av medlemsstaternas regeringar (som ju representeras i ministerrådet) är positiva till förslaget, men det finns några som är negativa, t ex Tyskland och Österrike, som har en stark tradition av att värna privatlivet sen andra världskriget. Om även Nederländerna, Polen och Sverige skulle säga nej skulle en blockerande minoritet uppnås, och då går förslaget tillbaka till kommissionen.
I en oväntad utveckling för bara två veckor sedan verkar Europaparlamentet kommit överens, över grupp- och partigränser, om att säga nej till de centrala delarna i kommissionens förslag. Nästa måndag, den 13 november, ska parlamentet formellt rösta om frågan.
När ministerrådet och parlamentet tagit ställning ska de komma överens med varandra och kommissionen (“trilogförhandlingar”). Om parlamentet säger nej och ministerrådet ändå säger ja stundar hårda förhandlingar för att jämka ihop positionerna. Ett slutgiltigt beslut kommer kanske inte förrän efter nästa års EU-val.
Låt oss hålla tummarna att våra politiker då lyckas hålla två tankar i huvudet samtidigt i en sån här svår och viktig fråga. Jag tycker, utifrån vad jag sett, att Europaparlamentet verkar ha hamnat hyfsat rätt i sitt välförankrade motförslag.
Det här var allt för idag.
Om du har vänner som du tror skulle gilla nyhetsbrevet, vidarebefordra det till dem eller tipsa dem om att prenumerera för att få framtida utskick (det är helt gratis!).
—Jacob
Riktigt bra analys av ett högaktuellt ämne. Delar din slutsats och hoppas förslaget inte går igenom - och också hoppfullt att det samtidigt finns många (bättre) alternativ.