Kinesiska staten har mer än 200 miljoner övervakningskameror riktade mot sina medborgare, ofta förstärkta av AI som kan hitta en person i en stad på nolltid. Men Kinas samhällskreditsystem, Social Credit System, upplevs nog av många utanför Kina som än mer kontroversiellt. Det har beskrivits som “1984 möter Pavlovs hundar” och jämförts med TV-serien Black Mirror.
(Jag kommer använda termen “socialt kreditsystem” framöver eftersom det är den vanligaste översättningen, men den kinesiska termen syftar tydligen mer på samhällelig än sällskaplig).
Om man tar dessa hyperboler bokstavligen kanske man ser ett system framför sig som följer alla kinesiska medborgare. Utifrån deras beteende kommer Algoritmen att avgöra hur de ska belönas eller bestraffas. Donera blod, plus 2 poäng. Facebookvän med dissident, minus 15 poäng. Och sinar poängen så stänger samhället sina dörrar.
Imagine a world where many of your daily activities were constantly monitored and evaluated: what you buy at the shops and online; where you are at any given time; who your friends are and how you interact with them; how many hours you spend watching content or playing video games; and what bills and taxes you pay (or not). It's not hard to picture, because most of that already happens, thanks to all those data-collecting behemoths like Google, Facebook and Instagram or health-tracking apps such as Fitbit. But now imagine a system where all these behaviours are rated as either positive or negative and distilled into a single number, according to rules set by the government. That would create your Citizen Score and it would tell everyone whether or not you were trustworthy. Plus, your rating would be publicly ranked against that of the entire population and used to determine your eligibility for a mortgage or a job, where your children can go to school - or even just your chances of getting a date.
Ett infernaliskt sätt att styra sina medborgare, med finmaskigare incitament än böter och fängelse? Både systemets förespråkare och opponenter — här Mike Pence — beskriver dess höga ambitioner:
And by 2020, China’s rulers aim to implement an Orwellian system premised on controlling virtually every facet of human life – the so-called “social credit score.” In the words of that program’s official blueprint, it will “allow the trustworthy to roam everywhere under heaven, while making it hard for the discredited to take a single step.”
Men är detta verkligheten? Nej — i alla fall inte än. En debattör menar att systemet är “mer Kafka än Orwell”. Låt oss titta lite strukturerat på vad man försöka skapa och hur långt man har kommit.
Varför social kreditvärdering?
Till att börja med, vad är anledningen till att Kinas ledare i tjugo års tid prioriterat att försöka få på plats ett system för mäta och hantera social kreditvärdighet?
Att man vill öka tilliten i samhället. Som centralregeringen uttryckte det i sin skrivelse Planning Outline for the Establishment of a Social Credit System (2014-2020), man vill att invånarna ska uppleva “att behålla tilliten är ärofullt och att bryta tilliten är skamligt". De listar också de problem som det nya systemet förväntas adressera:
The main problems that exist include: […] the social consciousness of trustworthiness and credit levels tend to be low, and a social atmosphere in which agreements are honored and trust are honestly kept has not yet been shaped, especially grave production safety accidents, food and drug security incidents happen from time to time, commercial deceptions, production and sales of counterfeit products, tax evasion, fraudulent financial claims, academic impropriety and other such phenomena cannot be stopped in spite of repeated bans, there is still a certain difference between the extent of creditworthiness in government affairs and judicial credibility, and the expectations of the masses.
Ja, efter den uppräkningen kan man ju förstå att det finns en del att göra…
Även i västländer finns ju massa mekanismer för att uppmuntra att folk och företag att hålla vad de lovar, från UC till ratings på Uber och e-handelssajter. Men i väst tenderar ju staten att mest hålla koll på obetalda skulder. I Kina menar man att eftersom utvecklingen till en komplex marknadsekonomi gått så mycket snabbare än i väst — på årtionden istället för århundraden — måste staten ha en mer aktiv roll för att garantera enskilda aktörers pålitlighet. Idag efterlevs tydligen bara hälften av alla kontrakt som sluts, något som ökar riskerna i affärslivet, och många oseriösa affärsmän har lätt kunnat undgå straff:
In the past, major debtors and serious offenders involved in scams, or violators of food safety or environmental standards, were able to move on and repeat misdeeds without significant consequences elsewhere.
Dessutom saknar många kineser formell kredithistoria, ofta för att de inte haft ett bankkonto. Utan smarta sätt att förstå deras pålitlighet vågar ingen låna ut pengar till dem.
Det som idag har blivit Social Credit System kommer från ett initiativ i slutet av 90-talet för att låta utländska företag få bättre finansiell information om sina kinesiska partners, för att underlätta internationella samarbeten. För tio år sedan var målet med systemet fortfarande att tillhandahålla beslutsunderlag om företags belåning, skatteskulder och historik av att följa avtal.
Först 2011 ökades ambitionen till att mer generellt uppmuntra till ärlighet och pålitlighet (trustworthiness), något som möjliggörs genom att man straffar och belönar olika typer av beteenden:
“The lack of creditworthiness in society is still quite prominent. Despite being prohibited, commercial fraud, counterfeiting and selling [fake goods], making false reports and false claims, and academic misconduct continue to take place, and the people are very dissatisfied,” [then premier] Wen said in a statement following a meeting of the State Council in October 2011.
Wen said that the creation of a social credit system would ensure honesty, self-discipline, trustworthiness and mutual trust, and that those who cheat and are dishonest would be punished.
Tanken var att systemet skulle implementeras under perioden 2014-2020. Så hur långt har man kommit?
Till att börja med: idag är det inte ett system utan en massa parallella system: ett statlig nationellt, olika system på stadsnivå och sedan massa företag som hanterar sina egna listor på kunder och användare. Regeringen verkar intresserad av bästa sättet av uppnå sitt mål — ökad tillit — snarare än att göra allting själv:
In fact, China’s social-credit scoring is best understood not as a single system but as an overarching ideology: encompassing punishments and rewards, to improve governance and stamp out disorder and fraud. Commercial schemes mostly handle the perks, state schemes the punishments. Both work in concert to encourage socially responsible behavior.
Låt oss ta systemen i ordning.
Det nationella systemet
Det nationella systemet täcker in både privatpersoner, företag, myndigheter och sociala verksamheter — alla typer av organisationer utom kommunistpartiet självt! Den centrala databasen kallas National Credit Information Sharing Platform och har varit igång sen 2015. Redan 2017 läste man in 400 dataset från 30 olika myndigheter. Data kommer från en serie databaser med framförallt finansiell och juridisk information som kopplas ihop i en ganska manuell process. Majoriteten av datan är publik, och data om företag går att söka fram online.
Det finns ingen nationell social credit score, men däremot en svart lista på de som misskött sig på vissa specifika sätt (det finns också en röd lista för de som sköter sig exemplariskt). Någon procent av alla företag och någon promille av invånare beräknas vara svartlistade. Här handlar det om specifika brott eller allvarliga överträdelser, inte bara allmänt oönskade beteenden.
Idag är systemet framförallt fokuserat just på företag — kanske inte så förvånande givet att det var det där man började. Enligt en rapport från 2017 handlade 80% av den insamlade datan om företag. Utöver de klassiska finansiella parametrarna för kreditvärdighet påverkas ett företags scoring om det följer sina utsläppsmål, inte möter krav på arbetsmiljö — och om ens kunder klagar på att man inte levererar varor i tid. Under covid-19 har reglerna justerats många gånger, på både nationell och lokal nivå för att stötta regeringens policy. Ett företag med en låg score ha svårare att få lån, men också få betala högre skatter och utsättas för mer inspektioner. Tullverket rapporterade till exempel att 85% av svartlistade företag inspekterades under 2019, mot 2% av andra. Svartlistade företags företrädare kan också själva hamna på listan.
En EU-rapport pekar på att systemet saknar motstycke i andra länder och en låg score kan betyda “döden” för ett enskilt företag. Men många utländska näringslivsrepresentanter är positiva och menar att mer kontroll av kinesiska företag kommer att göra det lättare att göra affärer i Kina. Scanias strategichef i Kina sa förra året:
Det är kinesiska åkerier som inte följer reglerna, utan använder undermåliga fordon och undviker att besiktiga dem. Om Kina ska klättra på värdekedjan måste det komma genom ett inre tryck. Om Kina orkar driva igenom detta, blir det mer jämlik konkurrens.
För medborgare verkar det primärt handla om att hålla reda på de som inte betalat sina skulder, lite som Kronofogden gör i Sverige. Men en stor skillnad är vad informationen används till. I Sverige lämnar Kronofogden information till kreditupplysningsföretagen, som UC, och så blir det lite svettigare nästa gång man ansöker om nya lån.
I Kina används informationen mycket mer offensivt för att klämma åt de som inte betalar sina skulder. Traditionen med att svartlista personer har funnits länge i Kina, men sätten att kommunicera den svarta listan var inte så effektiv tidigare: reklam i dagstidningar och innan biofilmer. Med hjälp av modern teknik blir det mycket mer uppenbart för alla vilka som är på den svarta listan. Medborgare på den svarta listan hängs ut offentligt för att det ska vara riktigt pinsamt och opraktiskt att inte betala sina skulder:
In certain areas of China, call a blacklisted person on the phone and you will hear a siren and recorded message saying: “Warning, this person is on the blacklist. Be careful and urge them to repay their debts.” When a blacklisted person crosses certain intersections in Beijing, facial-recognition technology projects their face and ID number on massive electronic billboards.
Och åtminstone i en stad har man lagt till ett miniprogram i den populära appen WeChat så att man kan se vilka svartlistade personer som är i närheten:
Dessutom begränsas ens möjlighet till det som anses som lyxkonsumtion: flygbiljetter, snabbtåg, hotellrum, nybyggda lägenheter, terminsavgifter för privata universitet. (Det har även rapporterats om att vissa myndigheter på eget bevåg fattat beslut om straffa individer på svarta listan på andra sätt.)
70-90% av fallen verkar gälla personer inte följt ett domslut. I de flesta fall är det personer som inte betalar tillbaka ett lån eller betalar sina böter, trots att de bedöms ha förmåga att göra det. Men det kan också gälla en order om att skicka en formell ursäkt till någon som blivit förolämpad, eller besöka sina åldriga föräldrar.
Ett pressmeddelande från Kinas högsta domstol från 2017 berättar stolt om att straff för miljontals människor som inte betalat sina skulder, och menar att konsekvenserna fått många av dem att göra rätt för sig:
Since 2013, a total of 8.8 million violations committed by defaulters have been put on a government blacklist of people who are found to have transferred or hidden assets, evaded or resisted law enforcement, said Meng Xiang, chief of the Supreme People's Court enforcement bureau.
Courts across the country have forbidden defaulters from buying 8.7 million airplane tickets and 3.4 million high-speed train tickets, said Meng.
"In joint efforts with other government organs, social organizations and companies, the supreme court puts constraints on defaulters, and has made more than 1 million of them voluntarily carry out court orders," Meng said.
I våras kom en uppdatering: nu är det 7,5 miljoner “opålitliga” personer som gjort rätt för sig efter att de hamnat på en svart lista.
Det är värt att notera att även myndigheter övervakas i systemet. I ett jätteland som Kina behöver centralregeringen använda olika verktyg för att håll koll på sina förlängda armar. Här är fokus på incitament att implementera olika centrala påbud, snarare än bestraffningar.
Olika städers system
43 städer har drivit lokala projekt för sociala krediter, och 28 städer valdes ut som nationella piloter. Dessa system har i flera fall varit mer mer långtgående. Här har man konstruerat modeller som täcker in beteenden som inte är lagbrott, men som ses som olämpliga. Att äta på tunnelbanan, att inte dyka upp på restaurangen när man har en bokning, att inte plocka upp efter sin hund eller att gå mot röd gubbe har kunnat leda till konsekvenser (vissa av dessa verkar dock ha plockats bort ur piloterna). Totalt har ca 0,5% av befolkningen i pilotstäderna hamnat på någon lokal svart lista.
Men på många ställen har de systemen uppenbarligen inte haft så mycket påverkan. I en undersökning visade de sig att av de som i ett område som implementerat ett lokalt kreditsystem var det bara 11% som visste om det!
Det finns också ett stort fokus i lokala system på att lyfta fram goda exempel. Bilden nedan visar till exempel hur föredömliga medborgare lyfts fram på stora annonstavlor utomhus. Andra morötter för invånare med höga scores innefattar att kunna hyra saker utan att lämna deposition, billigare lån och andra rabatter.
De privata systemen
De privata sociala kreditsystemen är på både de mest avancerade och de mest utbyggda. Undersökningen ovan visade att 80% av respondenterna uppgav att de deltog i ett kommersiellt socialt kreditsystem, jämfört med bara 7% som visste om ifall de deltog i ett offentligt system. De kommersiella systemet är mer orienterade kring morötter snarare än piskor — inte så konstigt eftersom de är frivilliga. Man kan tänka på dem som en slags avancerade lojalitetsprogram, som flygbolagens frequent flyer-program.
Det mest använda är Zhima Credit från Ant Financial (tidigare Alibaba), också känd som Sesame Credit. Det är i grunden avsett att driva försäljning och bra beteende på Alibabas tjänster. Historiskt har medlemmar fått en “tillitspoäng” mellan 350 och 950 utifrån fem typer av data:
identity information, such as information on users’ education and work; ability to keep financial obligations; credit history; behavioral preferences like shopping, money transfers; and connections with other people.
En hög poäng ger olika förmåner, inte bara på Ants egna plattformar:
Get above 700 and they can apply for Singapore travel without supporting documents such as an employee letter. And at 750, they get fast-tracked application to a coveted pan-European Schengen visa.
Och via ett samarbete med datingplattformen Baihe kan användare med hög scoring få mer exponering. Liknande data används också för bedöma kreditvärdighet för de som vill låna pengar via Ant Financial. Din kreditvärdighet och ditt dejtande påverkas alltså av vilka du är vän med på sociala nätverk, även om det sägs vara en mindre viktig parameter. Lyckligtvis (…?) varnas du innan du addar fel person:
Sesame Credit already offers tips to help individuals improve their ranking, including warning about the downsides of friending someone who has a low score.
Till viss del verkar Sesame Credit ha skalat tillbaka sina retorik vad gäller att betygsätta användare på deras beteende och preferenser:
Zhima Credit’s technology director controversially told the Chinese magazine Caixin in 2015 that buying diapers, for example, would be considered “responsible” behavior, while playing video games for hours could be counted against you.
Hu Tao, Zhima Credit’s general manager, paints a different picture now. She says the app doesn’t monitor social media posts “nor does it attempt to measure qualitative characteristics like character, honesty, or moral value.”
Så vad tycker befolkningen?
Generellt verkar den kinesiska befolkningen väldigt positiva till sociala kreditsystem, men man föredrar att de sköts av centralregeringen snarare än lokala regeringar eller företag.
I ett land som plågats av matskandaler och bedrägerier kan det nog kännas tryggt när “ociviliserade” företag och individer hängs ut. Intressant är att även om Kinas elit verkar värdera liberala principer högre än snittmedborgare, så är stödet för sociala kreditsystem högre hos dem än andra. Kanske värdesätter man att hela samhället anammar samma normer, och att det dessutom ger konkreta fördelar för en själv:
the survey findings suggest that citizens perceive SCSs not as an instrument of “surveillance” but instead as an instrument to improve “quality of life” and to close “institutional and regulatory gaps” leading to more honest and law-abiding behavior in society. SCSs are viewed within the context of technological progress and are understood as a means of improving life quality. The various benefits provided via SCSs are seen as very convenient and attractive. For instance, one interviewee reports that “sometimes there is not enough money left in Alipay and Sesame Credit can be used for ordering delivery food. This is convenient and increases life quality”.
Som professor professor Johan Lagerkvist på Stockholms universitet säger:
Människor invaggas i ett förtroende för staten, och tror att det bara är människor som är ociviliserade som behöver oroa sig. Det är en minoritet av kineserna som oroar sig för integritet och yttrandefrihet.
Man ser helt enkelt inte systemet som övervakning — eller i alla fall inte som mer övervakning än vad man redan är van vid:
Chinese citizens already know that their online lives, social connections and economic activity are being surveilled at will by the government, with potential legal consequences if they step out of line. Should the social credit system ever be used to add higher personal-loan rates and bans on business-class plane tickets to China's existing draconian penalties for exercising political rights, it would represent a minor deterioration rather than a wholesale change in the status quo.
Låt oss titta på staden Rongcheng som exempel. De har kommit långt med sitt lokala system. Här verkar invånarna uppleva att deras beteende mycket riktigt ha påverkats av poängsättningen, som uppfattas som transparent och rimlig. Och de gillar effekterna på andra:
Boards explaining how you can win or lose points and showing pictures of the best scorers are a common sight in Rongcheng; passersby talk about them with pride.
But the most startling thing is that cars yield to pedestrians at the crosswalk — a sight I’ve never seen in another Chinese city.
“I feel like in the past six months, people’s behavior has gotten better and better,” says Chen, a 32-year-old entrepreneur who only wanted to give his last name. “For example, when we drive, now we always stop in front of crosswalks. If you don’t stop, you will lose your points. At first, we just worried about losing points, but now we got used to it.”
Många svenskar som gått omkring i skräpiga städer utomlands har säkert beklagat sig över avsaknaden av normen om inte slänga skräp överallt. Så det är ju ett intressant experiment: kan man på några år, eller några årtionden, tvinga fram ett önskvärt beteende utifrån att folk följer en algoritm?
Är svenskar är trevliga mot Uber-förare än andra taxichaufförer eftersom de vet att de får en rating? Och den filosofiska frågan: om beteendet blir bättre, spelar det någon roll om det är instrumentellt eller genuint? Kan en genuin värdering födas utifrån gamifierad lydnad, om man gör det tillräckligt länge?
Självklart finns det mycket kritik, inte minst utanför Kina. De mest uppenbara riskerna handlar ju om att staten kommer att kunna reglera sina medborgares privatliv i minsta detalj. Även i Kina finns den debatten till viss del. Ett tidigt pilotprojekt år 2010 norr om Shanghai misslyckades för att det upplevdes som att systemet fokuserade på fel saker:
Amid a public backlash, a report in China Youth Daily, a state-owned newspaper, criticised the system. It said “political” data (such as petitions) should not have been included, declaring that “people should have rated government employees and instead the government has [rated] the people.” Another state-run newspaper, Beijing Times, even compared the scheme with the “good citizen” certificates issued by Japan during its wartime occupation of China.
Det finns också en oro att informationen är inkomplett och leder till en orättvis och missvisande bild:
Liao Li, a finance professor at Tsinghua University in Beijing, estimated that only around half of the 1 billion individuals included in the database had a complete credit history. This was due to a number of reasons, such as their data not being tracked properly, or their records being spread among many companies and not consolidated.
Även om de nationella svarta listorna idag enbart baseras på officiella domar så kan det ju finnas ändå frågetecken — till exempel om domarna är av tillräckligt hög kvalitet, om den tilltalade över huvud taget vet om att han eller hon dömts, och hur enkelt det går att komma bort från de svarta listorna. Human Rights Watch tar upp fallet med en advokat som var tvungen att be om formell ursäkt ett flertal gånger, för att domstolen tyckte att hans ursäkt inte var tillräckligt rättfram. Under en lång tid var han svartlistad och fick inte resa.
Det finns också andra frågetecken. Vad finns det för säkerhetsrisker med samla alla denna data på ett ställe? Har algoritmen en bias mot vissa grupper? Kan den luras av de som vet hur den funkar? Alternativt, om ingen vet hur den funkar, kan man vara trygg med att den mäter något som är meningsfullt?
From a user’s perspective, it is difficult to gauge whether your score went lower because you bragged how you got “wasted” last Friday online or because you liked “Fully automated luxury gay space communism” on Facebook. In Chinese online space where the Chinese government is even more involved, this question gets even more difficult.
Och — kanske viktigast — kommer ett sådant här system i framtiden ytterligare begränsa folks medborgerliga friheter och leda till ökad censurering, inte bara av en själv, utan också att vänner tvingas censurera vänner?
People will have an incentive to say to their friends and family, "Don't post that. I don't want you to hurt your score but I also don't want you to hurt mine."
Avslutningsvis
Så — sammanfattningsvis — Kinas sociala kreditsystem är ett lapptäcke idag, och ganska långt från det allseende system det målas upp som. Idag hade nog Storebror från boken 1984 varit lite besviken på hur långt man kommit.
Men all fundamenta finns på plats för att på sikt skapa ett nationellt system där algoritmer verkligen bestämmer vilka möjligheter som ska erbjudas medborgare utifrån deras beteende. För en stat som anser sig ansvara för medborgarnas reproduktiva beslut känns ju säkert möjligheten att styra hur man bäst äter på tunnelbanan ganska självklar. Partiet tjänar på att medborgarna är lugna och nöjda, och medborgarna upplever sig tjäna på att partiet är kvar vid makten:
In the larger picture, the Communist Party is trying to stay in power “by making China a pleasant and acceptable place for people to live in order to not get angry,” Creemers says. “It doesn’t mean it’s benevolent. Keeping people happy is a much more effective means than employing force.”
The party is using both coercion and cooperation to integrate the scheme into people’s lives and have it bring benefits to them. “To me, that’s what makes it Orwellian,” says Hoffman of IISS. The social credit system provides incentives for people to not want to be on a blacklist. “It’s a preemptive way of shaping the way people think and shaping the way people act,” she says. And to the extent that people believe they can benefit socially and economically from the Communist Party staying in power, the system is working.
Även en liberal demokrati, som Sverige, har intresse att uppmuntra ordning och produktiva beteenden. Men här värderas ju också att medborgarna har tydliga rättigheter som staten inte kan inkräkta på. Och, som Kevin Kelly skriver i boken The Inevitable, vi måste välja om övervakningen ska vara baseras på kända, transparenta regler (a k a “lagar”) och även innefatta de som styr övervakningssystem:
Our central choice now is whether this surveillance is a secret, one-way panopticon - or a mutual, transparent kind of 'coveillance' that involves watching the watchers.
I takt med att teknikens möjligheter att registrera och samköra data om beteende ökar kommer vi som samhällsmedborgare också behöva debattera: vad är en rimlig balans mellan den smidighet och trygghet som kommer av att veta att ens medmänniskor tenderar att välja “rätt” beteende, och den frihet som gör att man själv har en realistisk möjlighet att välja “fel” beteende?
Jag låter det gamla 90-tals punkbandet Dia Psalma få sista ordet:
Moder Justitia ser ner på mig
är det så fruktansvärt, det brott jag begått
folk har säkert glömt bort mig nu
vad jag är skyldig till har jag ej förstått
[…]
Tro rätt, tro fel
Är det du eller jag som avgör det?
Tro rätt, tro fel
Är det du eller jag som avgör det?
Det här var allt för idag.
Om du har vänner som du tror skulle gilla nyhetsbrevet, vidarebefordra det till dem eller tipsa dem om att skriva upp sig här för framtida utskick (det är helt gratis!).
Nästa nyhetsbrev kommer enligt plan söndag om två veckor. Ha det så bra tills dess, och God Jul och Gott Nytt År!
—Jacob