Čína všechno vidí

Když navštívíte Čínu kvůli čemukoli citlivému, riskujete soustředěnou palbu kybernetických útoků a malwaru. Belgičtí představitelé na obchodní misi si v roce 2019 všimli, že se data z jejich mobilních telefonů načítají s pomocí výsuvné antény před hotelem. Když jsem prošel bezpečnostní kontrolou, řekli mi, abych počkal v hale monitorované kamerami. Na stěnách visely plakáty nejvýznamnějších čínských poválečných vůdců. Mao Ce-tung ve svém typickém saku se čtyřmi kapsami dominoval. Vypadal klidně, jako by byl spokojený s tím, že dokázal Čínu vymanit z područí Západu. Vedle něj visel neostrý černobílý snímek Teng Siao-pchinga při návštěvě ústavu v posledních letech svého života, poté co jeho ekonomické reformy nasměrovaly Čínu zpět k jejímu tradičnímu postavení světové mocnosti. Nejvýraznější byl ale obraz zachycující Si Ťin-pchinga v dokonalém černém obleku. Současný čínský prezident a předseda čínské komunistické strany projevuje o ústav nadšený zájem. Zdejší činnost je součástí velké strategie umělé inteligence, jak ji Si předložil v sérii projevů podobných tomu, s jehož pomocí otočil John F. Kennedy zraky vědecko-technologické Ameriky k Měsíci. Si prohlásil, že si přeje, aby byla Čína v nejbližší době schopná konkurovat v oblasti AI světovým lídrům, což se podle všeho již povedlo. Žádal také, aby země do roku 2030 dosáhla v oboru dominantního postavení. Prezidentovy výroky mají temnou stránku. AI nachází uplatnění v téměř každé sféře lidské činnosti, od okamžitého překladu mluveného jazyka po včasnou detekci ohnisek epidemií. Si chce ale využít dechberoucích analytických možností AI také k tomu, aby posunul Čínu na špici světové špionáže. Hodlá vybudovat vševidoucí digitální systém sociální kontroly, který dokáže s pomocí prediktivních algoritmů identifikovat potenciální odpůrce v reálném čase. Čínská vláda dokázala v minulosti využít významné historické události k zavedení nových prostředků špionáže. Během příprav na letní olympiádu 2008 v Pekingu zvýšily čínské bezpečnostní služby dohled nad místním internetem. V průběhu koronavirové epidemie se vláda ve velkém spolehla na soukromé společnosti, jež vlastní citlivá osobní data. Za zavřenými dveřmi se sjednávaly provizorní dohody, ty se ale mohou proměnit v trvalé vztahy. V Číně jsou již nyní nainstalovány stovky milionů špionážních kamer a vláda doufá, že jejich zorné pole brzy kompletně pokryje všechny klíčové veřejné prostory. Velkou část záběrů analyzují algoritmy s cílem odhalit všemožné bezpečnostní hrozby. V blízké budoucnosti bude na veřejných místech možné identifikovat kohokoli na základě umělé inteligence zpracovávající oceány osobních údajů včetně veškeré textové komunikace a individuální tělesné konfigurace proteinů jednotlivých osob. Časem budou algoritmy schopné propojit data z celé řady různých zdrojů, od cestovních záznamů přes údaje o přátelích a známých po informace o četbě či nákupech, a budou schopné předvídat politický odpor dříve, než k němu vůbec dojde. Čínská vláda tak brzy dosáhne bezprecedentní politické nadvlády nad více než jednou miliardou lidí. Na počátku koronavirové epidemie rozdělila Čína své občany podle toho, jaký stupeň rizika představují. Algoritmus jim připsal barevné označení jako na semaforu, tedy zelené, oranžové a červené, jež zároveň určovalo jejich možnosti cestovat nebo vstupovat do budov v čínských megaměstech. Stejné barevné kódy je možné v sofistikovaném digitálním systému sociální kontroly použít k hodnocení domnělé politické bezúhonnosti každé osoby. Zárodečná verze takového systému dohledu založeného na umělé inteligenci již funguje v čínské severovýchodní provincii Sin-ťiang, kde je uvězněno více než jeden milion muslimských Ujgurů. Jedná se o největší represivní opatření proti nábožensko-etnické menšině od pádu třetí říše. V okamžiku, kdy Si dovede svůj systém k dokonalosti v Sin-ťiangu, nebude mu nic bránit v jeho zavedení na celém území Číny. Zároveň ho bude moci vyvážet za hranice Číny a může tak ukotvit moc dnešních autokratů na celé generace. Čína v uplynulých letech zahájila v zahraničí množství velkých infrastrukturních projektů. Vedle silně propagované Iniciativy pásu a cesty, známé pod termínem Nová hedvábná stezka, buduje megaměsta nebo vysokorychlostní železniční tratě. Nic z toho se však nezapíše do dějin podobně jako čínská digitální infrastruktura, jež může celosvětově změnit poměr sil mezi jednotlivcem a státem. Obavy z takové možnosti mají američtí experti napříč politickým spektrem. Michael Kratsios, dřívější spolupracovník Petera Thiela, jehož si Donald Trump vybral za hlavního technologického poradce, mi řekl, že technologická převaha demokratických zemí „nebyla nikdy důležitější“, a že „pokud si chceme být jisti tím, že technologie budoucnosti budou odrážet západní hodnoty, musíme se v těchto oblastech udržet na špici vývoje“. Analytici stále předpokládají, že si Amerika přes podstatné pokroky Číny udrží v oblasti AI převahu aspoň následujících deset let. To je ale slabá útěcha, Čína již nyní vyvíjí výkonné špionážní nástroje a exportuje je do desítek současných i aspirujících autokracií po celém světě. Během několika následujících let bude možné technologie doladit a propojit do rozsáhlých sledovacích systémů, které diktátoři prostě koupí a zapnou. Vznik bloku autoritářských režimů založených na umělé inteligenci a vedených Čínou pak může změnit geopolitické poměry tohoto století. Miliardy lidí na obrovských rozlohách planety mohou ztratit jakoukoli příležitost k dosažení politické svobody. A ať američtí experti říkají cokoli, zabránit tomu mohou jen samotní Číňané. Do Pekingu jsem se vydal pátrat po náznacích toho, zda by skutečně mohli. /n:Pozor na bystrý zrak:n/ Dnešní technologicko-politický zlom nazrával dlouho. S výjimkou pouhých několika staletí stála Čína na špici informačních technologií celých pět tisíc let své historie. Spolu se sumerskou a středoamerickou civilizací byla jedním ze tří míst, v nichž nezávisle na sobě vzniklo písmo, což umožnilo uchovat informace vně lidské mysli. Ve 2. století našeho letopočtu Číňané vynalezli papír. S pomocí této levné a skladné technologie (a také koní, které vycvičili nomádi za Čínskou zdí k rychlé jízdě) mohly obchodní záznamy, vojenská komuniké nebo korespondence mezi příslušníky elity křižovat napříč celou říší. O několik století později začala data kolovat ještě rychleji, to když umělci dynastie Tchang vynalezli knihtisk, technologii masové komunikace, jež pomohla se správou obrovského a stále rostoucího státu. Čínští císaři vládli jedněm z nejsložitějších sociálních struktur na světě a dobře chápali vztah mezi mocí a toky informací, včetně významu špionáže. Císař dynastie Sung v 11. století zjistil, že elegantních, hradbami obehnaných měst je již příliš mnoho na to, aby je bylo možné monitorovat z Pekingu, a pověřil proto dohledem přímo místní obyvatelstvo. Tradice dozoru nad sebou samými pak využil jen několik desetiletí před nástupem digitální éry Čankajšek. Když požádal obyvatele, aby byli na pozoru před politickými odpůrci ve vlastních řadách a aby tak komunistické povstání mohlo být potlačeno v samém zárodku. Když převzal moc Mao, rozčlenil města do síťové struktury, v níž bylo každé čtvercové pole samostatnou jednotkou, kde místní zpravodajci „bystrým zrakem“ pátrali po kontrarevolučních projevech, jakkoli triviálních. Po vypuknutí nedávné epidemie koronaviru propagovala čínská sociální média horké linky, na nichž mohli lidé nahlásit kohokoli, kdo je podezřelý ze zatajování symptomů onemocnění. Si využil obrat „bystrý zrak“ se všemi jeho historickými konotacemi k pojmenování systému kamer využívajících umělé inteligence, jenž brzy obsáhne celou Čínu. S využitím AI může Si vybudovat nejtvrdší autoritářský systém v dějinách, aniž by k soustředění informací o politickém odporu do jednoho centralizovaného bodu potřeboval podobné množství lidských zdrojů jako jeho předchůdce Mao. Si naproti tomu našel ochotné obchodní partnery v čínských startupech, jako je SenseTime, CloudWalk, Megvii, Hikvision, iFlytek, Meiya nebo Pico. A v muslimské menšině provincie Sin-ťiang našel svůj testovací vzorek. Čínská komunistická strana byla vždy podezíravá k náboženství, a nikoli pouze pod vlivem marxismu. Je to teprve sto padesát let od chvíle, kdy Chung Siou-čchüan, údajně křesťanský mystik přesvědčený ke konverzi západními misionáři, vyvolal povstání tchaj-pchingů, apokalyptickou, čtrnáct let trvající rebelii, během níž pravděpodobně zemřelo více lidí než během první světové války. Z pohledu pět tisíc let trvající civilizace je to vlastně včera. A v dnešním čínském politickém systému jedné strany je náboženství alternativním zdrojem mocenské autority, což znamená, že je nutné je buď vstřebat, nebo zničit. Ujgurové zahájili okolo roku 2009 kvůli diskriminaci a konfiskacím půdy sérii masových protestů a sebevražedných útoků proti čínské policii. Si v roce 2014 tvrdě zasáhl a nařídil správě provincie, aby zničila mešity a srovnala muslimské čtvrti se zemí. Více než milion Ujgurů zmizelo v koncentračních táborech. Mnozí byli mučeni a museli vykonávat otrockou práci. Ti, kteří táborům unikli, jsou nyní podrobeni nejintenzivnějšímu dohledu, jaký tato planeta poznala. Dozor nemá vždy digitální formu, čínská vláda také nastěhovala tisíce „bratrů a sester“ etnické skupiny Han do domů ve starobylých městech podél Hedvábné stezky, aby monitorovali, jak se Ujgurové násilně včleňují do běžné čínské kultury. Noví příchozí s rodinami jedí a někteří „velcí bratři“ spí ve stejných postelích jako manželky zadržovaných ujgurských mužů. Vedle toho ale všude číhají AI senzory, dokonce i v ujgurských peněženkách nebo kapsách jejich kalhot. Když Siova kampaň kulturního vyhlazení nabrala plné obrátky, zakopávali podle antropologa Darrena Bylera někteří Ujgurové telefony obsahující materiály s islámskou tematikou, dokonce kvůli uchování zamrazovali datové karty do noků. Policie je však nakonec donutila na nové telefony nainstalovat speciální aplikace, jež dnem i nocí využívají algoritmy k pátrání po „ideologických virech“. Odhalí uložené verše z Koránu, najdou arabské písmo v memech a dalších obrázkových souborech. Ujgurové nemohou využít tradiční úhybné manévry. Instalace vlastních virtuálních privátních sítí by nejspíš znamenala vyšetřování, takže si nemohou stáhnout WhatsApp ani žádný další šifrovaný software k chatování. Koupit si na síti modlitební kobereček, uložit si digitální verzi muslimské knihy nebo si stáhnout kázání oblíbeného imáma, to všechno představuje rizikovou činnost. Pokud by Ujgur využil platební systém WeChat k obdarování mešity, úřady by to jistě nepřehlédly. Aplikace spolupracují s policií, která prověřuje telefony na kontrolních stanovištích a prochází poslední hovory a textové zprávy. K zatčení může vést i nevinné digitální propojení, třeba sdílení textu s někým, kdo donedávna navštěvoval mešitu. Řešením ale není ani úplné ignorování sociálních médií, protože digitální nečinnost je sama o sobě podezřelá. Policie musí zaznamenávat vše, co představuje odklon Ujgurů od jejich běžných vzorců chování. Do databází je potřeba zaznamenat, zda Ujgurové začali používat zadní vchod do domu místo předního. Zda tráví méně času než dříve hovorem se sousedy. Elektřinu monitoruje algoritmus obvyklé spotřeby, jenž může odhalit neregistrovaného rezidenta. Ujgurové se nedostanou dál než několik bloků a už narazí na kontrolní stanoviště vybavené jednou ze stovek tisíc špionážních kamer nainstalovaných po celé provincii. Záznamy zpracovávají algoritmy porovnávající zachycené tváře se snímky pořízenými během „zdravotních prohlídek“. Během nich policie zaznamenává všechna tělesná data Ujgurů, jaká zaznamenat lze. Měří tlak a odebírá vzorky krve. Nahrává si hlas a provádí výtěry kvůli vzorkům DNA. Někteří Ujgurové se museli nuceně zapojit do experimentů, jež se snaží odhalit, jakým způsobem se DNA podílí na vzniku typicky ujgurského tvaru brady a uší. Policie pandemie s velkou pravděpodobností využije jako záminky ke shromažďování ještě většího množství údajů. Ujgurské ženy musí také podstupovat těhotenské testy. Některé jsou nuceny k potratům, jiným je nuceně zavedena nitroděložní antikoncepce nebo jsou sterilizovány. Jsou známy případy, kdy policie oddělila nezaregistrované děti od rodičů, které pak uvěznila. Tato opatření snížila v některých částech provincie porodnost během tří let o šedesát procent. Když Ujgurové dojdou na hranici své čtvrti, zaznamená to automatický systém. Stejný systém je sleduje, když dále procházejí menšími kontrolními stanovišti v bankách, parcích či ve školách. Když tankují benzin, systém zkontroluje, zda jsou majiteli vozu. Na okraji města musí z auta vystoupit, aby mohla policie znovu naskenovat jejich tvář i dokumenty. Těm ze šťastnějších Ujgurů, kterým nebyl zabaven pas a mohou cestovat do zahraničí, je doporučeno, aby se brzy vrátili domů. Když se tak nestane, vyráží policejní vyšetřovatelé do bytů jejich příbuzných a přátel. Neplatí přitom, že by odjezd za hranice znamenal úlevu: Siovi spojenci, dokonce i z muslimských zemí, jako je Egypt, velmi ochotně Ujgury zatýkají a deportují je zpět do otevřené věznice, v niž se proměnila provincie Sin-ťiang. /n:Experiment s totálním dohledem:n/ Mnohé nasvědčuje tomu, že prezident Si používá Sin-ťiang jako laboratoř k doladění senzorů a analytických nástrojů své nové digitální věznice dříve, než ji zavede na celém území Číny. CETC, státní společnost, která většinu špionážního systému v provincii vybudovala, se nyní chlubí pilotními projekty v Če-ťiangu, Kuang-tungu a Šen-čenu. Jejich smyslem je podle samotné společnosti „položit solidní základy národního systému“ a každý je pouze jedním dílkem do sebe zapadající špionážní megastavebnice. Čína je zároveň pro experiment s totálním dohledem jako stvořená. Její populace využívá v extrémní míře internet. V zemi funguje miliarda mobilních telefonů plných sofistikovaných senzorů. Ty všechny zaznamenávají dotazy ve vyhledávačích, navštívené webové stránky a všudypřítomné platby mobilním telefonem. Když jsem k zaplacení kávy v pekingské módní čtvrti Sanlitun použil čipovou platební kartu, lidé na mě zírali, jako bych chtěl v Americe platit šekem. Všechna vstupní data je možné označit časem a místem. A protože nové předpisy vyžadují, aby telekomunikační firmy naskenovaly fotografii obličeje každého zákazníka, je dnes možné k datům z telefonů přiřadit konkrétní lidský obličej. Společnost SenseTime, jež se také podílela na dohlížecím systému v Sin-ťiangu, se nedávno chlubila, že její software dokáže rozpoznat i lidi, kteří nosí roušky. Jiná společnost, Hanwang, tvrdí, že její technologie rozeznávání tváří funguje v případě roušek z devadesáti pěti procent. Sběr osobních dat se ale týká i občanů, kteří mobilní telefon nevlastní. Na venkově se obyvatelé vesnic staví do front, aby si nechali z různých úhlů naskenovat obličej výměnou za kuchyňské nádobí. Donedávna bylo jenom obtížně představitelné, jak by mohla Čína integrovat všechna nashromážděná data do jediného systému, to už ale neplatí. V roce 2018 se jeden z aktivistů za bezpečnost kyberprostoru naboural do systému rozpoznávání tváří, který byl podle všeho propojený s vládou a prováděl syntézu překvapivého množství datových souborů. Systém uměl rozpoznat Ujgury podle jejich etnických rysů, dokázal rozlišit, zda mají lidé otevřené či zavřené oči a ústa, jestli se usmívají, zda mají vousy nebo jestli nosí sluneční brýle. Zaznamenával datum, hodinu a sériové číslo telefonů (přiřaditelné jednotlivým uživatelům), které se ocitly v dosahu wi-fi routerů. Byl provozován společností Alibaba a odkazoval k platformě City Brain, která využívá umělou inteligenci a společnost ji buduje na žádost vlády. City Brain, tedy „mozek města“, je svého druhu automatickým nervovým systémem schopným syntetizovat datové soubory z mnoha senzorů rozmístěných v městském prostředí. Mnohé z navrhovaných způsobů využití představují nevinné technokratické funkce. Jeho algoritmy mohou například monitorovat počet aut a lidí a pomáhat tak řídit semafory a plánovat provoz linek metra. Data z odpadkových košů mohou pomoci načasovat svoz odpadků. City Brain a podobné budoucí technologie však také umožní nové formy integrované špionáže. Některé z nich si jistě získají oblibu u široké veřejnosti, City Brain se například může naučit pátrat po ztracených dětech nebo po zavazadlech odložených turisty či teroristy. Může označit bezdomovce nebo výtržníky. Pomoci se dovolá každý, kdo učiní specifické gesto v dohledu všudypřítomných kamer. Policisty se sluchátky v uších pak na příslušné místo nasměruje hlas ovládaný umělou inteligencí. City Brain může být obzvláště užitečný v průběhu pandemie. (Jedna ze sesterských společností firmy Alibaba vytvořila aplikaci, jež u každého občana barevně označovala riziko, které představuje, a zároveň jejich zdravotní a cestovní údaje v tichosti předávala policii.) Když se epidemie šířila Pekingem, začaly některé restaurace a nákupní střediska skenovat telefony potenciálních zákazníků a kombinovat je s daty od operátorů, aby zjistily, zda dotyční poslední dobou cestovali. Mobilní operátoři také rozeslali radnicím seznamy osob, jež do jejich měst přicestovaly z Wu-chanu, kde byl koronavirus zaznamenán poprvé. A čínské AI společnosti začaly pro policii konstruovat speciální zasíťované helmy se zabudovanými infračervenými detektory tělesné teploty a se schopností rozpoznávat obličeje, jež byly schopné odesílat data úřadům. City Brain by takové procesy mohl zautomatizovat nebo integrovat jejich datové soubory. I nejsložitější čínské systémy umělé inteligence jsou však ještě neohrabané. City Brain zatím nedokáže plně integrovat všechna vstupní data a jeho předchůdci se dopouštěli legračních chyb: v roce 2018 si například jedna z vládních kamer využívajících umělou inteligenci spletla tvář na reklamě umístěné na autobusu s neopatrným chodcem. Software se nicméně lepší a neexistuje technická překážka, která by bránila jeho rozšíření v masovém měřítku. Datové soubory, jež je možné nahrát do systému City Brain, nemají v podstatě žádné omezení. Kromě záznamů z 1,9 milionu kamer určených k rozeznávání tváří, které instaluje čínská firma China Tower ve spolupráci se SenseTime, může City Brain zpracovávat data z kamer umístěných na pouličních lampách nebo zavěšených na nárožích. Může využívat kamery, jež čínská policie ukrývá v dopravních kuželích nebo které nosí na vlastních tělech, ať už pracuje v uniformě nebo v civilu. Stát může donutit obchodníky předávat data z kamer umístěných v obchodech. Ty již dnes dokážou rozpoznat směr vašeho pohledu a brzy budou umět díky analýze stínů vidět za roh. Bez dohledu zůstane jen velmi malá část veřejného prostoru. Také americká policie začíná využívat záznamy z bezpečnostních kamer firmy Amazon. Ty někdy nevinně zdobí kliky vstupních dveří, často ale míří i na sousední domy. Čínská vláda může shromažďovat záznamy z podobných čínských výrobků. Může se napojit na kamery ve sdílených autech nebo v samořiditelných automobilech, jež je možná brzy vystřídají. Automatizovaná auta budou využívat celé trsy nových senzorů včetně takových, které nabízí mnohem detailnější informace než dvourozměrný videozáznam. Data z velkých flotil takových aut by bylo možné propojit a ve spolupráci s dalšími soubory systému City Brain tak vytvořit trojrozměrný model města aktualizovaný po sekundách. Každá aktualizace by mohla zaznamenat polohu všech lidí ve městě. Systém by upřednostňoval nerozpoznané obličeje a mohl by třeba za účelem jejich identifikace vysílat roje dronů. Vizuální data v modelu by bylo možné synchronizovat s audiozáznamem ze zasíťovaných přístrojů vybavených mikrofony, jako jsou inteligentní reproduktory, hodinky či méně nápadná zařízení zapojená do „internetu věcí“ včetně inteligentních matrací, plen nebo sexuálních pomůcek. Všechny zdroje by se mohly kombinovat v jednom mnohovrstevnatém zvukovém záznamu specifickém pro jednotlivá místa a mohly by být analyzovány s pomocí polyglotních algoritmů schopných tlumočit mluvenou řeč z tisíců jazyků. Takový záznam by se velmi hodil tajným službám, zvláště na místech, kde se kamery nenacházejí. Čínská společnost iFlytek právě piluje technologii, jež dokáže rozpoznat jednotlivce podle jejich „hlasové stopy“. V nadcházejících dekádách by City Brain nebo jeho nástupci mohli být dokonce schopni číst myšlenky. Již dnes lze řídit drony s pomocí přileb vnímajících a přenášejících signály neuronů v mozku a vědci pracují na propojení mozku s počítačem tak, aby bylo možné psát přímo, bez klávesnice. Autoritářský stát s dostatkem počítačového výkonu by mohl donutit výrobce takového softwaru, aby předával každý záchvěv aktivity neuronů do vládních databází. Čína nedávno naléhala na občany, aby si stáhli jistou propagandistickou aplikaci. Ke sledování reakcí na její politický obsah by bylo možné využít software monitorující emoce. Tichá, potlačená reakce na projev prezidenta Siho by pak byla smysluplným signálem pro prediktivní algoritmus. Všechny uvedené časově synchronizované soubory mohou být doplněny o záběry pořízené z dronů, jejichž kamery s rozlišením v řádu gigapixelů jsou schopny zobrazit celá města v krystalicky čistém detailu umožňujícím například čtení poznávacích značek či rozpoznávání osob podle typu chůze. Podobné drony se už vznášejí a krouží nad čínskými městy a jsou maskovány jako holubi. Data ze systému City Brain by bylo možné propojit s daty z jiných městských aglomerací a vytvořit tak mnohorozměrný záznam veškeré lidské aktivity v Číně v reálném čase. Důležité je zdůraznit, že tak rozsáhlé systémy jsou teprve ve vývoji. Čína ještě nedokáže propojit většinu osobních dat, dokonce ani v rámci jednotlivých firem. Čínská vláda také nedisponuje jedním centrálním úložištěm, částečně kvůli boji jednotlivých ministerstev o moc. Zároveň ale neexistují zásadní politické překážky, jež by integraci dat bránily, zvláště ve vztahu k bezpečnostním složkám. Naopak, soukromé společnosti jsou oficiálně povinny vycházet čínským výzvědným službám vstříc. Vláda tak může brzy disponovat bohatým automaticky doplňovaným profilem každého ze své více než miliardy obyvatel. Každý takový profil by obsahoval miliony datových vstupů, včetně záznamu o každé přítomnosti konkrétního jednotlivce ve sledovaném prostoru, jeho komunikaci nebo provedených platbách. Stupeň hrozby, jež dotyčný představuje pro režim, by bylo možné neustále aktualizovat v mnohem jemnější škále, než jakou používají pilotní systémy „sociálních kreditů“, jejichž cílem je již nyní přiřadit každému občanovi hodnotu jeho společenské reputace založenou například na jeho aktivitě na sociálních sítích či nákupních zvyklostech. Algoritmy by mohly monitorovat příslušné skóre nepřetržitě, bez únavy, jež přepadala důstojníky Stasi na noční směně. Omyl, kdy by bylo za hrozbu považováno i nezávadné chování, by nikdo neřešil, aby se tak zvýšil zastrašovací účinek systému a aby občané raději bdělým okem sledovali své vlastní chování a vyhnuli se nejmenším náznakům odporu. Když by se hodnocení občana zhoršovalo, ať už kvůli jeho podezřelým přesunům, sociálním vazbám, nedostatečné pozornosti věnované propagandistickým aplikacím nebo ze souvislostí pochopitelných pouze umělé inteligenci, plně automatický systém by mohl omezit možnosti jeho pohybu. Mohl by mu zabránit v nákupu jízdenek či letenek. Mohl by mu zamezit procházet kontrolními stanovišti. Mohl by na dálku aktivovat „inteligentní zámky“ ve veřejných i soukromých lokalitách, jež by mu zabránily v odchodu, než dorazí policie. /n:Nesnáším tenhle software:n/ Obavy ze zneužití umělé inteligence projevilo v uplynulých letech několik představitelů čínské intelektuální elity, nejvýznamněji počítačový vědec I Ceng a filozof Čao Tching-jang. I Ceng publikoval na jaře 2019 „Pekingské principy umělé inteligence“, manifest o možnostech AI rozleptat celou řadu lidských hodnot včetně autonomie, důstojnosti nebo soukromí. Právě za ním jsem přijel na návštěvu do pekingského Ústavu pro automatizaci, kde kromě práce na etice umělé inteligence zastává funkci zástupce ředitele Výzkumného centra inteligence založené na fungování mozku. I Ceng si mě vyzvedl ve vstupní hale. Vypadal mladší než na svých sedmatřicet, měl laskavé oči a jeho podsaditou postavu zeštíhlovaly černé tepláky a bunda s kapucí. Cestou do kanceláře jsme minuli jednu z jeho laboratoří, v níž se výzkumný asistent skláněl nad mikroskopem a sledoval záblesky elektrochemických signálů mezi neurony v mozkové tkáni myší. Posadili jsme se k dlouhému stolu v zasedačce vedle jeho kanceláře, a než asistentka přinesla čaj, hleděli jsme na šedé panoráma města zahaleného mlhou. Zeptal jsem se, s jakým ohlasem se setkaly jeho Pekingské principy. „Lidé tvrdí, že je to jenom taková vládní habaďůra,“ odpověděl. „Ve skutečnosti je to ale moje celoživotní dílo.“ I Ceng mluvil o možném zneužití AI úplně otevřeně. Zmínil projekt testovaný ve vybrané skupině škol, kde byla technologie rozpoznávání obličejů využita nejen ke sledování docházky, ale kontrolovala také, zda studenti dávají v hodinách pozor. „Nesnáším tenhle software,“ pronesl I Ceng. „Musím to slovo použít: nesnáším ho.“ Ve stejném duchu ještě chvíli pokračoval a vyjmenoval několik neetických způsobů využití AI. „Vedu kurz filozofie AI,“ dodal. „Říkám studentům, že doufám, že se nikdo z nich nebude podílet na vývoji vraždících robotů. Že mají na světě vyhrazen jenom krátký okamžik. A že existují jiné způsoby, jak naložit se svou budoucností.“ I Ceng se v literatuře o etice technologií zjevně vyznal. Když však došla řeč na politické dopady jeho práce, začaly být odpovědi méně přesvědčivé. „Mnohé z nás, techniků, zvou na přednášky o možných hrozbách umělé inteligence pořádané pro členy vlády, dokonce i pro Si Ťin-pchinga,“ řekl. „Ale vláda se teprve učí, stejně jako vlády na celém světě.“ „Existuje něco víc než poradenská činnost?“ ptal jsem se. „Řekněme, že nastane chvíle, kdy je vláda v konfliktu s vašimi principy. Jaký mechanismus můžete použít, abyste ji přesvědčil?“ „Já osobně se tohle teprve učím,“ odpověděl I Ceng. Čínské AI startupy podobné obavy netrápí. Několik z nich pomáhá prezidentovi vyvíjet umělou inteligenci s otevřeně špionážním cílem. Kombinace vlády jedné strany s ideologickými pozůstatky centrálního plánování dává stranické elitě moc v každé oblasti a v ekonomice zvlášť. Dříve ale bylo propojení vlády s technologickým odvětvím spíše diskrétní. Poslední dobou nicméně začala čínská vláda vysílat do technologických firem své zástupce, aby posílili už existující komunistické buňky uvnitř velkých soukromých společností. Pro čínské startupy je obchod s bezpečnostními složkami nejrychlejší cestou k zisku. Státní telekomunikační společnost je největším akcionářem iFlyteku, gigantu zaměřeného na rozpoznávání hlasu. Synergií je tu více než dost: když policie využije software iFlyteku k monitorování telefonátů, státní média vše vylíčí v příznivém světle. Na počátku letošního roku aplikace Toutiao, vytvářející personalizovaný výběr zpráv, dokonce přepsala své hlavní motto tak, aby vyjadřovalo nový cíl: sladit názor veřejnosti s přáním vlády. Sü Li, výkonný ředitel společnosti SenseTime, nedávno popsal vládu jako „hlavní zdroj datových souborů“. Vzhledem k politické struktuře země není jasné, zda je v Číně možné zajistit ochranu jakýchkoli soukromých informací. Vyhnout se informačním monopolům je v důsledku digitální revoluce velmi obtížné. Dokonce ani v Americe, kde existuje sofistikovaná tradice vymáhání antimonopolních opatření, zatím veřejnost neprojevuje velkou ochotu vyrvat informace z rukou několika mocných. Soukromé datové monopoly jsou však aspoň podřízeny suverénní moci zemí, v nichž působí. Pokud je ale monopolem samotný stát, mohou tomu bránit pouze jeho obyvatelé a jen pokud disponují dostatečnou politickou mocí. Obyvatelé Číny se nemohou zbavit prezidenta Siho ve volbách. A protože neexistuje nezávislé soudnictví, vláda může tvrdit, že má právo vlastnit jakýkoli datový soubor, pokud je mezi jeho vstupními daty rozpoznatelná hrozba „stabilitě“. Nebo může po firmách žádat data potají, jak tomu bylo na začátku koronavirové epidemie. Neexistují žádná nezávislá média, jimž by bylo možné takové vládní požadavky prozradit. /n:Export:n/ Probírali jsme s I Cengem scénář, který začal děsit etiky umělé inteligence a experty na Čínu po celém světě. Podle něj většina vědců pracujících s umělou inteligencí pochopí rizika, jež technologie pro lidstvo představuje, a spojí její využití s přísnou regulací. Všichni s výjimkou jedné země, která o etice AI sice hovoří, ale nemyslí to vážně. Stejná země mezitím buduje národní špionážní systémy na klíč a prodává je do států, v nichž je demokracie křehká či neexistuje. Autokraté většinou padnou převratem nebo v důsledku masových protestů, jež ale vždy vyžadují aspoň základní politickou organizaci. Jenže široká politická organizace už v zemích s rozsáhlým automatizovaným sledovacím systémem nemusí být možná. I Ceng dal najevo, že ho taková možnost zneklidňuje, nejmenoval ovšem konkrétně Čínu. Nemusel, země je v tuto chvíli největším prodejcem sledovacích systémů s umělou inteligencí. V Malajsii tamní vláda spolupracuje s Yitu, čínským AI startupem, na dodávkách technologií určených k rozpoznání obličeje. Určeny jsou pro policii v Kuala Lumpuru, kde by fungovaly jako doplněk systému City Brain společnosti Alibaba. V Singapuru čínské společnosti nabízejí osazení všech sto deseti tisíc stožárů pouličního osvětlení kamerami se stejným účelem. V jižní Asii dodává čínská vláda špionážní vybavení na Srí Lanku. Na Hedvábné stezce zase čínská společnost Dahua montuje AI kamery podél silnic v mongolském hlavním městě. Dále na západ, v Srbsku, pomáhá Huawei vybudovat „systém pro bezpečné město“, jehož součástí jsou i kamery schopné rozpoznávat obličej a společné hlídky srbských a čínských policistů s cílem zajistit, aby se čínští turisté cítili bezpečně. Na počátku tohoto století prodala obří čínská telekomunikační firma ZTE Etiopii bezdrátovou mobilní síť se zabudovanými „zadními vrátky“ přístupnými vládě. Během nedávného zátahu byli tamní disidenti pozatýkáni k brutálním výslechům, během nichž jim byly přehrávány záznamy jejich nedávných telefonátů. Čínské špionážní systémy dnes ve svých významných městech instaluje Keňa, Uganda a Mauricius. V Egyptě se čínští developeři uchází o možnost financovat výstavbu nového hlavního města. Očekává se, že aglomerace bude fungovat na principu „chytrého města“ podobného systému City Brain, i když dodavatel nebyl dosud zveřejněn. Zambie na jihu Afriky oznámila, že hodlá utratit miliardu dolarů za nákup telekomunikačního vybavení z Číny, včetně technologií k monitorování internetu. Čínská firma Hikvision, největší světový výrobce kamer využívajících umělou inteligenci, má svou pobočku v Johannesburgu. Čína využívá „predátorských půjček k tomu, aby prodala do rozvojových zemí telekomunikační vybavení s významnou slevou, což posléze staví Čínu do pozice správce těchto sítí a jejich dat“, vysvětlil mi Michael Kratsios, hlavní americký vládní zmocněnec pro technologie. Když státy potřebují změnit podmínky svých půjček, může Čína učinit přístup k tamním sítím součástí dohody podobně, jako její armáda získává vojenské základny přímo v přístavech, které Čína financuje. „Pokud dáte (Číně) neomezený přístup k datovým sítím po celém světě, vzniká vážný problém,“ řekl mi Kratsios. CloudWalk Technology, čínský startup vzniklý odštěpením od Čínské akademie věd, podepsal v roce 2018 dohodu s vládou Zimbabwe k vybudování špionážního systému. Její podmínky zavazují Harare odesílat fotografie svých obyvatel do kanceláří CloudWalku v Číně. Firma tak bude moci vyladit schopnost svého softwaru rozpoznávat tmavé obličeje, s čímž měly v minulosti její algoritmy problém. Čínské AI společnosti již vybudovaly předmostí v Asii, Evropě a Africe a nyní se pokouší proniknout do Latinské Ameriky, kterou čínská vláda označuje jako oblast „klíčového ekonomického zájmu“. V Ekvádoru Čína financuje vládní nákup kamerového systému v hodnotě dvě stě čtyřicet milionů dolarů. Také Bolívie využila čínskou půjčku k nákupu špionážní techniky. Venezuela nedávno představila nový systém identifikačních karet, jenž zaznamenává politickou příslušnost občanů v databázi vybudované společností ZTE. Je pouze temnou ironií, že čínské společnosti mnohé z těchto produktů léta nabízely na bezpečnostním veletrhu pořádaném v provincii Sin-ťiang, domově Ujgurů. /n:Čína stále pokulhává za Amerikou:n/ Pokud bude Čína schopná předběhnout v technologiích umělé inteligence Ameriku, stane se mocnější geopolitickou silou, obzvláště jako vůdce nové aliance autoritářských režimů. Čína již dnes pumpuje do svých systémů umělé inteligence jedny z největších datových souborů na světě, což pro její vědce představuje zásadní výhodu. U dlouhých stolů v obrovských kancelářích po celé zemi sedí špatně placení zaměstnanci a donekonečna přepisují audiozáznamy nebo zvýrazňují objekty na fotografiích, aby se data, jež produkuje čínská populace, dala lépe využít. Aby ale Čína dokázala trumfnout americké systémy umělé inteligence, bude muset nashromážděné informace prosít s pomocí algoritmů rozpoznávajících vzorce, jež se vymykají běžným lidským rozpoznávacím schopnostem. A dokonce i vedoucí pracovníci v čínském gigantickém prohlížeči Baidu přiznávají, že výkvět mozků v oboru umělé inteligence sídlí na Západě. Čína má tradičně problém udržet si nejlepší kvantitativní analytiky, z nichž většina odchází studovat na bezkonkurenční katedry počítačové vědy ve Spojených státech a poté si hledá práci v zajímavějších a lépe vybavených společnostech v Silicon Valley. To se však může změnit. Trumpova administrativa zpřísnila podmínky vstupu pro čínské studenty a na ty, kteří přijít mohou, se hledí s podezřením. Jeden z předních vědců v oboru strojového učení firmy Google nedávno popsal omezení víz jako „jedno z nejslabších míst naší kolektivní schopnosti provádět výzkum“. Čínské katedry se mezitím do oblasti umělé inteligence vrhly naplno. Tři z deseti nejlepších světových AI univerzit podle množství publikovaného výzkumu se nyní nachází v Číně. A to ještě Čína nedokončila výstavbu padesáti nových výzkumných center umělé inteligence, po nichž volá prezidentův „Inovační akční plán umělé inteligence pro instituce vyššího vzdělávání“. V roce 2017 si čínské společnosti zajistily třicet šest procent globálních soukromých investic do umělé inteligence, ve srovnání s třemi procenty v roce 2015. Talentovaní čínští inženýři dnes mohou chodit do školy doma a poté pracovat v globálně přitažlivých domácích firmách, jako je TikTok. Čína bude v oblasti výpočetního hardwaru za Amerikou v nejbližší době stále pokulhávat. Tak jako jsou data k užitku, teprve když jsou zpracována algoritmy, musí být algoritmy reprezentovány ve fyzické rovině, konkrétně v architektuře mikročipů. Tyto jemné silikonové struktury jsou tak komplikované, že jen několik chybějících atomů může změnit dráhu elektrických impulzů procházejících přepínači podobnými neuronům uvnitř čipu. Nejsofistikovanější čipy jsou zřejmě vůbec nejsložitějšími předměty, jaké lidé kdy dokázali vyrobit. Rozhodně jsou příliš složité na to, aby je čínští virtuosové průmyslové špionáže dokázali rychle rozebrat a napodobit jejich výrobu. Čínské firmy zatím nedovedou postavit továrny na výrobu nejlepších čipů. Ty přijdou na miliardy dolarů a stojí na desetiletích nahromaděných zkušeností napříč oborem. Jsou chlazené dusíkem a izolované proti seizmickým otřesům tak, aby projíždějící náklaďák nemohl zničit mikročip ve zkumavce, a jedná se o podobný automatizovaný zázrak techniky jako jejich samotné produkty. Ty nejlepší se stále nachází ve Spojených státech, v západní Evropě, Japonsku, Jižní Koreji a na Tchaj-wanu. Americká vláda je pořád schopna omezit tok hardwaru do Číny a čínskou komunistickou vládu tato situace popuzuje. Když Trumpova administrativa v dubnu 2018 zakázala prodej mikročipů společnosti ZTE, tvrdil Frank Long, analytik specializovaný na čínský AI sektor, že je to pro Čínu budíček srovnatelný s americkou zkušeností s arabským ropným embargem. Revoluce umělé inteligence ale nabídla Číně příležitost k významnému skoku vpřed. Donedávna byla většina čipů navrhována s flexibilní architekturou, jež umožňovala jejich využití v celé řadě výpočetních operací. Umělá inteligence však funguje nejlépe na specializovaných čipech, podobných těm, jaké využívá Google ve svých cloudových operacích, jejichž výsledkem je, že dokáže okamžitě rozpoznat tvář vaší dcery mezi tisíci fotografií. (Apple provádí mnoho z těchto operací na iPhonech s využitím speciálních neuromorfických čipů.) A protože dnes tyto speciální čipy všichni vyrábí poprvé, Čína vlastně tolik nezaostává, Baidu a Alibaba ostatně vyvíjí čipy speciálně pro hluboké učení. V srpnu 2019 představila firma Huawei čip pro mobilní telefony využívající strojové učení. Navrhla ho firma Cambricon, pravděpodobně nejcennější startup v oblasti čipů na světě, založený kolegy I Cenga na Čínské akademii věd. Čína tak může mít do roku 2030 převahu v oblasti umělé inteligence na dosah. Země bude v té době pravděpodobně disponovat největší světovou ekonomikou a dostatečným množstvím peněz, jež bude schopná investovat do AI aplikací pro svou armádu. Může vlastnit nejsofistikovanější letky dronů. Může disponovat systémy autonomních zbraní, jež budou po krátkém průzkumu bitevního pole schopné předvídat chování nepřítele a budou činit taktická rozhodnutí mnohem rychleji, než to umožňují lidské poznávací procesy. Algoritmy k rozpoznání raket mohou vymazat výhodu amerického prvního jaderného úderu. Umělá inteligence může světovou mocenskou rovnováhu obrátit vzhůru nohama. /n:Digitální model mozku:n/ Na cestě z Ústavu pro automatizaci mě I Ceng vzal na prohlídku laboratoře robotiky. V místnosti s vysokým stropem si studenti hráli s obrovskou odpojenou kovovou paží a malým humanoidním robotem uvnitř šedého exoskeletonu. I Ceng mi mezitím vyprávěl o své práci na modelování mozku. Prohlásil, že porozumění mozkové struktuře je nejjistější cestou k pochopení povahy inteligence. Zeptal jsem se ho, jak se bude AI vyvíjet dál. Odpověděl, že si umí představit, jak software vybudovaný podle struktur mozku získá postupně řadu lidských schopností, jednu po druhé. Může dosáhnout určitého stupně sebepoznání a potom si pomalu může začít uvědomovat minulost a budoucnost. Může se u něj rozvinout motivace a systém hodnot. Poslední fáze jeho asistované evoluce by nastala v okamžiku, v němž by začal chápat jednající subjekty ve svém okolí jako entity hodné empatie. Dotázal jsem se, jak dlouho by takový proces mohl trvat. „Myslím, že by takový stroj mohl vzniknout do roku 2030,“ odpověděl. Než jsme se rozloučili, požádal jsem ho, aby si vývoj představil jinak. „Předpokládejme, že dokončíte svůj digitální model mozku,“ řekl jsem. „A předpokládejme, že model dosáhne nějaké základní formy vědomí. A předpokládejme, že jej časem budete schopen vylepšit, až předčí člověka ve všech kognitivních oblastech s výjimkou empatie. Budete jej držet pod zámkem v bezpečnostním režimu, dokud tohoto posledního stupně nedosáhnete. Pak se ale jednoho dne do vaší kanceláře vlámou lidé z vládních bezpečnostních složek. Budou vědět, že máte ve svém počítači právě takovou umělou inteligenci. Budou ji chtít využít jako software pro novou hardwarovou platformu, umělého humanoidního vojáka. Už jich budou mít vyrobenou miliardu a bude jim úplně jedno, jestli jsou nebo nejsou nadáni empatií. Budou žádat heslo. Dáte jim ho?“ „Zničím svůj počítač a odejdu,“ prohlásil I Ceng. „Opravdu?“ nevěřil jsem. „Ano, opravdu,“ tvrdil. „To by byla chvíle, kdy je čas opustit tuhle práci a soustředit se na roboty, které dokážou tvořit umění.“ Pokud by člověk hledal filozofujícího vladaře schopného popsat křivku etického vývoje umělé inteligence, našel by v I Cengovi dobrý příklad. Vývoj AI však bude ve skutečnosti určován navzájem se překrývajícími strukturami místní, národní i globální politiky, a nikoli benevolentním a moudrým filozofem. To je také důvod, proč je převaha Číny v oblasti umělé inteligence děsivou představou. Politická struktura země totiž neomezuje nejhorší zneužití zmíněné technologie, naopak je podporuje. I ve Spojených státech, tedy v demokracii s ústavně zaručenými lidskými právy, se občanům daří jen s největšími obtížemi zabránit vzniku soukromého či vládního dohlížitelského státu. Ale Amerika aspoň disponuje politickými strukturami, které jí dávají šanci postavit se na odpor. V Číně budou umělou inteligenci omezovat pouze zájmy komunistické strany. Ústav jsem opouštěl teprve před polednem. Každodenní déšť právě slábl. I Ceng mi přivolal auto a doprovázel mě k němu, nad hlavou mi držel deštník. Vydal jsem se do Zakázaného města, tradičního centra imperiální moci Číny. I tento krátký výlet do středu města však znamenal setkání s čínským státním dohledem. Než jsme vjeli na náměstí Nebeského klidu, naskenovali si policisté můj pas i obličej. Už jsem vůči podobným kontrolám vlastně úplně otupěl. Na náměstí klusali policisté v řadě mezi turisty, vybaveni štíty velikosti lidské postavy. Nepřehlédnutelná policejní přítomnost byla mrazivou připomínkou demonstrujících studentů, kteří zde byli zavražděni v roce 1989. Čínský Velký internetový firewall využívající umělou inteligenci vznikl částečně proto, aby se o masakru na čínském internetu nikdy nedebatovalo. Čínští aktivisté se algoritmické cenzuře vyhýbají s pomocí memů. Památku mrtvých studentů symbolizuje tankista, který se blíží ke gumové kachničce. Stranická AI cenzura sahá daleko za náměstí Nebeského klidu. Vláda počátkem roku zatkla čínské programátory, kteří se snažili uchovat mizející novinové zprávy o koronaviru. Některé z článků v jejich databázích byly zakázané, protože se kriticky vyjadřovaly o prezidentu Sim a straně. Uchovaly se jen proto, že je uživatelé internetu nahráli na sociální sítě a ukryli do kódovaného jazyka a emotikonů vymyšlených tak, aby ošálily algoritmy. Podobné kličky nemají dlouhého trvání, domácí kritici Si Ťin-pchinga si z prezidenta tropili legraci s využitím obrázků medvídka Pú, ty už jsou ale v Číně také zakázané. Schopnost strany přepisovat násilím dějiny i kulturu bude s rozvojem umělé inteligence ještě rozsáhlejší a přesněji zacílená. Vyrvat moc vládě, jež tak důkladně ovládá toky informací, bude obtížné. Můž