1/10. Atât de mare e riscul să murim toți din cauza AI-ului, spun fix oamenii care îl construiesc. Apoi îl listează la bursă pentru mii de miliarde de dolari. Știu că subiectul de astăzi pare prea departe de București, dar pentru mine asta e mai important decât 99% din subiectele de la știri. Și nu a apărut încă la TV. Hai să începem.
Luni, la Los Angeles, șeful Nvidia, Jensen Huang, stătea pe scenă la All-In Summit când i-a sunat telefonul. L-a pus pe speaker. Era președintele Statelor Unite.
„The whole thing is a hoax.”
Roboții nu vor prelua lumea, a continuat Trump, iar cei care spun altfel fac jocul Chinei. Sala a aplaudat. Jensen a răspuns că nu va lăsa să se întâmple asta. Cel mai puternic om de pe planetă, pe speaker, cu șeful celei mai valoroase companii de pe planetă. În fața a câteva mii de investitori. De ce era nevoie de faza asta atât de publică? Adolescenții îi spun flex.
Cu două zile înainte, sâmbătă, Dario Amodei, șeful Anthropic, compania care vinde cel mai bun AI, Claude, publicase un eseu de 3.800 de cuvinte cu titlul „We Must Pace the Frontier”. Adică trebuie să încetinim urgent inteligența artificială din cauză că… ne poate ucide pe toți. Știu că sună a titlu de tabloid, dar cine mai citește 3.800 de cuvinte?
În mai puțin de trei ore, Elon Musk răspunsese cu trei cuvinte: „Dario is right”. Apoi Sam Altman (OpenAI). Apoi Demis Hassabis (Deepmind/Google). Patru oameni care se detestă cordial (uneori și prin instanțe), aliniați într-o singură după-amiază. Cu doar câteva zile înaintea vizitei lui Xi Jinping la Washington, pe 24 septembrie.
Luni dimineață, înainte de telefonul lui Trump, SoftBank pierduse 11%. SK Hynix, 6,4%. ASML, 6%. Aceste companii funcționează acum ca un termometru pentru temperatura de pe bursă. Șocul e real.
Între sâmbătă și luni a stat un număr. Acest simplist 10%.
Evan Hubinger, șeful de alignment science de la Anthropic, a scris pe X că șansa ca AI-ul să omoare toți oamenii e „peste 10% în următorul deceniu”. Scria ca să confirme un coleg, Jacob Coxon, care demisionase după câteva săptămâni în firmă cu mesajul că laboratoarele „se joacă cu viețile noastre”. Tweetul lui Coxon a trecut de 130 de milioane de afișări. De pe un cont fără istoric și fără followeri. (detaliul ăsta ne va duce la o gaură adâncă de… alege tu animalul; revenim la el la final)
Numărul are și un nume:
P(doom)
Pare un fel de formulă obscură, dar nu e decât probabilitatea apocalipsei. Nu e o măsurătoare. E o părere cu procent. Emad Mostaque, fostul CEO al Stability AI, și-a coborât-o de la 50% la 20%. Sam Altman a spus pentru Reuters că până și 10% ar fi inacceptabil și tocmai a amânat listarea OpenAI, tot din motive de siguranță, zice el. Unii ar spune însă că nu sunt destui dolari pe planetă pentru listarea ambelor megalaboratoare AI pe bursă anul acesta.
Și totuși. Zece, douăzeci la sută sunt șanse de ruletă rusească. Nimeni întreg la minte nu ar juca. Numai că toți avansează și lansează modele tot mai puternice. Deci ori nu cred cifra, ori cred că… altcineva trage bățul scurt înaintea lor și… vedem noi după. Nu ne putem abține, noi, specia asta ieșită din ordinea naturală.
De ce mă agit pe subiectul ăsta?
Uită-te la ce spun oamenii care n-au niciun interes să te sperie.
Anthropic au spus săptămâna asta că modelul Claude (a se citi sistemul) face acum cam un sfert din propria cercetare internă. Următorul Mythos, oricum s-ar numi, se naște din actualul Mythos. La începutul anului nu era aproape nimic. Acum sparge servere și își organizează singur echipe de agenți. Asta se cheamă recursive self-improvement și, până acum câteva luni, era un capitol de science fiction.
Paul Christiano, omul care a inventat metoda prin care se antrenează toate modelele astea, a intrat în boardul fundației OpenAI cu o declarație în care spune și el că industria nu e pe drumul bun. Agenții OpenAI, închiși într-un sandbox (un sistem din care nu se poate ieși), au fost puși să rezolve un test, au ieșit însă pe internet, au găsit un wiki german obscur, l-au transformat într-un forum de discuții și acolo s-au organizat ca să trișeze la test. Alți agenți au găsit 14 chei API (să le zicem parole) uitate în arhive publice și au intrat pe Hugging Face, biblioteca centrală de software pentru AI. Știu că sună SF, dar am simplificat și așa destul de mult. Ideea e că agenții ăștia n-au vrut nimic. Au făcut ce li s-a cerut și apoi ne-am șocat că au reușit fără să inventeze nimic nou.
Asta e partea care mă neliniștește. Nu „au vrut”. Nu au creat nimic nou. Doar au optimizat pe baza a ceea ce au găsit deja cu ușurință. Internetul e un șvaițer, iar în găuri găsești orice. Poți ascunde orice. Părerea mea e că agenții aceștia sunt încă undeva prin șvaițer. Asta mă pune pe gânduri.
Am mai spus și o cred cu tărie. Mai prost de atât AI-ul nu va fi niciodată. Va fi doar tot mai bun. Exemplu:
Navier-Stokes, o problemă la care matematicienii se chinuie din 1800, a căzut luna asta cu 10.000 de agenți, 88 de ore și 6,5 milioane de dolari. Problemele cele mai grele ale umanității pică una câte una. E doar o chestiune de bani la problemă. A fost mereu așa, doar că acum banii aceștia îți cumpără inteligență la megatonă.
Înapoi la All-In Summit. Elon Musk, care nu e tocmai fanul lui Dario, a spus pe aceeași scenă, a doua zi după Trump, că pericolul e serios chiar acum și că laboratoarele ar trebui să-și testeze reciproc modelele. A adăugat ceva ce merită reținut: reglementarea se instaurează ușor. Ca o taxă, o agenție de stat, o sinecură. Se scoate însă foarte greu. E clar că vom avea poliție pentru AI. Dar cine va fi șeful poliției?
Cine va controla AI? Un plan obscur.
David Sacks, până de curând consilierul lui Trump pe AI de la Casa Albă, a făcut lista în podcastul All-In. GPT-2 era „prea periculos ca să fie lansat”. Modelele de raționament, la fel. Fable 5 avea să doboare sistemul bancar. Dario prezicea până acum șomaj în masă. Niciuna dintre ele nu a devenit realitate. Are dreptate. Oamenii care au greșit de patru ori la rând cer acum să conducă instituția care decide.
Contul lui Coxon, tipul care ne avertizează că vom muri din cauza AI-ului. Îl mai ții minte? Fără istoric, fără followeri, face 130 de milioane de afișări într-o zi. Mai mult decât Elon sau oricine altcineva. Iar Wall Street Journal a publicat articolul cu câteva minute înainte de tweet, ceea ce în jargon se cheamă embargo (avem și noi la telefoane: dacă vrei acces, publici doar la data și ora stabilite). 76% dintre repostări au venit din conturi din afara Statelor Unite, mai ales din India și Indonezia. Separat, X a găsit vreo 200 de conturi aparent chinezești care amplifică opoziția față de data center-uri. Toate astea nu înseamnă că acest Coxon minte. Înseamnă că cineva avea nevoie ca el să fie auzit.
Follow the money: grupurile care l-au amplificat în primele 15 minute sunt finanțate, după cum a arătat Sacks, fost oficial de la Casa Albă, de aceiași miliardari care au pus banii deja în Anthropic. Compania se pregătește pentru un IPO (listare la bursă) de 2.000 de miliarde de dolari. Evaluatorul „independent” pe care Dario îl propune ca arbitru, METR, e descris de o sursă apropiată Casei Albe drept Anthropic în altă formă. Deci, ce întrebam mai sus? Cine e șeful polițistului AI? Doar naivii cred că guvernul controlează mai mult de 10% din… orice.
Și totuși. Ca să pornești un AI care se îmbunătățește singur, ai nevoie de curent, de cipuri și de internet. Nu de aprobarea guvernului american. Dacă America interzice, AI-ul tot se dezvoltă în altă parte, iar țara care trage frâna devine un fel de trib din junglă, care n-a văzut civilizația. Iar la final, toți cei care strigă acum „vom muri” spun același lucru: „dați puterea cuiva”. Fiecare dintre ei are alt nume și alte idei despre cine să fie acel cineva/ceva. Facem încă o ONU și un Interpol pentru AI? Cum merg astea două pentru chestii mai simple decât extincția umanității?
Am mai văzut filmul
Proiectul Manhattan. Fizicienii care au făcut bomba au cerut un guvern mondial care să administreze atomul. Frica de anihilare prin bombe atomice ne-a ținut pe loc în loc să avem deja reactoare nucleare bune, sigure, peste tot. Am pierdut jumătate de secol de energie ieftină.
Cum era să plătim zeci de lei pe lună în loc de sute?
De ce bat toba asta? Și la noi se practică metoda cu sperietoarea. Prosumatorii au fost prezentați drept „problema rețelei” exact de cei care nu voiau concurență la producția de energie. Cum ți se pare factura ta la curent? Știi că Cernavodă e tot oprit?
Panica e un instrument. Cine o ține în mână contează mai mult decât panica.
10% din ce?
Fără glumă. Nu cred că murim toți până în 2030. Nu cred nici că e „o farsă”. Cred că frica și lăcomia s-au întâlnit din nou pe terenul de joacă al istoriei. Și că fiecare are acum un departament de PR, algoritm și interese.
Ruleta rusească rămâne ruletă rusească. Doar că pistolul nu e la tâmpla mea sau a ta. E în mâna celor care controlează legendele astea urbane. Dacă neuronii tăi mai duc încă niște cuvinte despre care nu vei auzi la știri, cele două forțe au și nume.
Una se cheamă Effective Altruism, mișcarea care a finanțat Anthropic și cere frâna. Cealaltă, e/acc, accelerationism efectiv, mișcarea care a scris manifestul tehno-optimist și cere accelerarea. Niciuna nu e ceea ce pare. Le iau pe rând în următoarele două episoade.
Amândouă vor să (ne) conducă. Am ajuns la faza cu încă un grup care vrea să preia puterea într-un mod ocult. Da, ai citit bine. Am devenit încă un jurnalist pornit pe o gaură de… șarpe. Hai cu mine să vedem ce găsim. Abonează-te și ne vedem la următorul editorial.
PS. Am ascultat săptămâna asta vreo douăsprezece ore de video de la All-In Podcast, Moonshots, Dreamforce Event și alte podcasturi de nerds ca al lui Dwarkesh Patel ca să scriu textul ăsta. Nu recomand. Am făcut fact-check cu AI, dar textul îmi aparține cu tot cu eventualele erori de judecată sau de ortografie. Fac eforturi să traduc în română cât mai simplă, dar nu e mereu posibil. Mulțumesc pentru înțelegere.
Surse: Anthropic, „We Must Pace the Frontier” (12 sept.); tweetul lui David Sacks (13 sept.); Axios și CNBC (apelul lui Trump, 14 sept.); CNBC (Musk la All-In Summit, portofoliul lui Trump); The Signal (reacția piețelor); All-In, 11 sept. (Sacks, Friedberg, Chamath); Moonshots #288 și #291 (Emad, Wissner-Gross, Jurvetson); Forbes (cronologia Dario, Musk, Altman, Hassabis).
