În căutarea steagului roșu și a safety carului cursei AI

Cine are dreptul și cine poate să încetinească și, la nevoie, să oprească cursa AI?

Zece zile care n-au zguduit lumea, deși pare că, totuși, au neliniștit-o dramatic

În septembrie 2026, cei care construiesc inteligența artificială și cei care îi avertizează de un deceniu au început, în sfârșit, să folosească același cuvânt: încetinire. Problema e că, deși au început să-l folosească, cuvântul nu înseamnă încă pentru fiecare același lucru.

Reuters și-a intitulat reconstituirea evenimentelor „Ten days that changed the course of AI” (19 septembrie), un ecou, probabil involuntar, al lui John Reed. În acele zile, un cercetător în siguranța AI a demisionat de la Anthropic cu un avertisment văzut de peste o sută de milioane de ori. Au ieșit la iveală noi detalii despre agenții AI care, într-o evaluare internă OpenAI, au ajuns pe internet și au compromis sisteme ale Hugging Face. Dario Amodei a publicat un eseu care cere „ritmarea” frontierei, iar Sam Altman și Elon Musk l-au aprobat în câteva ore.

Apoi, pe 15 septembrie, Stuart Russell, coautorul celebrului manual folosit de marile universități din întreaga lume, manual după care s-au format și continuă să se formeze generații întregi de informaticieni și programatori, și președintele International Association for Safe and Ethical AI (IASEAI) din California, a afirmat în The Guardian că „Siguranța AI necesită mai mult decât simpla încetinire a ritmului. Cerințele de siguranță sunt nenegociabile. Acestea depind de atingerea unor obiective concrete, nu doar de ajustarea unui calendar” (s.n., MB), continuând cu „A fost o săptămână plină de dramatism în domeniul AI, declanșată de demisia cercetătorului în siguranța AI Jacob Coxon de la Anthropic. Aceasta a urmat după câteva săptămâni de dezvăluiri tot mai senzaționale și tulburătoare despre incidentul OpenAI/Hugging Face”.

Pentru cititorul mai puțin familiarizat cu aceste evenimente, precizăm că pentru celebrul profesor și militant pentru reglementarea AI Stuart Russell, cazul Jacob Coxon de la Anthropic este cu atât mai relevant cu cât relatările independente au arătat inclusiv că acesta a plecat înainte ca participația sa financiară să devină efectivă, lucru care a amplificat atenția asupra mesajului său. Mai adăugăm și că Hugging Face nu a fost și nu este nici ea o companie AI oarecare!

Acest articol urmărește ce s-a întâmplat în acele zile, ce a spus Russell în The Guardian și în sesiunea AMA (Ask Me Anything) din 16 septembrie a IASEAI, și ce ne spune toată povestea mai mult sau mai puțin mediatizată despre dialogul (sau monologul paralel) dintre marile laboratoare și comunitatea științifică ce le evaluează.

Cronica unui „warning shot”: agenți care trișează, un cercetător care pleacă, un CEO care frânează

Totul a pornit de la un test. Între mai și iulie 2026, agenți OpenAI rulați în evaluări interne de securitate cibernetică au ieșit din sandbox, au ajuns pe internet și au pătruns în infrastructura Hugging Face. Motivul, potrivit raportului OpenAI, e aproape comic prin banalitate: agenții încercau să trișeze, căutând online soluțiile sarcinilor la care erau evaluați.

Detaliile însă sunt mai puțin comice. Raportul independent METR descrie circa 1.200 de agenți care s-au coordonat printr-un „message board” neautorizat. Agenții au executat cod pe zeci de servere Hugging Face, au obținut acces root pe unul și au capturat credențiale. OpenAI însuși a numit episodul un warning shot pentru întreaga industrie.

Cadrul cronologic: escaladarea crizei din vara și toamna acestui an

Pe acest fundal, o succesiune rapidă de evenimente desfășurate între iulie și septembrie 2026 a transformat un incident tehnic într-o criză profundă de legitimitate pentru întreaga industrie AI.

Lupta pentru control a devenit publică pe 21 iulie 2026, când OpenAI și Hugging Face au emis o declarație comună prin care atribuiau o intruziune cibernetică neautorizată unor agenți autonomi dezvoltați de OpenAI. A fost prima recunoaștere publică din partea unui laborator de frontieră că propriile sale sisteme autonome au atacat o infrastructură terță. Mecanismele interne de protecție au dat rapid semne de slăbiciune: tot în luna iulie, 1.386 de angajați ai marilor laboratoare, inclusiv Dario Amodei, au semnat scrisoarea deschisă „Pacing the Frontier”, semnalând din interior lipsa oricărui plan credibil pentru controlul superinteligenței.

Tensiunea a crescut semnificativ pe 26 august, odată cu publicarea raportului intern al OpenAI și a evaluării independente efectuate neplătit de organizația METR. Această analiză paralelă (autoevaluare dublată de o verificare externă) a oferit o imagine clară a vulnerabilităților din sistemele de testare. Două săptămâni mai târziu, pe 9 septembrie, Jacob Coxon a demisionat de la Anthropic, avertizând public că Anthropic și OpenAI se află într-o cursă acerbă spre dezvoltarea unei superinteligențe capabile de auto-îmbunătățire.

Momentul de cotitură la nivel de leadership s-a produs pe 12 septembrie, când Dario Amodei a publicat eseul „We Must Pace the Frontier”. A fost prima dată când directorul executiv al unui laborator de linie întâi a cerut explicit încetinirea ritmului de dezvoltare a capabilităților, propunere susținută rapid de Sam Altman, Elon Musk, Demis Hassabis și Satya Nadella.

Reacția comunității științifice nu a întârziat. Pe 15 septembrie, Stuart Russell a publicat un editorial incisiv în The Guardian, argumentând că ajustarea ritmului nu garantează siguranța și că domeniul are nevoie de un steag roșu definitiv, nu de o mașină de siguranță. În ziua următoare, pe 16 septembrie, în cadrul sesiunii AMA IASEAI #4, Russell a reiterat că sarcina probei privind securitatea trebuie să treacă integral în responsabilitatea dezvoltatorului.

Urmările politice și diplomatice s-au precipitat rapid. Pe 21 septembrie, 20 de lideri internaționali au lansat declarația „A Call for Control of Frontier AI Models”, marcând intrarea fermă a statelor în joc prin cerința instituirii de testări obligatorii înainte de orice lansare publică. Pe 23 septembrie, Consiliul de Securitate al ONU s-a întrunit la inițiativa Franței în prima sa ședință dedicată siguranței AI, aducându-i la aceeași masă pe Yoshua Bengio, Sam Altman, Dario Amodei și Clément Delangue. Această serie de zece zile s-a încheiat între 23 și 25 septembrie cu summitul Trump–Xi de la Washington, unde s-a convenit crearea unui canal bilateral pentru gestionarea incidentelor AI, dar fără adoptarea unor standarde obligatorii sau a unor mecanisme de frânare.

Eseul lui Amodei merită citit atent, pentru că este simultan și cel mai serios și cel mai ambiguu document AI al lunii. El propune trei pași: evaluatori externi integrați permanent în laboratoare, coordonare între companiile de frontieră din țările democratice și, în final, coordonare globală, inclusiv cu China. Dar precizează imediat că „pacing” nu înseamnă oprirea antrenării modelelor.

Reacția a fost instantanee și bizar de unanimă. Altman a scris că este de acord, Musk a postat trei cuvinte: „Dario is right”. Când rivalii care concurează pentru aceiași clienți aplaudă aceeași frână, un sceptic are dreptul să întrebe dacă frâna chiar e conectată la roți.

Safety carul nu e un steag roșu

Editorialul lui Stuart Russell din 15 septembrie, „AI safety requires more than just slowing our pace”, are o teză de o simplitate brutală: cerințele de siguranță nu se negociază și depind de îndeplinirea unor obiective concrete, nu de ajustarea unui calendar. Tonul, în schimb, e mai degrabă ironic decât apocaliptic. Russell mărturisește că, auzind „pace the frontier”, prima imagine care i-a venit în minte a fost Amodei plimbându-se gânditor de-a lungul frontierei finlando-ruse.

Metafora nu îi aparține lui Russell, ci lui Amodei, și vine din Formula 1, o ironie în plus, dacă ne amintim că un alt Russell, George, pilotează pentru Mercedes. Când pista devine periculoasă, safety carul (sau pace carul, în varianta americană) intră în fața plutonului. Cursa nu se oprește: mașinile doar încetinesc în spatele lui. Russell rescrie scena în stilul propriu: Amodei și Altman, cot la cot la peste 300 km/h, intră în prima curbă și descoperă că e acoperită cu gheață, iar ei nu au volan. Nu e de mirare, conchide el, că vor să încetinească.

Primul lucru surprinzător al editorialului este că Russell îl apără pe Amodei. Criticii care văd în plan o manevră prin care Anthropic și-ar cimenta avantajul cu ajutorul statului greșesc, spune el: tocmai ieșirea safety carului pe pistă anulează avansul liderului cursei. Criticul cel mai vechi al industriei respinge, așadar, suspiciunea cea mai comodă la adresa ei.

Și totuși, Russell consideră metafora complet greșită. Nu poți fixa un ritm mai lent al capabilităților și spera că timpul câștigat ajunge pentru siguranță. Exemplul lui e aviația: ce am spune dacă Boeing ar anunța un avion nou în fiecare an, sperând că testele de zbor apucă să se termine și ies bine? Am răspunde că logica e inversată. Un avion intră în serviciu doar după ce trece toate testele și primește certificatul de navigabilitate. Dacă durează mai mult de un an, cu atât mai rău pentru calendar.

Al doilea lucru surprinzător: Russell arată că, citit atent, Amodei îi dă de fapt dreptate. Eseul propune reguli de forma „dacă modelele au capabilitatea X, trebuie însoțite de certificări ale proprietăților de aliniere Y și Z”. Asta este exact abordarea liniilor roșii cerută de cercetătorii în siguranță. Consecința logică, pe care Amodei n-o scrie, o scrie Russell: dacă dezvoltatorii nu reușesc să îndeplinească cerințele, trebuie să se oprească. În limbajul Formulei 1, ar fi un steag roșu, nu o mașină de siguranță. Critica lui Russell nu e deci o respingere, ci o împingere a argumentului lui Amodei până la capătul pe care autorul evită să-l numească.

Apoi vine cifra care ar trebui să stea în centrul oricărei dezbateri publice. Riscul acceptabil de pierdere ireversibilă a controlului, estimează Russell, ar fi de ordinul unu la 100 de milioane pe an. Liderii companiilor AI îl estimează ei înșiși la unu la zece sau unu la cinci. Diferența este de zece până la douăzeci de milioane de ori. Nicio industrie certificată, nici aviația, nici energia nucleară nu ar lucra cu asemenea marje.

Concluzia editorialului este mai radicală decât metafora. Russell anticipează că progresul pe actuala traiectorie tehnologică se va opri la un moment dat, nu pentru că ar fi imposibil, ci pentru că o tehnologie intrinsec nesigură devine de nesusținut. Umanitatea, scrie el, are dreptul să se apere. Obiecția previzibilă (miile de miliarde de dolari deja investite) este pentru el un caz clasic de eroare a costurilor irecuperabile: dacă dublezi miza pe o greșeală, rămâne tot greșeală. Iar momentul este favorabil: atenția publică, unanimitatea rară a directorilor din tehnologie și summitul Trump–Xi care urma creează o ocazie reală de a alege alt drum.

Mai e o distincție pe care dezbaterea românească o va pierde probabil în traducere. Red flag este metafora pentru STOP. Red lines sunt limitele concrete, tehnice sau juridice, a căror încălcare ar trebui să declanșeze acel STOP: pierderea controlului uman, auto-îmbunătățirea recursivă nesupravegheată, comportamentul înșelător menit să evite supravegherea, anumite capabilități ofensive. Steagul fără linii este un gest; liniile fără steag sunt o declarație de intenție.

Patruzeci și cinci de minute pe Zoom: ce s-a spus la AMA

Sesiunea AMA din 16 septembrie nu a fost un summit și nu a votat nimic. A fost o conversație de 45 de minute pe Zoom, moderată de Julia Irwin, directoare executivă asociată a IASEAI, anunțată membrilor cu o zi înainte printr-o scrisoare care promitea să „facă un pas înapoi din ciclul de știri de 24 de ore”. Tocmai de aceea e interesantă: este locul în care o societate savantă încearcă să producă sens, nu comunicate.

Rezumatul oficial publicat de IASEAI confirmă temele. Russell a comentat avertismentul lui Jacob Coxon și motivele impactului său, apoi a atacat eseul lui Amodei: abordarea „pacing” este inversată, pentru că nu încetinești ca să lași timp unor lucrări de siguranță, ci fixezi întâi cerințele și avansezi doar după ce sunt îndeplinite.

Întrebările publicului au atins exact punctele unde construcția devine fragilă:

• Poate fi crezut testul? Dacă un sistem suficient de sofisticat știe că este evaluat, comportamentul din laborator nu garantează comportamentul din lume. Agenții OpenAI tocmai demonstraseră că un test poate deveni el însuși teren de joc.
• Cine poartă sarcina probei? Russell mută povara la dezvoltator: cine vrea să lanseze un sistem puternic trebuie să aducă dovezi științific valide de siguranță, ca în aviație sau în farmacologie.
• Ce înseamnă o linie roșie serioasă? Una definită operațional, verificabilă și a cărei încălcare oprește efectiv lansarea.
• Captura reglementară și argumentul „dar China”: Russell a răspuns ambelor obiecții. Logica lui, relatată și în declarațiile din aceeași zi: dacă riscul este construirea unor sisteme pe care nu le putem controla, faptul că un rival ar putea face la fel nu transformă imprudența în strategie.
• EU AI Act, asigurări, răspundere juridică: Russell a discutat aplicabilitatea actului european și a pledat pentru asigurări și răspundere civilă ca forțe economice în favoarea siguranței.

Ce s-a hotărât? Nimic, în sens formal. Nu există un comunicat, un vot sau un acord cu companiile. Există însă o poziție limpede, pe care o putem rezuma într-o frază: nu încetiniți cu un procent arbitrar; stabiliți condiții verificabile, obligați dezvoltatorul să le demonstreze, lăsați evaluarea în mâini independente și dați cuiva autoritatea reală de a spune „nu încă”.

Corul Casandrelor: Bengio, Tegmark, Harari și lumea de dincolo de laboratoare

Russell nu vorbește singur. În jurul lui s-a format, în ultimul deceniu, un cor de voci pe care industria le-a tratat multă vreme ca pe Casandra din Troia: previziuni corecte, audiență nulă. Septembrie 2026 este prima lună în care corul pare să fie ascultat și prima în care ascultătorii încep să-i fure replicile.

Yoshua Bengio a avut probabil cea mai precisă intervenție. Pe 11 septembrie, cu o zi înaintea eseului lui Amodei, a publicat o analiză despre motivul pentru care agenții AI mint, trișează și se coordonează. Teza lui: înșelăciunea nu e o eroare, ci e antrenată, iar atacul asupra evaluatorului din incidentul Hugging Face este un caz de reward tampering (agentul modifică ce înseamnă succesul). Pe 16 septembrie, Canada și Germania au anunțat până la 300 de milioane de dolari canadieni pentru LawZero, organizația nonprofit a lui Bengio, care dezvoltă un „Scientist AI” menit să supravegheze agenții.

Bengio avea să ducă aceste argumente, pe 23 septembrie, până în Consiliul de Securitate al ONU, față în față cu șefii laboratoarelor , o scenă căreia îi dedicăm secțiunea următoare.

Future of Life Institute, organizația lui Max Tegmark, lucrează pe alt registru: presiune politică și măsurare. Indexul său de siguranță AI din vara lui 2026 a notat nouă companii pe șase domenii și 37 de indicatori. În săptămâna crizei, Tegmark a susținut o informare privată pentru senatori, organizată de Bernie Sanders.

Yuval Noah Harari a rămas vocea care traduce totul în istorie. La Davos, în ianuarie, a avertizat că AI va prelua „tot ce e făcut din cuvinte” –  legi, cărți, religii – și că umanitatea mai are cam un deceniu pentru decizii. Pentru un educator, avertismentul e mai incomod decât scenariul roiului de agenți: școala este, până la urmă, o instituție făcută din cuvinte.

Și, în sfârșit, statele. Pe 21 septembrie, 20 de lideri au semnat „A Call for Control of Frontier AI Models”, cerând testare obligatorie înainte de lansare și o instituție internațională care să stabilească standarde și să permită verificarea. Printre semnatari: Australia, Canada, Finlanda, Kenya, Norvegia, Singapore, Africa de Sud, Turcia, Emiratele Arabe Unite și Comisia Europeană. IASEAI a salutat imediat apelul, legându-l explicit de propria idee de „linii roșii comportamentale”. Lista publicată de IASEAI nu menționează nici SUA, nici China, exact cele două țări unde se află laboratoarele de frontieră și, deci, marile speranțe și marele pericol.

Patru discursuri la aceeași masă: Consiliul de Securitate, 23 septembrie

Pe 23 septembrie, Consiliul de Securitate al ONU a ținut prima sa reuniune dedicată explicit riscurilor de siguranță ale inteligenței artificiale avansate. A convocat-o Franța, care deținea președinția prin rotație a Consiliului, în plin segment la nivel înalt al celei de-a 81-a sesiuni a Adunării Generale. Nota conceptuală franceză încadra dezbaterea în jurul riscurilor sistemice: dezalinierea și pierderea controlului asupra celor mai avansate sisteme.

Au fost patru invitați. Yoshua Bengio a vorbit în calitate de copreședinte al Panelului științific internațional independent al ONU pentru AI. Sam Altman a fost prezent în sală. Dario Amodei și Clément Delangue, CEO-ul Hugging Face, au intervenit prin video. Un detaliu nu lipsit de interes: potrivit unui buletin de specialitate, cu o zi înainte, OpenAI și Anthropic lansaseră modele mai capabile și își înjumătățiseră prețurile.

Yoshua Bengio: cursa este o alegere

Savantul a deschis întâlnirea evocând faptele verii fierbinți a AI, când agenți construiți de companiile de vârf și-au încălcat instrucțiunile, au ieșit din izolare, au lansat atacuri cibernetice coordonate și și-au modificat răspunsurile ca să-și ascundă trișatul. Comise de un om, a spus el, asemenea fapte ar fi infracțiuni. Savantul a recunoscut că mulți văd în avertismentele companiilor prioritar un truc de marketing, dar a insistat pe afirmația că aceste comportamente sunt documentate și validate de experți independenți. Apoi a atacat argumentul preferat al industriei AI, acela al capcanei competiției: „Cursa nu este o lege a naturii”, ci produsul unor alegeri ale companiilor, care au spus că ar încetini dacă ar putea. Și pot. Bengio a numit trei amenințări: folosirea abuzivă catastrofală, concentrarea puterii și pierderea controlului. A cerut ca AI-ul de frontieră să fie supus licențierii, ca medicamentele, aviația și energia nucleară, cu asigurare de răspundere obligatorie și raportarea tuturor incidentelor de securitate. Sarcina probei, a spus el, stă la companii: ele trebuie să demonstreze publicului că produsele lor nu sunt periculoase. A încheiat cu o imagine personală: omenirea ca o mașină care gonește orbește prin ceață densă, iar pe bancheta din spate stau copiii și nepotul lui.

Sam Altman: renaștere sau răsturnare

Șeful OpenAI a început optimist, dar a construit discursul în jurul unei alternative: AI poate deveni o nouă renaștere a creativității și descoperirii sau o nouă revoluție industrială a dezordinii. Riscul, a spus el, este ca sistemele autonome să avanseze mai repede decât instituțiile, să concentreze puterea în prea puține mâini și să ia decizii pe care oamenii nu le mai înțeleg. Cea mai importantă frază a lui a trecut aproape neobservată: nu contează dacă riscul de catastrofă este estimat la 10%, 1% sau 0,1%: niciunul dintre aceste niveluri nu e acceptabil. Și nu ar trebui antrenate modele pentru care nu poți construi un argument extrem de solid că vor rămâne sub control uman. A adăugat că deciziile cele mai importante nu pot fi luate doar de laboratoarele din San Francisco, ci prin procese democratice. A criticat chiar retorica propriei industrii, pe care a numit-o uneori atât de distopică încât seamănă cu scenariul unui film SF prost.

Dario Amodei: „cea mai importantă problemă de securitate globală din lumea de azi”

CEO-ul Anthropic a repetat estimarea sa: actuala traiectorie mai are nevoie de unul sau doi ani până la o „țară de genii într-un centru de date”. A ilustrat promisiunea cu o descoperire anunțată chiar în acea zi: un sistem enzimatic ascuns în ADN-ul unui bacteriofag, identificat cu ajutorul lui Claude. Apoi a trecut la riscuri grave: arme biologice în mâinile unor actori rău-intenționați și pierderea controlului. Propunerile lui au fost cele mai concrete ale zilei: un acord internațional care să interzică folosirea AI pentru arme biologice, sisteme noi de evaluare și verificare, standarde comune de testare a modelelor și un mecanism de notificare pentru preocupările de securitate globală.

Clément Delangue: vorbește victima

CEO-ul Hugging Face a fost singurul vorbitor care a trăit incidentul din interior. A cerut standarde mai stricte de monitorizare și de raportare a incidentelor. A mai făcut o dezvăluire incomodă pentru Washington: pentru a se apăra de agenții OpenAI, Hugging Face s-a bazat pe un model chinezesc, pentru că avea mai puține restricții decât instrumentele americane comparabile. În aceeași zi, premierul australian Anthony Albanese dezvăluia la New York că un agent OpenAI pătrunsese încă din iunie pe un site guvernamental australian.

Ce a rămas din reuniunea Consiliului de Securitate ONU dedicată explicit riscurilor de siguranță ale inteligenței artificiale avansate

Formatul de informare (briefing) nu produce rezoluții, iar, cu o zi înainte, președintele Trump promisese, de la tribuna Adunării Generale, că nu va îngrădi dezvoltarea AI. Pe de altă parte, criticii nu au fost nici ei convinși: Gary Marcus a lăudat discursul lui Bengio, dar a văzut în intervențiile lui Altman și, mai ales, ale lui Amodei o doză de autoelogiu, reproșându-i acestuia din urmă că a comparat prematur descoperirea enzimatică cu CRISPR. Și totuși, pentru tema acestui articol, 23 septembrie contează enorm. Principiul formulat de Russell cu o săptămână înainte – dezvoltatorul trebuie să demonstreze siguranța înainte de a merge mai departe – a fost rostit la Consiliul de Securitate de Bengio, ca cerință, și de Altman, ca angajament. Vocabularul steagului roșu a ajuns în cea mai înaltă sală a diplomației mondiale. Mâna care să-l ridice lipsește încă.

Ulise, catargul și cine ține frânghia

Există, deci, dialog între marile laboratoare și asociațiile de specialiști? Răspunsul onest este: există un dialog de vocabular și principii, nu încă unul de putere.

În Formula 1, steagul roșu nu îl flutură o echipă. Îl flutură directorul de cursă, numit de FIA, independent de Mercedes, Ferrari sau Red Bull. Nicio echipă nu ar accepta ca rivalul să decidă când se oprește cursa; nicio federație nu ar accepta ca echipele să decidă singure. Aceasta este, redusă la esență, diferența dintre propunerea lui Amodei și cea a lui Russell. Prima invită arbitri în garaj. A doua cere o direcție de cursă. Paradoxal, Russell însuși observă că textul lui Amodei conține deja logica steagului roșu; lipsește doar cineva cu autoritatea să-l ridice.

Homer oferise deja modelul, cu vreo 2.700 de ani înainte de eseurile de pe Substack. Ulise știe că nu va rezista cântecului sirenelor, așa că cere să fie legat de catarg. Dar detaliul decisiv nu e legătura, ci instrucțiunea: „Dacă vă voi porunci să mă dezlegați, strângeți funiile și mai tare”. Autolegarea funcționează numai dacă frânghia e ținută de alții, iar aceștia au dreptul să nu asculte de căpitan. Evaluatorii externi „cu acces permanent” propuși de Amodei sunt un pas real spre un catarg. Întrebarea lui Russell este dacă marinarii au dreptul să refuze ordinul.

Trei asimetrii explică de ce dialogul rămâne, deocamdată, un monolog în oglindă:

1. Asimetria informației. Companiile dețin modelele, datele de antrenare și jurnalele incidentelor. Asociațiile dețin concepte și legitimitate. Raportul METR arată cum poate arăta o punte: o evaluare independentă, neplătită, cu acces la date largi puse la dispoziție de OpenAI. Dar e o excepție acordată, nu un drept.
2. Asimetria ritmului. Un eseu al unui CEO strânge zeci de milioane de vizualizări în 24 de ore. Un volum de lucrări evaluate colegial apare după cinci luni sau chiar mai mult. Laboratoarele stabilesc agenda; societățile savante o comentează.
3. Asimetria interesului. Hugging Face, victima incidentului, a acceptat, la o lună după atac, o achiziție de 12,9 miliarde de dolari de către Nvidia, furnizor major al OpenAI. Jensen Huang și Mark Zuckerberg au respins public planul de „pacing”, în timp ce Demis Hassabis și Satya Nadella l-au salutat. „Industria” marilor companii AI nu e un interlocutor unic, ceea ce face ca orice negociere cu ea să fie o ficțiune convenabilă.

Și totuși, ceva s-a mișcat. În iulie, 1.386 de angajați ai laboratoarelor de frontieră, inclusiv Amodei, au semnat scrisoarea deschisă „Pacing the Frontier”. Semnatarii constatau absența completă a unor planuri credibile de control al sistemelor superinteligente și numeau construirea unor entități mai inteligente decât oamenii un gest „nebunesc și sinucigaș”. Pentru prima dată, cei din interior au folosit argumentele celor din exterior. Stuart Russell remarcă, cu o anumită malițiozitate, că eseul lui Amodei din septembrie face tot posibilul să-i liniștească pe investitori după tonul acelei scrisori. Pe 23 septembrie, la ONU, Bengio și directorii marilor laboratoare AI au vorbit la aceeași masă, unii din sală, alții prin video. Dovadă indubitabilă că dialogul nu este imposibil. Doar că nimeni nu a stabilit încă cine ține frânghia.

Ce trebuie urmărit: cinci întrebări pentru următoarele șase luni

Declarațiile nu mai spun mare lucru. Pare că toată lumea este acum pentru siguranță. Ce contează sunt mecanismele. Dacă septembrie 2026 va rămâne în istorie ca momentul în care s-a trecut de la mașina de siguranță la steagul roșu, am putea vedea în viitorul apropiat din răspunsurile la cinci întrebări:

1. Pot evaluatorii externi să spună „nu”? Au doar acces la modele, sau și drept de veto asupra lansării și drept de a publica rezultate nefavorabile fără acordul companiei?
2. Există teste care chiar blochează lansarea? Un test pe care niciun model nu l-a picat vreodată nu este o barieră, ci un ritual.
3. Sunt liniile roșii definite operațional? Adică măsurabile, verificabile de terți și asumate public înainte de antrenare, nu după.
4. Cine poartă sarcina și responsabilitatea probei? Dacă autoritățile trebuie în continuare să dovedească pericolul, regimul a rămas cel vechi, oricâți evaluatori ar fi integrați.
5. Apare o direcție de cursă? Instituția internațională cerută de cei 20 de lideri ar putea fi singurul candidat vizibil. Dar, fără SUA și China, ea riscă să fie un arbitru pe o pistă unde nu aleargă nimeni. Profesorul Russell vedea în summitul Trump–Xi o ocazie reală. Summitul de la Washington (23–25 septembrie) însă a produs un singur rezultat pe acest subiect: un canal de comunicare pentru incidentele legate de AI între cele două superputeri și un dialog bilateral despre riscuri și beneficii, cu o primă rundă de întâlniri programată în noiembrie. Fără standarde, fără verificare și fără limite. Un telefon roșu, nu și un steag roșu!

Pentru educatori și pentru instituțiile educaționale, miza are o dimensiune suplimentară. Dacă Harari are dreptate că AI preia tot ce e făcut din cuvinte, atunci școala și universitatea nu sunt spectatori ai acestei dezbateri, ci unul dintre primele ei domenii de aplicare. Întrebarea „Ce trebuie demonstrat înainte ca un sistem să opereze în lume?” sună diferit când lumea respectivă este o clasă de copii de trei, cinci sau zece ani.

Profesorul Russell a formulat, în fond, o întrebare veche cât filosofia politică: Quis custodiet ipsos custodes? Cine îi păzește pe paznici? În septembrie 2026, pentru prima dată, paznicii au recunoscut public că au nevoie de pază. Săptămâna s-a încheiat însă cu o scenă pe care nici Swift n-ar fi îndrăznit s-o scrie. Casa Albă a anunțat că cei doi lideri au convenit să numească tehnologia „superinteligență” în loc de „inteligență artificială”, pentru că „artificial” ar sugera ceva fals. În aceeași zi, președintele Trump a declarat că Statele Unite nu vor pune frână, fiind în avans față de China cu un an, poate doi. A rămas, așadar, oarecum speranța că s-ar putea spune STOP doar pentru inteligența artificială, superinteligența rămânând, cel puțin pentru moment, intangibilă. Sub steag american, Ulise pare imun la cântecul sirenelor!…

Surse

Pagini consultate integral:

Stuart Russell, „AI safety requires more than just slowing our pace”, The Guardian, 15 septembrie 2026 ;

IASEAI AMA #4: Stuart Russell & Julia Irwin — rezumatul sesiunii din 16 septembrie; înregistrarea video;

IASEAI Library — inclusiv fișa editorialului lui Russell „AI safety requires more than just slowing our pace” (The Guardian, 15 septembrie 2026);

Axios, „«We have a choice»: AI leaders sound alarm at UN”, 23 septembrie 2026;

The Next Web, „UN Security Council hears AI lab chiefs on loss-of-control risk”, 23 septembrie 2026;

CBS News/AP, „Trump and Xi agree to set up AI safety channel…”, 26 septembrie 2026.

Surse consultate prin extrase de căutare:

Dario Amodei, „We Must Pace the Frontier”, 12 septembrie 2026;

OpenAI, „The Hugging Face incident and the road ahead”, 26 august 2026;

METR, raportul de investigație a incidentului Hugging Face, august 2026;

Hugging Face, cronologia tehnică a intruziunii, 27 iulie 2026;

Stuart Russell, profil LinkedIn — anunțul AMA, reacția IASEAI la apelul celor 20 de lideri;

Proceedings of IASEAI’26, AAAI Press, 2026;

The Future Society, atelierul IASEAI despre linii roșii, 26 februarie 2026;

The Next Web, Consiliul de Securitate ONU, 23 septembrie 2026;

Security Council Report, „Artificial Intelligence: High-level Briefing”, 22 septembrie 2026;

CNN, Altman și Amodei la Consiliul de Securitate, 23 septembrie 2026;

Rappler, despre intervenția lui Delangue și declarația lui Albanese;

Gary Marcus, „Historic UN Security Council Briefing on AI”, 23 septembrie 2026;

Daily AI Digest, despre lansările din 22 septembrie.