vineri, martie 29, 2024

Autopilot

Trebuia probabil să vină şi momentul ăsta, dar de data asta chiar s-au potrivit:  după ce citesc cum o maşină Tesla pe autopilot a intrat într-un trailer, accidentul soldându-se cu decesul proprietarului, mai aflu şi că analiştii de securitate Google au descoperit o vulnerabilitate în… antivirusul Symantec.

Desigur, există o explicaţie, ca să citez din clasici; autopilotul maşinii Tesla nu este un şofer automat, ci un sistem de asistenţă; şoferul uman este se pare avertizat ( nu mi-am cumpărat încă Tesla, mai am ceva contracte de semnat, deci spun din auzite) să păstreze mâinile pe volan şi atenţia trează, ceea ce aparent nu s-a întâmplat în cazul nostru, se pare că şoferul îşi pusese un film, ancheta încă este în curs. În ceea ce priveşte antivirusul, este evident că atâta timp cât acestea trebuie să comunice prin Internet, fie cu serverul de update, fie cu un server de management, şi cum până acum nu prea s-a văzut aplicaţie în care să nu se găsească vulnerabilităţi, era fatal să se găsească şi într-un antivirus. E adevărat, era ideal să o descopere cei de la Symantec întâi, dar asta e situaţia.

De fapt se întâmplă un fenomen vechi probabil de când lumea. Oamenii se obişnuiesc cu tehnologiile în aşa măsură încât se bazează în exclusivitate pe ele, atenţia scade până când se întâmplă ceea ce e firesc să se întâmple.

Un coleg de-al meu scrisese un script de backup. El copia niște date, iar la sfârşit îmi trimitea un e-mail cu mesajul „ backup-ul s-a finalizat cu succes”. Totul a fost bine şi frumos până am avut nevoie de unul din backup-uri: abia atunci am constatat că de fapt singura parte care funcţiona era cea de trimitere a e-mailului. Din păcate colegul neglijase să testeze niște condiţii de eroare. Din fericire în cazurile astea nu mor oameni, dar software-ul de pilot automat sau software-ul antivirus e scris de aceiaşi oameni.

Acum întrebarea care se pune este dacă era mai bine fără autopilot. Dacă şoferul respectiv ar fi condus o maşină obişnuită este posibil să fi scăpat cu viaţă. După cum este posibil să fi intrat în cine-ştie-ce altă dandana, pentru că, după cum vedem zilnic pe străzile noastre, şoferii umani fac deseori lucruri trăznite la care un autopilot nici nu s-ar gândi măcar. Doar că soarta celor care îşi conduc singuri maşina se supune de obicei situaţiei generic numite condiţie umană: uneori poţi plăti cu viaţa propriile greşeli, chestie neschimbată încă de pe când vânam mamuţi. Mai rău, poţi plăti şi pentru greşelile colegului de vânătoare, uneori şi pentru cele ale cioplitorului în silex care n-a ascuţit bine vârful săgeţii, doar că asta se cam vede cu ochiul liber, nu prea cred că era nevoie de comisii parlamentare care să constate calitatea săgeţilor.

Societatea a devenit însă mai complexă, iar unele obiecte din jurul nostru nu mai pot fi verificate atât de simplu precum vârful de silex al săgeţii. Suntem nevoiţi să luăm diverse lucruri „as is”, vorba acordului de licenţă ;  singura verificare va fi folosirea îndelungată.

Discuţiile despre responsabilitate vor fi nesfârşite; acum câteva zile citisem despre o altă temă de discuţie: ce decizie să implementăm în maşinile cu pilot automat, în cazul în care avem de ales între a lovi, de exemplu, un grup de pietoni sau a lovi un zid şi a omorî pilotul? Cititorii pasionaţi de literatură vor descoperi în această dilemă tema clasică a conflictului între dragoste şi datorie, explicată pe înţelesul IT-ştilor. Cred însă că puteţi ghici răspunsul la întrebarea „ ce algoritm aţi prefera pentru maşina cumpărată de dumneavoastră” , dovadă clară că Belle Epoque s-a dus de mult.  Evident, formulată aşa, dilema e simplistă; cum o maşină bazată pe inteligenţă artificială nu se bazează pe algoritmi simpli de decizie ci probabil pe nişte coeficienţi care ţin cont de mai multe condiţii, poate decizia în sine nici măcar nu e explicitată în algoritm.

Şi atunci?

Probabil că la un moment dat va trebui să acceptăm lucrurile astea ca făcând parte şi ele din condiţia umană. Nu ştiu prea multă lume care să bifeze „nu” după ce citeşte acordul de licenţă pentru programul preferat; ştiu în schimb destui care dau „install” la tot felul de prostii de pe Internet şi după aceea se plâng că antivirusul nu i-a protejat.  Nu spun că pretenţia aceasta ar fi întru totul nerezonabilă, dar nici întru totul rezonabilă nu este, tocmai pentru că şi antivirusul trebuie să facă un compromis între protecţie şi „usability”.

Bineînţeles că deocamdată putem opta să nu folosim tehnologia autopilot, mai ales că nici nu e disponibilă pe prea multe modele. Google a declarat că preferă varianta maşinii autonome, tocmai din motivul că o tehnologie hibridă ca aceasta poate duce la slăbirea atenţiei conducătorului uman. La un moment dat însă, probabil că aceste tehnologii vor deveni uzuale, mai ales că tehnologia motoarelor fiind într-un oarecare impas producătorii caută diverse găselniţe de marketing pentru a individualiza modelele, iar aceasta pare a se potrivi destul de bine.  Deci ne putem gândi la un viitor în care a nu folosi autopilot sau maşină autonomă ar fi echivalent cu a nu folosi un computer în 2016.

În tot cazul, cred că zarurile au fost deja aruncate.

Distribuie acest articol

21 COMENTARII

  1. Cred ca intrebarea e cine poate lua decizii in locul cuiva ? Ori aici sigur exista mai multe raspunsuri: unii ar lua bucuros deciziile pentru altii, unii ar lua decizia de a delega anumite decizii si eventual si responsabilitatea lor, unii vor sa decida pentru ei.

    In cazul implementarii software-ului solutia este foarte simpla: cel care conduce va lua decizia in functie de cazul respectiv. Cand omul apeleaza la o autoritate decizionala si morala care gandeste si ia decizii pentru el inseamna ca practic recunoaste ca nu are aceste facultati si intrebarea cred ca se schimba si putem sa ne intrebam ce fel de societate e aceea in care oamenii sunt ghidati de la pupitrul de comanda ?

    Discutia se poate muta si in domeniul plantelor modificate genetic al caror implicatii in 2-3 generatii asupra oamenilor si asupra ecosistemului, cat mai e, nu le cunoastem, toate in conditiile in care simularile care s-ar putea face si cunostintele privind legaturile intre organisme si mediu sunt inca in stadiu incipient pe de o parte si nu se pot simula pe tehnologiile actuale.

    Pe principiul gandirii de grup, cercetatorii insista ca Greenpeace nu mai puna bete in roate OMG-urilor, in conditiie in care stim cu totii cum functioneaza grant-urile si ca negocierile TTIP se fac cu usile inchise si Greenpeace-ul publica leak-uri de documente de la aceste negocieri care ar trebui sa-i informeze pe oameni despre decizii care ii privesc in mod direct.

  2. Da zarurile au fost aruncate. Un raport al Parlamentului European prevede crearea unei personalităţi juridice pentru roboţi. Aceştia vor deveni „persoane electronice”. Acuma discutam cita autonomie dam robotului. Si daca vrem sa facem un exercitiu de imaginatie putem sa ne imaginam ca suntem operati de un robot doctor (deja se practica in anumite limite) si robotul dupa ce executa operatia constata ca pacientul are o problema la centrul de comanda la care trebuie intervenit pentru ca operatia sa fie o reusita completa. Pacientul nu este cooperant deci nu poate fi intrebat. Operatia in sine nu este o problema complicata. Problema este citi vor opta sa le faca cineva ordine printre neuroni?

    • Asta e marketing sponsorizat politic si ar trebui interzis … Nu poti declara agentii electronici care sunt doar niste utilitare, persoane … E o aberatie …

    • Robotii medicali nu sunt autonomi, sunt programati si condusi de oameni. Sunt o versiune mult mai complexa a ceea ce in lumea IT se numeste „Hello world”, dar nu sunt inteligente artificiale si nu au ce „persoana electronica” sa fie mai mult decat un aspirator automatizat.

  3. Diverse forme de „autopilot” există de vreo 35-40 de ani pe mașiini și e o surpriză cât se poate de neplăcută să vezi că sistemul cruise control (numit în unele variante mai vechi chiar ”autopilot”) readuce mașina la 160km/h (pe o autostradă din Germania) deși nu erai tocmai pregătit pentru asta :)

    Orice sistem automatizat vine cu diverse probleme la pachet, nu e deloc plăcut să te trezești că o pedală de accelerație electronică defectă determină oprirea motorului la 140 km/h (pe o autostradă din Austria) când știi foarte bine că pedala ”clasică” ar fi fost total incapabilă de așa ceva. Chiar dacă la sistemul clasic ți s-a întâmplat să se rupă cablul de accelerație și să te trezești în trafic cu motorul la turație maximă.

    Prin urmare, există sisteme pe care le utilizăm zilnic fără să știm măcar că există, iar funcționarea lor defectuoasă poate avea conscințe chiar mai grave, având în vedere că nu le putem deconecta, ca pe autopilot. Statistic, sistemele autopilot vor reduce numărul de accidente rutiere, chiar dacă în unele cazuri individuale accidentele le vor provoca tocmai ele. Însă asta se întâmplă deja de zeci de ani cu centura de siguranță: statistic, purtarea ei salvează vieți, deși în unele cazuri individuale oamenii au murit tocmai fiindcă purtau centura.

    În esență nu e ceva nou, astfel de situații vin la pachet cu tehnologia. Și probabil că primele victime au apărut când s-a inventat roata. Sau chiar mai devreme, când oamenii au învățat să aprindă focul.

  4. pfff, socialism / comunism domnule
    deja politrucii au drept de viata si moarte asupra mujicilor, daca mai lasam si softul sa ne apese pedalele, creierul o sa intre rapid in contractie (dupa ce a fost serios gonflat cu can canuri si breaking newsuri). uite cum sta treaba : un computer, teoretic poate atinge performante uriase, pericolul este ca trebuie sa i racesti procesoarele. un automobil de asemenea consuma multa energie (chiar in repaus) pentru a si mentine retelele neuronale (!). unde i miriitul unui motor puternic „under the hood” si placerea schimbarii manetei de viteze !?

  5. @un_batrin Deja realitatea depaseste fictiunea. Sunt roboti capabili sa invete si sa se autoprogrameze. Limitele sunt pentru ca oamenii sa nu foloseasca robotul ca arma, adica sa deturneze robotul de la scopul lui initial si sa execute lucruri care sa sa fie periculoase pentru omenire. Asigurarea programului si investindul cu personalitate juridica se atinge un alt nivel. Dupa asta vom vedea ce trebuie imbunatatit.

    • Se atinge un alt nivel al deresponsabilizarii. Entitatea juridica robotul va avea in spate un capital si probabil o asigurare. Imediat se vor gasi tot felul de firme care sa faca asigurari, se vor da legi care sa oblige posesorii de entitati informatice sa le securizeze, asigure si se vor dezvolta o gramada de afaceri din care cei mai castigati vor fi cei care lucreaza in administratia publica.

      Evident deresponsabilizarea va capata noi valente. Cei cu multi bani vor putea sa-si creeze o plasa juridica in care orice neregula va fi cuantificata in bani dand practic mana libera eficientizarii, adica angajarii de mana de lucru ieftina si slab calificata, a se citi iresponsabila, care sa produca repede, pentru a putea concura cu competitia de pe piata si deroband factorii decizionali de raspunderea cauzata de utilizarea programelor.

      Pagubitii se vor impotmoli cel mai probabil intr-o legislatie stufoasa si vor putea spera in cazul cel mai bun la o recompensa baneasca in timp ce proprietarul de tehnologie va fi bine mersi si va continua sa fluiere vesel la adapostul unei legislatii creata special sa-l acopere.

      • Și uite așa ajungem la idei marxiste, când nu înțelegem cum funcționează lumea în realitate și ne imaginăm capitaliștii ca pe niște balauri care sug sângele poporului.

        Când proprietarul tehnologiei e o corporație ai cărei acționari sunt fondul de pensii al profesorilor din California sau fondul de pensii al judecătorilor din Texas, cine ”fluieră vesel”? Profesorii și judecătorii?

        Cum ar trebui să arate legislația ca să satisfacă hipsterul român? Cu execuții publice pe stadioane, ca în China și Iran?

        • Nu stiu de ce ecuati responsabilitatea cu marxismul.

          Stiti bine ca asa se intampla iar realitatea este cat se poate de bogata in exemple de acest gen …

          Legislatia care sa protejeze consumatorul de abuzuri lipseste in multe aspecte ale vietii cotidiene si prezenta ei ar face viata mult mai usoara si mai frumoasa tuturor oamenilor, eliberand omul de la o munca pusa in slujba profitului catre una pusa in slujba omului, bunastarii, sanatatii …

          • @Vlad – ce-ar fi să trecem la exemple concrete? Că de hearsay e plină lumea!

            Ce legislație care să protejeze consumatorul vă lipsește dvs.în viața de zi cu zi? Concret, în ce tranzacție comercială aveți calitatea de consumator și nu sunteți protejat? În ce mod nu sunteți protejat în acea tranzacție?

            • Concret: produse alimentare care se comercializeaza si contin aditivi, coloranti, chimicale, hormoni fie direct in procesul de fabricatie, fie indirect in lantul de productie. Aceste produse sunt improprii consumului si trebuiesc INTERZISE prin LEGE.

              Software-ul si hardware-ul care se vand trebuie sa vina cu sursele si specificatiile tehnice pentru a putea opera modificari acolo unde este cazul si nevoia. Comercializarea software-ului cu surse inchise sau a hardware-ului cu specificatii inchise abuzeaza cumparatorul care realizeaza ca in urma tranzactiei de vanzare-cumparare nu intra integral in posesia bunului. Acelasi lucru e valabil si la software-urile sau dispozitivele incorporate in diverse produse cum ar fi masinile spre exemplu.

              Constructorii de locuinte ar trebui sa fie inscrisi intr-o asociatie care sa suporte eventualele pagube, plangeri ale cumparatorilor datorate viciilor de constructie asa cum este in alte tari, spre exemplu in Canada.

              CFR-ul pacaleste cumparatorii de bilete avand o infrastructura care nu corespunde realitatii stipulate in software-urile de vandut bilete si vinde bilete la vagoane de clasa a 2-a pe post de bilete de clasa 1. Recent am mers cu un vagon de clasa 1 care nu avea aer conditionat in conditiile in care afara erau 30 si de grade si am fost invitat prietenos sa ma mut la vagonul de clasa a 2-a care are aer conditionat.

              Trebuie INTERZISA prin LEGE difuzarea reclamelor la filmele difuzate in cinematografe sau inregistrate pe DVD-uri pentru ca este publicitate pe banii beneficiarului de servicii si este in esenta un furt.

              Trebuie INTERZISA prin LEGE difuzare de reclame si continut subcultural si suburban pe canalele de desene animate precum si in programele care sunt destinate copiilor. CNA-ul desi ar trebui sa se sesizeze la aceste aspecte nu o face intretinand fie din inconstienta, caz in care ar trebui schimbat, fie in cunostinta de cauza subculturalizarea unui public fragil, permeabil si in marea lui majoritate fara discernamant.

              Daca imi vin idei va scriu …

            • @Vlad – fără supărare, o asemenea înșiruire spune mai multe despre dvs.decât despre problemele enumerate. I rest my case :)

            • Alta nemultumire este legata de drepturile beneficiarului de servicii.

              De exemplu la cartela Vodafone creditul pe care il consum ar trebui sa fie optiunea mea si nu a furnizorului de servicii.

              Nu ar trebui sa existe optiune implicita de consumare a creditului de pe cartela. Daca am incarcat 20 de euro spre exemplu si am cumparat o optiune de 2 euro, cei 18 euro ramasi nu ar trebui sa-i cheltuiasca furnizorul de servicii „oferindu-mi” trafic de date si de voce ci beneficiarul. Cei 18 euro nu sunt proprietatea Vodafone ci sunt extra creditul meu pe care aleg cum sa-l folosesc in functie de necesitati achizitionand optiuni. Optiunea la liber, adica cea implicita, este o oferta extrem de dezavantajoasa raportat la tarifele percepute si nu este in niciun caz optiunea beneficiarului ci a furnizorului.

              Acest aspect este un abuz.

    • Cele trei plus una legi ale roboticii sint mult mai complexe si in viziunea lui Asimov sint hardwired in procesorul robotului. Orice incercare de incalcare ar duce la scoaterea din functiune a acestuia.
      In aceste conditii limitarile sint mul mai restrictive. Problema este daca se doresc asemenea roboti si ar mai fi de vazut daca deciziile luate de o asemenea AI ar conveni majoritatii populatiei. Spre exemplu s-ar putea ca solutia supravietuirii omenirii inr-un moment de criza sa fie reducerea populatiei.

    • Deep learning este abia in stadiu experimental si nici un AI nu a ajuns rezonabil inteligent, e celebru cazul recent in care unul a luat-o razna in mai putin de 24 de ore. Pana la AI reale, cu adevarat inteligente si capabile de decizii simple (decizii, nu algoritmi), mai e cale lunga.

  6. @Harald

    In mod cert spune … dar de ce trebuie sa pierd ore intregi in market alegand produsele bune, de ce trebuie sa stai sa pazesti ofertantii de servicii cand exista autoritati de protectie a consumatorului, a audiovizualului care este in mod clar ca nu isi fac treaba ?

    M-ati intrebat si v-am raspuns. Se pot face legi de pe urma carora ar beneficia o gramada de oameni, legi care nu sunt marxiste ci pur si simplu ar trasa o linie a bunului simt.

    Serviciile si produsele exista pe piata pentru ca cei mai multi consumatori nu cunosc ce cumpara sau pur si simplu ofertantii abuzeaza de pozitii dominante pe piata, fie pur si simplu speculeaza o categorie de cumparatori care nu au bani si sunt prost informati.

    Spuneti dumnevoastra ce se intampla cu acesti consumatori in contextul robotizarii ? Care sunt implicatiile unei erori umane sau automate in contextul automatizarii ?

    • @Vlad – se pare că ignorați un aspect de bază în relațiile comerciale, un aspect fundamental, dar atât de simplu încât probabil nu s-a gândit nimeni să vi-l explice vreodată: comerciantul este cel care stabilește CE vinde, nu clientul. Nu vă puteți duce la Vodafone să le spuneți că vreți să cumpărați alt serviciu decât cel pe care-l vând ei, nu vă puteți duce la brutărie să vreți franzele cu 4 crestături dacă ei vând cu 3 crestături ș.a.m.d.

      Pentru bunul simț nu se pot face legi. Legile presupun ”enforcement”, deci costuri pentru întreaga societate. Orice implicații ale unei erori umane se pot încadra într-o formă sau alta în prevederile Codului Penal, deci există modalități de a le sancționa. Dar dacă hipsterul vrea să se uite la filme în timp ce mașina e pe autopilot, nicio lege nu îl poate proteja împotriva prostiei proprii.

      • E corect ce spuneti … dar traim in societati umane nu in piata. Societatea umana nu este doar o piata in care fiecare vinde si intinde presul si vinde ce-l taie pe el capul. De exemplu var pe post de faina, lapte de soia pe post de lapte de vaca si asa mai departe. Libertatea vanzatorului se termina acolo unde abuzeaza de libertatea cumparatorului. De exemplu abuzul de pozitie dominanta, constituirea de carteluri, furtul la cantar, falsificarea etichetei.

        Pentru acest gen de abuzuri, protectia consumatorului, directia de sanepid si asa mai departe se sesizeaza aplica amezi si asa mai departe.

        Ele sigur nu functioneaza asa cum ar trebui pentru ca exista multi bani la mijloc. Cazuri celebre cum este cel al vanzarii de laptei praf Nestle in Africa este unul din ele.

        In America precum si in Europa exista legislatie care reglementeaza o gramada de aspecte legate de comercializarea bunurilor pe piata „libera”. Food and Drug Administration din SUA are niste politici extrem de stricte privind procedurile de lucru. Evident asta nu ii impiedica sa permita comercializare tuturor junk-urile dar asta este datorita slabei reglementari.

        Mai nou exista eforturi de a scrie pe etichetele produselor cantitatea de zahar intr-o masura universal inteligibila, adica in lingurite pentru ca tot omul sa stie ce inseamna.

LĂSAȚI UN MESAJ

Vă rugăm să introduceți comentariul dvs.!
Introduceți aici numele dvs.

Autor

Mihai Badici
Mihai Badici
Absolvent al Facultății de Electronică si Telecomunicații București ( 1991) Administrator de sistem cu peste zece ani de experiență cu specializari in sisteme de stocare si securitatea datelor. De asemenea a absolvit in 1996 Facultatea de Litere la Universitatea Bucuresti. In prezent, consultant IT independent, colaboreaza pe mai multe proiecte legate de infrastructura de date.

Sprijiniți proiectul Contributors.ro

Pagini

Carti noi

 

Cu acest volum, Mirel Bănică revine la mai vechile sale preocupări și teme de cercetare legate de relația dintre religie și modernitate, de înțelegerea și descrierea modului în care societatea românească se raportează la religie, în special la ortodoxie. Ideea sa călăuzitoare este că prin monahismul românesc de după 1990 putem înțelege mai bine fenomenul religios contemporan, în măsura în care monahismul constituie o ilustrare exemplară a tensiunii dintre creștinism și lumea actuală, precum și a permanentei reconfigurări a raportului de putere dintre ele.
Poarta de acces aleasă pentru a pătrunde în lumea mănăstirilor o reprezintă ceea ce denumim generic „economia monastică”. Autorul vizitează astfel cu precădere mănăstirile românești care s-au remarcat prin produsele lor medicinale, alimentare, cosmetice, textile... Cumpara cartea de aici

Carti noi

În ciuda repetatelor avertismente venite de la Casa Albă, invazia Ucrainei de către Rusia a șocat întreaga comunitate internațională. De ce a declanșat Putin războiul – și de ce s-a derulat acesta în modalități neimaginabile până acum? Ucrainenii au reușit să țină piept unei forte militare superioare, Occidentul s-a unit, în vreme ce Rusia a devenit tot mai izolată în lume.
Cartea de față relatează istoria exhaustivă a acestui conflict – originile, evoluția și consecințele deja evidente – sau posibile în viitor – ale acestuia. Cumpara volumul de aici

 

Carti

După ce cucerește cea de-a Doua Romă, inima Imperiului Bizantin, în 1453, Mahomed II își adaugă titlul de cezar: otomanii se consideră de-acum descendenții Romei. În imperiul lor, toleranța religioasă era o realitate cu mult înainte ca Occidentul să fi învățat această lecție. Amanunte aici

 
„Chiar dacă războiul va mai dura, soarta lui este decisă. E greu de imaginat vreun scenariu plauzibil în care Rusia iese învingătoare. Sunt tot mai multe semne că sfârşitul regimului Putin se apropie. Am putea asista însă la un proces îndelungat, cu convulsii majore, care să modifice radical evoluţiile istorice în spaţiul eurasiatic. În centrul acestor evoluţii, rămâne Rusia, o ţară uriaşă, cu un regim hibrid, între autoritarism electoral şi dictatură autentică. În ultimele luni, în Rusia a avut loc o pierdere uriaşă de capital uman. 
Cumpara cartea

 

 

Esential HotNews

contributors.ro

Contributors.ro este intr-o permanenta cautare de autori care pot da valoare adaugata dezbaterii publice. Semnaturile noi sunt binevenite cata vreme respecta regulile de baza ale site-ului. Incurajam dezbaterea relaxata, bazata pe forta argumentelor.
Contact: editor[at]contributors.ro