Despre oameni, vagoane și Google

Acest articol a apărut în ultimul număr al revistei Biz

Am să încep acest articol cu o serie (scurtă) de dileme etice. Vă rog, deci, să aveți răbdare cu ele și cu mine, promit să ducă undeva. Sunt dileme clasice și foarte simple, de fapt, dar foarte revelatoare despre felul în care se aliniază alegerile noastre morale.

Prima e celebra dilemă a vagonului. Imaginați-vă următoarea situație: sunteți pe marginea unei linii ferate și vedeți cum vine la vale, din stânga, un vagon de marfă scăpat de sub control. Vagonul nu are pe nimeni la bord și nu-l puteți opri. Acum vă uitați ce e în dreapta și observați, cu oroare, 6 muncitori care lucrează la terasament într-un loc îngust de unde nu pot fugi sau nu se pot feri. Vagonul îi va strivi și ucide, cu siguranță, pe toți șase. Căutați înfrigurați o soluție și vedeți spre ușurarea voastră că în fața voastră e un macaz care ar ruta vagonul către o linie moartă. Dar, oroare, la capătul ei e un alt muncitor, unul singur, care de asemenea nu are unde fugi și va fi ucis. Întrebarea e, împingeți macazul, sau nu? Vă rog luați-vă un moment și răspundeți la întrebarea asta. Și nu trișați. Nu puteți avertiza pe nimeni, nu există vreo șansă ca cineva să scape. E ce e, de aia e dilemă, dacă avea soluții bune, nu era.

Dacă ați răspuns, atunci să știți așa: nu toți oamenii răspund ca voi. Ceva mai mult de jumătate (spre ⅔) din experiența mea cu oameni cărora le-am dat dilema asta (e drept, auto-selectați din populație managerială sau antreprenorială) aleg să împingă macazul. Ceilalți, cam o treime spre o jumătate, nu. Și acum vă mai rog ceva. Indiferent în ce categorie vă aflați, încercați să vă argumentați răspunsul. Veți afla, pe această cale, că morala noastră nu e rațională ci emoțional-impulsivă, nicio decizie morală nu vine din rațiune, raționalizările sunt toate post-hoc. Asta poate vă ajută data viitoare când intrați în polemici morale pe Facebook :-).

Acum, întrebarea e, ce ați argumentat. Dintre cei care împing macazul, cei mai mulți argumentează simplu: E mai bine să moară un om decât șase. E o decizie grea, dar necesară. Cei care nu îl împing argumentează, de regulă, din perspectiva acțiunii conștiente de a ucide un om. Nu suntem Dumnezeu, nu decidem cine trăiește și cine moare: Cei 6 nu mor de mâna mea, dar cel unul, da. Observați, în treacăt (observație importantă pentru cele ce urmează), că morala noastră e mai drastică cu acțiunea decât cu inacțiunea. Sunt puține legi pe lume care pedepsesc pe cineva pentru inacțiunea care putea salva un om (deși e moralmente sancționabilă, dar nu și legal) în schimb sunt puține legi permisive cu actul conștient de a ucide pe cineva. Chiar în cazul de mai sus, e de așteptat ca persoanele care împing macazul să trebuiască să-și justifice alegerea în vreun fel de instanță, în timp ce celelalte, nu.

În trecere fie vorba, am dat peste cele două mari școli de gândire care domină alegerile noastre morale. Una e a utilitarienilor, de la Jeremy Bentham și John Stuart Mill citire, care susține că singurul izvor posibil al moralei e maximizarea binelui și minimizarea suferinței în lume. Sunt multe de zis aici, nu insist, dar pare să aibă sens, deși, iată, nu toți gândesc așa. Cea de a doua e a deontologilor, care are în centru opera lui Immanuel Kant, care spune că binele e absolut și că a face bine e o îndatorire morală absolută și categorică, pentru ea însăși. Moral este, spune Kant, nu doar să faci bine ci să faci bine pentru că este bine. Și mai spune că toți știm ce e bine și ce e rău și că trebuie să ne sondăm doar conștiința pentru asta. Dă și unele metode, interesante, cum să o faci. Din perspectiva deontologică, a ucide pe cineva e rău, punct. Și asta pare să aibă sens! De aici dilemele…

Acum, scenariile astea simple pot fi supuse la multe variații, de pildă: s-ar schimba alegerea voastră dacă:

  1. Ar fi doar 2 oameni pe șină în loc de 6?
  2. Cei doi ar fi bătrâni dar cel unu tânăr?
  3. Cel unu e un copil, cei 6 sunt adulți?
  4. Cel unu vă e fiu? Dar frate? Dar văr? Dar coleg de liceu? Dar consătean? Dar co-național? Dar din aceeași rasă sau etnie iar cei 6 nu (de pildă romi)? Dar dacă cei de rasă sau etnie diferită ar fi doar 2? Dar dacă ar fi imigranți?
  5. Dacă nu există macaz, dar ați putea opri vagonul împingând pe cineva pe șine (un om gras, ca să nu fie suficient să vă aruncați voi), l-ați împinge? De ce nu, dacă nu? Nu e tot aia?
  6. Dar dacă în loc să-l împingeți ați apăsa pe un buton care acționează o trapă pe care el întâmplător stă?
  7. Dacă ați privi scena de la mare distanță, pe net, dar ați putea da un click care împinge macazul?
  8. Dar dacă ați fi la distanță, pe net, și ați putea da un click care acționează trapa pe care stă grasul?

Răspunzând la întrebările astea veți da, probabil, și peste alte articulări interesante ale moralei noastre. De pildă că, deși universală, e afectată de proximitate, întâi emoțională, apoi fizică. Morala noastră se așează în cercuri concentrice, cu cât e cercul mai departe de noi cu atât atitudinea noastră morală e mai slabă față de acele persoane. Veți mai afla că proximitatea vă face deontologi 🙂 Veți mai afla și un alt principiu universal al moralei, anume că oamenii pot fi victime ale unui act moral, dar nu pot fi instrumente ale lui, (vezi cazul grasului), că e imoral ca oamenii să fie folosiți ca mijloace ale acțiunii morale, ei pot fi doar scopurile ei.

De ce vă spun toate astea și ce legătură are asta cu Google? Google a anunțat recent că a pornit primul program pilot de automobile fără șofer în Phoenix, Arizona. Asta e o veste extrem de mare. Vă imaginați ce ar putea însemna asta pentru omenire? În ce fel ar revoluționa mobilitatea? Cum ar arăta orașele? Dar, inclusă în veste, e o dilemă interesantă. Atunci când la volanul unei mașini se află un conducător uman, în spatele mașinăriei mecanice care pune în mișcare automobilul se află o formidabil de sofisticată mașinărie morală, una care poate lua în fracțiuni de secundă decizii grele, dilematice, chiar dacă mereu discutabile. Dar ce decizii morale va lua Google? Și în ce instanțe vor fi ele analizate? Dacă o mașină fără șofer se află într-o situație fără ieșire, în care trebuie să decidă între a ucide doi tineri cu un copil sau un cuplu de bătrâni, ce va decide? Conform cărui algoritm? Dar dacă va trebui să decidă între doi oameni de pe stradă și un pasager? Cum decide? Cine scrie algoritmul? Cum învață el?

Și întrebarea esențială: suntem pregătiți să ne delegăm morala mașinilor?

P.S. De când am scris acest articol până la publicarea lui, o mașină Uber fără șofer a ucis un om. Deși nu a fost o situație etic dilematică, întrebarea capătă, iată, o bruscă actualitate.

Despre oameni, vagoane și Google
4.7 din 14 voturi

18 comments

  1. Iulian Dima says:

    Imi amintesc ca, acum aproximativ un an, am folosit un test pus la dispozitia publicului si care foloseste dileme din aceeasi gama pentru a ajuta IA-urile cu care sunt echipate masinile autonome sa ia decizii in situatii similare. Ideea din spate este sa stranga date de la cat mai multi oameni, astfel incat IA-ul sa actioneze similar cu un om atunci cand se afla intr-o sitiuatie limita. Un exemplu este aici: http://moralmachine.mit.edu/ . Problema responsabilitatii ridicata de tine este mult mai interesanta. Cel mai probabil, in scurt timp, si aceasta va fi reglementata. Avantajele unui IA care produce, la acest moment cand tehnologia e inca tanara, un incident auto la 1.000.000 km parcursi, versus omul care produce un incident la 10.000 km, sunt indiscutabile. Sunt convins ca asiguratorii vor oferi, in cativa ani, produse care sa adreseze aceasta situatie. Cel mai plauzibil responsabilitatea morala se va dilua si va fi inlocuita de o responsabilitate materiala substantial mai mare si, din acest motiv, nu cred ca oamenii normali isi vor mai permita sa detina automobile, pretul masina + asigurari va fi prohibitiv. Momentul in care marii producatori de automobile vor oferi produse de tip „car as a service” nu e departe. Uber stie asta si de aceea investeste masiv in dezvoltarea AI specializate si in parteneriate cu producatorii de masini.

    • Adrian Stanciu says:

      E clar că, rațional vorbind, mașinile vor performa mai bine. Dar oamenii nu sunt raționali. Problema unei etici controlată de mașini mi se pare una foarte interesantă și care va pune probleme filozofice esențiale, cu implicații largi. E posibil ca ele să se tranșeze prin cutumă și precedent, pentru că lumea nu va avea timp de asta. Dar tot ce trebuie ca să fie aduse în prim plan e un incident major, foarte vizibil, de genul răpirii copilului lui Lidnbergh. Problema nu e nouă și nici limitată la automobile autonome. S-a pus deja în cazul operatorilor de drone care ucid de la mare distanță, apăsând un buton pe un joystick al unui joc video. În cazul lor rezolvarea e simplă, pentru că nu li se cer niciodată decizii rapide, morale și e mereu timp de analize raționale. Ideea e că, într-o lume a automatelor, etica va trebui automatizată. Suntem pregătiți pentru asta?

      • Iulian Dima says:

        Pe de alta parte memoria publica actuala functioneaza pe durate extrem de scurte de timp. Oamenii uita usor, presa gaseste alte povesti interesante. Nu cred ca un incident, fie el si catastrofic, si care implica IA sau masini inteligente, poate sa produca altceva decat, cel mult, o intarziere a implementarii pe scara larga. Avantajele economice si politice indiscutabile vor prima in cele din urma. Personal sunt mult mai preocupat de experiementele de inginerie sociala care se fac acum in China folosind Big Data, IA si Machine Learning: https://www.wired.com/story/age-of-social-credit/?mbid=social_fb_onsiteshare. Realizez cat de tentant suna, pentru multi, incluisiv pentru decidentii politci un astfel de control al oamenilor. Cert este ca automatizarea, inclusiv a eticii, se intampla deja, indiferent daca suntem sau nu pregatiti pentru asta. In contextul asta ideea lui Elon Musk de a face IA parte din noi (vezi Neuralink – https://waitbutwhy.com/2017/04/neuralink.html) imi pare din ce in ce mai corecta. Viitorul este deja aici, ne adaptam sau …

        • Adrian Stanciu says:

          Eu nu am ridicat problema din unghiul limitării IA sau al întârzierii implementării. Nu cred că e posibil, oricum. Beneficiile sunt uriașe, cel puțin dacă vorbim de vehicule autonome. Spun doar că IA va ridica probleme care depășesc cu mult cadrul inteligenței și pe care suntem obișnuiți să le tratăm cu cu totul altfel de metode. Un dispozitiv IA care va fi mai inteligent decât oamenii va propune norme etice supra-umane. Din această perspectivă, va fi un nou Dumnezeu, sau chiar noul Dumnezeu.

          Felul actual în care e tratată problema e extrem de trivial: algoritmii sunt proiectați să frâneze din timp, dar nu fac mișcări de evitare. Ca atare evită să ia decizii etice. Cumva se bazează pe ideea asta că lipsa de acțiune cu consecințe grave e mai tolerată decât acțiunea cu consecințe grave. În plus, cum ziceai, mașina e cam de 10 ori mai capabilă să evite un accident prin frânare decât un om, prin timpul de reacție mult redus și prin atenția de 100% acordată condusului. Dar, cu timpul, problema se va pune. Vehiculele autonome sunt doar primele mașini la care problema se pune, nicidecum ultimele.

  2. Donkeypapuas says:

    Viața reală nu este supusă deciziilor binare de esență maniheică, așa cum încearcă ideologiile totalitare să impună. Prin urmare și premisa de la care se pornește este greșită pentru că SUNT MAI MULT DE 2 reacțiile care se stârnesc.
    O a treia cale, pronind de la psihologie, există acea categorie de oameni care sunt paralizați! Nu reușesc să ia o decizie în foarte scurt timp.
    Apoi există acea categorie care va încerca să arunce un pietroi, un buștean, un pai (sic!) în calea forței dezlănțuite.
    Mai mult, vor fi câțiva nebuni, poate, care vor încerca să se urce din mers în vagon și să acționeze mecanismul de frânare.
    Ba și în situația propusă a schimbării macazului, există o alternativă: să fie anunțat lucrătorul singuratic să se arunce pe burtă între șine și să-și acopere capul cu mâinile, pentru ca pericolul să-i treacă pe de-asupra fără să-l lovească.
    Și bomboana pe colivă, soluția progresiștilor ”umanitari”: pentru că posibilele victime să nu ”sufere”, un lunetist le va ucide cu arma din dotare pentru că muncitorii (muncitorul) să moară fără chinuri.

    • Adrian Stanciu says:

      Dilema vagonetului nu e despre viața reală. E un exercițiu mental care dezvăluie fundamentele filozofice ale moralei. E, deci, un exercițiu filozofic. Filozofia există fix ca să facă ordine în haos. Nu spune nimeni că opțiunile sunt simple, ci doar că ele pot fi înțelese mai bine prin simplificare, chiar dacă în realitate sunt complexe. Tangențial un pic, maniheismul e despre lupta binelui cu răul. Problema dilemelor etice vine fix de aici, de la lipsa variantei bune, de la alegerea între rău și rău.

      Și, pe altă tangentă, chiar nu mai putem discuta nimic fără săgeți răutăcioase și absurde la adresa altora care au alte credințe decât noi?

      • Donkeypapuas says:

        Tragedia Loviluției Franceze constă în faptul că unor probleme reale, toarășii revoluționari ghilotinari le-au răspuns cu abstracțiuni filosofice susținute de un discurs maniheic. Sau binar, dacă găsiți cuvântul ”maniheic” prea dur. Și s-a lăsat cu mortăciuni. Mult mai multe decât cei câțiva muncitori feroviari. Plus o traumă mentală pentru generații.

  3. Luc says:

    He, he, ete lupul moralist. Imi aduc aminte, cu multi ani in urma, ai fost pus ,,la macaz”. Ai optat sa ,,ucizi” muncitorii, multi. In lumea de astazi te-ai intreba care echipa de muncitori e mai productiva, aduce mai mult profit. Asa a fost atunci. Poate acum luai alta decizie. Sunt convins ca viata iti va pune in fata multe din deciziile luate iar unele te vor bantui. Dar esti un pragmatic si cred ca te vei descurca. Succesuri!

    • Adrian Stanciu says:

      🙂 🙂 Nu știu de ce am senzația de „déjà vu” :-). Care macaz, care muncitori și, mai ales, care lup moralist? Ce morală vezi tu în articolul ăsta?

  4. Adelina Stoian says:

    Cred ca nu suntem pregatiti si nici nu vom fi vreodata.
    In primul rand, pentru a fi cat de cat confortabili cu ideea cedarii alegerilor etice catre masini, ar fi necesar ca algoritmii dupa care functioneaza sa fie construiti de “cei mai buni dintre pamanteni”. Un fel de oameni perfecti, cu principii etice ireprosabile (nu e clar cine ar stabili ce e ireprosabil si ce nu), capabili sa-si descrie mecanismele psihice perfect, identificand toate variabilele si relatiile dintre ele. Desi toti tindem sa intelegem cat mai mult din ceea ce se intampla, eu nu stiu sa existe astfel de oameni.

    In al doilea rand, oamenii isi schimba permanent modul de a gandi si simti, in functie de experientele prin care trec. Prin urmare, oamenii perfecti de la primul paragraf, s-ar schimba si ei, devenind – intr-un scenariu optimist – ceva mai buni decat erau. Deci algoritmii aia ar trebui sa fie intr-o continua schimbare.

    In al treilea rand, exista numeroase exemple de situatii extreme, in care oamenii si-au accesat resurse pe care nu stiau ca le au, gasind solutii incredibile, sfidand legile logicii, fizicii si alte legi  In astfel de momente, emotiile pot cataliza procesul creativ prin mecanisme pe care le intelegem doar in mica parte. Aceste tipuri de solutii nu sunt accesibile masinilor.

    Mai mult decat atat, daca pe anumite segmente ale alegerilor etice vom ceda teritoriul catre masini, atunci cand ne-am afla in scenariul cel mai pesimist, rezultatul tragic va fi garantat, ne-negociabil. Nu negociezi cu o masina. Ne-am afla, astfel, in situatii in care, oricat am fi de tari, de inteligenti, de valorosi, de abili, nu am avea nici macar o speranta irationala de a iesi cu bine din infruntare.

    Ar insemna ca oamenii renunta singuri la o parte din ceea ce este specific uman. Cam autodistructiv, nu ?
    Cu toate astea, cred ca experimentele de genul asta vor continua. Cel putin pana la un punct. E specific omului sa-si exploreze limitele.

    • Adrian Stanciu says:

      Asta depinde foarte tare de cum definești existența. Problema a preocupat filozofii de când lumea. Vezi Descartes și Spinoza, de pildă. Cogito, ergo sum. Pe mine nu prea mă preocupă :-).

Lasă un răspuns

Adresa ta de email nu va fi publicată. Câmpurile obligatorii sunt marcate cu *

Acest sit folosește Akismet pentru a reduce spamul. Află cum sunt procesate datele comentariilor tale.