Lupta curierului Uber Eats împotriva părtinirii inteligenței artificiale arată că justiția conform legii britanice este câștigată cu greu

Marți, BBC a raportat că Pa Edrissa Manjang, un curier Uber Eats de culoare, a primit o plată de la Uber după ce verificările discriminatorii de recunoaștere facială l-au împiedicat să folosească aplicația. Manjang a depus plângeri și a obținut o înțelegere cu Uber în urma unui proces juridic bazat pe legea egalității din UK. Cazul ridică probleme legate de utilizarea AI și lipsa de transparență privind sistemele automate. Legea protecției datelor din UK ar trebui să furnizeze protecție împotriva proceselor AI opace, dar aplicarea este crucială. Lipsa unui răspuns adecvat din partea autorității de reglementare evidențiază nevoia de intervenție mai proactivă în protecția drepturilor individuale în fața sistemelor AI incorecte.

Marți, BBC a raportat că curierul Uber Eats, Pa Edrissa Manjang, care este negru, a primit o plată de la Uber după ce verificările de recunoaștere facială „discriminatorie rasial” l-au împiedicat să acceseze aplicația, pe care o folosea din noiembrie 2019 pentru a-și ridica locuri de muncă în livrarea de alimente la Uber. platformă.

Știrea ridică întrebări cu privire la cât de potrivită este legea britanică să facă față utilizării în creștere a sistemelor AI. În special, lipsa de transparență în ceea ce privește sistemele automatizate introduse în grabă pe piață, cu promisiunea de a spori siguranța utilizatorilor și/sau eficiența serviciilor, care ar putea risca să extindă prejudicii individuale, chiar dacă obținerea de despăgubiri pentru cei afectați de prejudecățile determinate de IA poate dura. ani.

Procesul a urmat o serie de plângeri cu privire la verificările eșuate de recunoaștere facială, de când Uber a implementat sistemul de verificare a ID-ului în timp real în Marea Britanie în aprilie 2020. Sistemul de recunoaștere facială al Uber – bazat pe tehnologia de recunoaștere facială a Microsoft – solicită deținătorului contului să trimită un selfie în direct verificat cu o fotografie a acestora deținută în dosar pentru a-și verifica identitatea.

Verificări de identitate eșuate

Conform plângerii lui Manjang, Uber și-a suspendat și apoi și-a închis contul în urma unei verificări de identitate eșuate și a unui proces automatizat ulterior, pretinzând că a găsit „nepotriviri continue” în fotografiile feței sale pe care le-a făcut în scopul accesării platformei. Manjang a depus plângeri împotriva Uber în octombrie 2021, cu sprijinul Comisiei pentru Egalitate și Drepturile Omului (EHRC) și App Drivers & Couriers Union (ADCU).

Au urmat ani de litigii, Uber nu a reușit să anuleze cererea lui Manjang sau să se dispună un depozit pentru continuarea cazului. Tactica pare să fi contribuit la înlăturarea litigiului, cu EHRC descriind cazul ca fiind încă în „etape preliminare” în toamna anului 2023 și menționând că cazul arată „complexitatea unei reclamații care se ocupă de tehnologia AI”. O audiere finală a fost programată pentru 17 zile în noiembrie 2024.

Audierea nu va avea loc după ce Uber a oferit – iar Manjang a acceptat – o plată de plătit, adică detalii mai complete despre ce anume a mers prost și de ce nu vor fi făcute publice. Nici termenii acordului financiar nu au fost dezvăluiți. Uber nu a oferit detalii când am întrebat și nici nu a oferit comentarii despre exact ce a mers prost.

De asemenea, am contactat Microsoft pentru un răspuns la rezultatul cazului, dar compania a refuzat să comenteze.

În ciuda înțelegerii cu Manjang, Uber nu acceptă public că sistemele sau procesele sale au fost vinovate. Declarația sa despre decontare neagă că conturile de curierat pot fi desființate doar ca urmare a evaluărilor AI, deoarece susține că controalele de recunoaștere facială sunt susținute de o „evaluare umană robustă”.

„Verificarea noastră în timp real a ID-ului este concepută pentru a menține în siguranță toți cei care folosesc aplicația noastră și include o analiză umană solidă pentru a ne asigura că nu luăm decizii cu privire la mijloacele de existență ale cuiva în vid, fără supraveghere”, a spus compania într-un comunicat. . „Verificarea facială automată nu a fost motivul pierderii temporare de către domnul Manjang a accesului la contul său de curier.”

În mod clar, totuși, ceva nu a mers foarte bine cu verificările de identitate ale Uber în cazul lui Manjang.

Schimb de informații despre lucrător (WIE), o organizație de susținere a drepturilor digitale a lucrătorilor din cadrul platformei, care a susținut și plângerea lui Manjang, a reușit să obțină toate selfie-urile sale de la Uber, printr-o Solicitare de acces la subiect în conformitate cu legea privind protecția datelor din Regatul Unit și a putut să arate că toate fotografiile pe care le-a trimis la controlul său de recunoaștere facială erau într-adevăr fotografii cu el însuși.

„După concedierea sa, Pa a trimis numeroase mesaje către Uber pentru a remedia problema, cerând în mod special unui om să-și revizuiască trimiterile. De fiecare dată când lui Pai i s-a spus „nu am putut să confirmăm că fotografiile furnizate erau de fapt cu tine și din cauza nepotrivirilor continue, am luat decizia finală de a înceta parteneriatul nostru cu tine”, povestește WIE în discuția despre cazul său într-un raport mai larg privind „exploatarea bazată pe date în economia gig”.

Pe baza detaliilor plângerii lui Manjang care au fost făcute publice, pare clar că atât verificările de recunoaștere facială ale Uber și sistemul de revizuire umană pe care îl instituise ca o plasă de siguranță revendicată pentru deciziile automate a eșuat în acest caz.

Legea egalității plus protecția datelor

Cazul pune sub semnul întrebării cât de potrivită pentru scop este legea britanică atunci când vine vorba de reglementarea utilizării AI.

Manjang a reușit în sfârșit să obțină o înțelegere de la Uber printr-un proces juridic bazat pe legea egalității – în special, o cerere de discriminare în temeiul Legii Egalității din 2006 din Regatul Unit, care enumeră rasa ca o caracteristică protejată.

Baroneasa Kishwer Falkner, președintele EHRC, a criticat faptul că curierul Uber Eats a trebuit să depună o cerere legală „pentru a înțelege procesele opace care i-au afectat munca”, a scris ea într-o declarație.

„AI este complexă și prezintă provocări unice pentru angajatori, avocați și autorități de reglementare. Este important să înțelegem că, pe măsură ce utilizarea AI crește, tehnologia poate duce la discriminare și abuzuri ale drepturilor omului”, ea. a scris. „Suntem deosebit de îngrijorați de faptul că domnul Manjang nu a fost informat că contul său era în curs de dezactivare și nici nu a oferit vreo cale clară și eficientă pentru a contesta tehnologia. Trebuie făcut mai mult pentru a se asigura că angajatorii sunt transparenți și deschiși cu forța de muncă despre când și cum folosesc AI.”

Legea privind protecția datelor din Regatul Unit este cealaltă parte legislativă relevantă aici. Pe hârtie, ar trebui să ofere protecție puternică împotriva proceselor AI opace.

Datele selfie relevante pentru revendicarea lui Manjang au fost obținute folosind drepturile de acces la date conținute în GDPR din Regatul Unit. Dacă nu ar fi reușit să obțină dovezi atât de clare că verificările de identitate ale Uber au eșuat, compania s-ar putea să nu fi ales deloc să rezolve. Demonstrarea unui sistem proprietar este viciat fără a permite persoanelor să acceseze datele personale relevante ar strânge și mai mult șansele în favoarea platformelor mult mai bogate cu resurse.

Lacune de aplicare

Dincolo de drepturile de acces la date, competențele din GDPR din Regatul Unit ar trebui să ofere indivizilor garanții suplimentare, inclusiv împotriva deciziilor automate cu un efect juridic sau similar semnificativ. Legea cere, de asemenea, o bază legală pentru prelucrarea datelor cu caracter personal și încurajează implementatorii de sisteme să fie proactivi în evaluarea potențialelor daune prin efectuarea unei evaluări a impactului privind protecția datelor. Acest lucru ar trebui să forțeze verificări suplimentare împotriva sistemelor AI dăunătoare.

Cu toate acestea, este necesară aplicarea pentru ca aceste protecții să aibă efect – inclusiv un efect de descurajare împotriva lansării unor IA părtinitoare.

În cazul Regatului Unit, agentul de aplicare relevant, Biroul Comisarului pentru Informații (ICO), nu a intervenit și nu a investigat plângerile împotriva Uber, în ciuda plângerilor cu privire la verificările sale de identitate greșite care datează din 2021.

Jon Baines, un specialist senior în protecția datelor la firma de avocatură Mishcon de Reya, sugerează că „lipsa unei aplicări adecvate” de către ICO a subminat protecția juridică a persoanelor.

„Nu ar trebui să presupunem că cadrele legale și de reglementare existente sunt incapabile să facă față unora dintre potențialele daune ale sistemelor AI”, spune el pentru TechCrunch. „În acest exemplu, mă surprinde… că Comisarul pentru informații ar avea cu siguranță competența de a analiza atât în ​​cazul individual, dar și mai larg, dacă prelucrarea efectuată a fost legală în conformitate cu GDPR din Regatul Unit.

„Lucruri de genul – este corectă procesarea? Există o bază legală? Există o condiție la articolul 9 (având în vedere că sunt prelucrate categorii speciale de date cu caracter personal)? Dar, de asemenea, și esențial, a existat o evaluare solidă a impactului privind protecția datelor înainte de implementarea aplicației de verificare?”

„Deci, da, ICO ar trebui să fie absolut mai proactiv”, adaugă el, întrebând lipsa de intervenție a autorității de reglementare.

Am contactat ICO cu privire la cazul lui Manjang, cerându-i să confirme dacă analizează sau nu utilizarea AI de către Uber pentru verificări de identitate în lumina plângerilor. Un purtător de cuvânt al organului de pază nu a răspuns direct la întrebările noastre, dar a trimis o declarație generală subliniind necesitatea ca organizațiile să „știe cum să folosească tehnologia biometrică într-un mod care să nu interfereze cu drepturile oamenilor”.

„Cel mai nou ghidare biometrică este clar că organizațiile trebuie să atenueze riscurile care vin odată cu utilizarea datelor biometrice, cum ar fi erorile de identificare corectă a oamenilor și părtinirea în sistem”, se mai spune în declarația sa, adăugând: „Dacă cineva are îngrijorări cu privire la modul în care au fost gestionate datele sale, poate raporta. aceste preocupări pentru ICO.”

Între timp, guvernul este în proces de diluare a legii privind protecția datelor printr-un proiect de lege pentru reforma datelor post-Brexit.

În plus, guvernul a confirmat, de asemenea, la începutul acestui an, că nu va introduce o legislație dedicată siguranței AI în acest moment, în ciuda faptului că prim-ministrul Rishi Sunak a făcut afirmații atrăgătoare despre siguranța AI ca un domeniu prioritar pentru administrația sa.

În schimb, a afirmat o propunere – prezentată în cartea sa albă din martie 2023 privind IA – în care intenționează să se bazeze pe legile și organismele de reglementare existente care extind activitatea de supraveghere pentru a acoperi riscurile AI care ar putea apărea pe patch-ul lor. O modificare a abordării pe care a anunțat-o în februarie a fost o sumă mică de finanțare suplimentară (10 milioane de lire sterline) pentru autoritățile de reglementare, pe care guvernul a sugerat că ar putea fi folosită pentru a cerceta riscurile AI și a dezvolta instrumente care să îi ajute să examineze sistemele AI.

Nu s-a prevăzut nicio perioadă de timp pentru plata acestui mic pot de fonduri suplimentare. Mai multe autorități de reglementare sunt în cadru aici, așa că dacă există o împărțire egală a numerarului între organisme precum ICO, EHRC și Agenția de Reglementare a Medicamentelor și a Produselor de Sănătate, pentru a numi doar trei dintre cele 13 autorități de reglementare și departamente, Secretarul de stat al Marii Britanii i-a scris luna trecută cerându-le să publice o actualizare cu privire la „abordarea lor strategică a AI”, fiecare ar putea primi mai puțin de 1 milion de lire sterline pentru a completa bugetele pentru a aborda riscurile AI care se extind rapid.

Sincer, pare un nivel incredibil de scăzut de resurse suplimentare pentru autoritățile de reglementare deja supraîncărcate dacă siguranța AI este de fapt o prioritate guvernamentală. Înseamnă, de asemenea, că există încă zero numerar sau supraveghere activă pentru daunele AI care se încadrează între fisurile mozaicului de reglementare existent al Regatului Unit, așa cum au subliniat anterior criticii abordării guvernului.

O nouă lege privind siguranța IA ar putea trimite un semnal mai puternic de prioritate – asemănător cadrului UE bazat pe riscuri pentru dăunări AI, care se grăbește spre a fi adoptat ca lege strictă de către bloc. Dar ar trebui să existe și voința de a o aplica efectiv. Și acel semnal trebuie să vină de sus.

Va invit sa cititi si articolele de mai jos pe langa acestea care sunt cele mai recente
Uber Eats courier’s fight against AI bias shows justice under UK law is hard won

Lasa un comentariu