Prejudecățile algoritmice pot influența diverse aspecte ale existenței noastre, de la recomandările de conținut online, la oportunitățile de angajare și deciziile financiare.
Înclinația către prejudecăți este o trăsătură umană. Diversitatea umană se manifestă prin genuri, rase, educații, medii socio-culturale, convingeri și experiențe diferite.
În consecință, părerile, gândurile, aprecierile, antipatiile și preferințele fiecăruia diferă. Aceste diferențe pot duce la formarea unor prejudecăți față de anumite categorii.
Nici mașinile nu sunt imune la acest fenomen. Ele pot percepe oamenii, lucrurile și evenimentele în mod diferit, ca urmare a prejudecăților introduse în algoritmii lor. Aceste distorsiuni pot conduce sistemele de inteligență artificială (IA) și învățare automată (ML) la generarea unor rezultate incorecte, afectând negativ viața oamenilor.
Acest articol va explora natura distorsiunilor algoritmice, tipurile acestora, precum și metodele de detectare și reducere, pentru a asigura rezultate mai echitabile.
Să începem!
Ce sunt distorsiunile algoritmice?
O distorsiune algoritmică reprezintă tendința algoritmilor de învățare automată și inteligență artificială de a reflecta prejudecățile umane, generând rezultate incorecte. Aceste prejudecăți pot fi bazate pe gen, vârstă, rasă, religie, etnie, cultură și alte criterii similare.
În domeniul inteligenței artificiale și al învățării automate, distorsiunile algoritmice se manifestă prin erori sistematice, repetabile, care sunt introduse într-un sistem și generează rezultate inechitabile.
Distorsiunile algoritmice pot apărea din diverse cauze, cum ar fi deciziile legate de modul în care sunt colectate datele, selectate, codificate sau utilizate în antrenamentul algoritmilor, utilizarea preconizată, design-ul algoritmului etc.
De exemplu, o distorsiune algoritmică se poate observa în rezultatele unui motor de căutare, conducând la încălcări ale confidențialității sau la părtiniri sociale.
Numeroase cazuri de distorsiuni algoritmice au fost identificate în domenii precum rezultatele alegerilor, discursul instigator la ură online, asistența medicală, justiția penală și recrutarea. Acest lucru amplifică prejudecățile existente legate de gen, rasă, economie și societate.
Tipuri de distorsiuni algoritmice
#1. Distorsiunea datelor
Distorsiunea datelor apare atunci când informațiile folosite pentru antrenarea unui model de inteligență artificială nu reflectă fidel scenariile sau populațiile din lumea reală. Acest lucru poate conduce la seturi de date dezechilibrate sau denaturate.
Sursă: TELUS International
Exemplu: Un sistem software de recunoaștere facială, antrenat în principal pe date reprezentând populația albă, poate funcționa defectuos în cazul persoanelor cu tonuri de piele mai închise, afectându-le în mod negativ.
#2. Distorsiunea de măsurare
Această distorsiune poate apărea din cauza unei erori în procesul de măsurare sau colectare a datelor.
Exemplu: Un algoritm de diagnostic medical, antrenat să identifice o boală pe baza unor factori precum numărul de vizite anterioare la medic, poate distorsiona raționamentul și induce erori, neglijând simptomele reale ale afecțiunii.
#3. Distorsiunea modelului
Distorsiunile modelului se pot manifesta în etapa de proiectare a algoritmului sau modelului de inteligență artificială.
Exemplu: Un sistem de inteligență artificială, a cărui funcție este de a maximiza profiturile indiferent de consecințe, ar putea prioritiza câștigurile financiare în detrimentul eticii în afaceri, siguranței sau corectitudinii.
#4. Distorsiunea de evaluare
Distorsiunea de evaluare poate apărea atunci când factorii sau criteriile utilizate pentru a evalua performanța unui sistem de inteligență artificială sunt părtinitoare.
Sursă: Revizuire clară
Exemplu: Un sistem de inteligență artificială folosit pentru evaluarea performanței angajaților, care utilizează teste standard favorizând anumite categorii de angajați, poate perpetua inegalitatea.
#5. Distorsiunea de raportare
Distorsiunea de raportare apare atunci când setul de date de antrenament nu reflectă cu acuratețe frecvența reală a evenimentelor.
Exemplu: Un instrument de securitate bazat pe inteligență artificială care funcționează defectuos într-o anumită categorie, poate eticheta întreaga categorie ca fiind suspectă.
Acest lucru sugerează că setul de date pe baza căruia a fost antrenat sistemul a marcat toate incidentele istorice legate de categoria respectivă ca fiind nesigure, din cauza frecvenței ridicate a incidentelor.
#6. Distorsiunea de selecție
Distorsiunea de selecție se manifestă atunci când datele de antrenament sunt selectate fără o randomizare adecvată sau nu reprezintă corespunzător populația generală.
Exemplu: Un instrument de recunoaștere facială, antrenat cu date limitate, poate discrimina datele pe care le întâlnește mai rar, de exemplu, prin identificarea femeilor de culoare în politică mai greu decât a bărbaților sau a persoanelor cu pielea mai deschisă la culoare.
#7. Distorsiunea implicită
Distorsiunile implicite se pot manifesta atunci când algoritmul de inteligență artificială face presupuneri bazate pe experiențe personale care nu se aplică neapărat unor categorii mai largi sau tuturor indivizilor.
Exemplu: Un cercetător care dezvoltă un algoritm de inteligență artificială, dacă presupune că femeile preferă rozul în defavoarea albastrului sau negrului, poate crea un sistem care să recomande produse pe baza acestei presupuneri, ceea ce nu este valabil pentru toate femeile. Multe dintre ele preferă albastru sau negru.
#8. Distorsiunea de atribuire a grupului
Această distorsiune apare atunci când dezvoltatorii de algoritmi aplică caracteristici specifice unor indivizi la un întreg grup, indiferent dacă acești indivizi se potrivesc sau nu descrierii. Distorsiunile de atribuire a grupului sunt frecvente în instrumentele de recrutare sau de admitere.
Exemplu: Un instrument de admitere poate favoriza candidații care provin dintr-o anumită școală, discriminând alți elevi care nu aparțin acestei instituții.
#9. Distorsiunea istorică
Colectarea seturilor de date istorice este importantă în antrenamentul algoritmilor de învățare automată. Totuși, lipsa de atenție poate duce la distorsiuni în algoritmi, datorate prejudecăților prezente în datele istorice.
Exemplu: Un model de inteligență artificială, antrenat cu date istorice din ultimii 10 ani pentru a selecta candidați pentru posturi în domeniul tehnic, ar putea favoriza candidații de sex masculin, dacă datele de antrenament includ mai mulți bărbați decât femei.
#10. Distorsiunea etichetării
În timpul antrenamentului algoritmilor de învățare automată, etichetarea datelor este o necesitate. Procesul de etichetare a datelor poate varia foarte mult, generând inconsistențe și introducând distorsiuni în sistemul de inteligență artificială.
Exemplu: Un algoritm de inteligență artificială, antrenat prin etichetarea pisicilor în imagini folosind casete, poate întâmpina dificultăți în a identifica o pisică dacă fața acesteia nu este vizibilă, dar poate recunoaște cu ușurință imaginile cu pisici al căror chip este vizibil.
Acest lucru înseamnă că algoritmul este părtinitor în identificarea imaginilor cu pisici a căror față este îndreptată spre cameră. Nu poate recunoaște pisica dacă imaginea este luată dintr-un unghi diferit, unde este vizibil corpul, dar nu și fața.
#11. Distorsiunea de excludere
Sursă: ResearchGate
Distorsiunea de excludere apare atunci când o anumită persoană, un grup de persoane sau o categorie este omisă, intenționat sau neintenționat, în timpul colectării datelor, dacă se consideră că este irelevantă. Se întâmplă mai ales în timpul etapei de pregătire a datelor din ciclul de viață al învățării automate, în momentul curățării datelor și pregătirii lor pentru utilizare.
Exemplu: Un sistem de predicție bazat pe inteligență artificială trebuie să determine popularitatea unui anumit produs în timpul sezonului de iarnă, pe baza ratei sale de achiziție. Dacă un cercetător de date observă unele achiziții în octombrie și elimină acele înregistrări, considerând că sunt eronate și luând durata standard din noiembrie până în ianuarie. Însă, există zone geografice în care iarna depășește acele luni. Prin urmare, algoritmul va fi orientat către țările care au iarna din noiembrie până în ianuarie.
Cum sunt introduse distorsiunile în algoritmi?
Date de antrenament
Principala sursă de distorsiune algoritmică o reprezintă datele părtinitoare utilizate pentru antrenarea algoritmilor de inteligență artificială și învățare automată. Dacă datele de antrenament conțin elemente de inegalitate și prejudecăți, algoritmul va învăța acele elemente și le va perpetua.
Proiectarea
În procesul de proiectare a algoritmului, dezvoltatorul poate introduce, conștient sau nu, reflexii ale gândurilor sau preferințelor personale în sistemul de inteligență artificială. Astfel, sistemul de inteligență artificială va fi orientat către anumite categorii.
Luarea deciziilor
Adesea, oamenii de știință ai datelor și liderii iau decizii bazate pe experiențe personale, mediu înconjurător, convingeri etc. Aceste decizii se reflectă și în algoritmi, cauzând distorsiuni.
Lipsa de diversitate
Lipsa de diversitate în echipa de dezvoltare poate duce la crearea unor algoritmi care nu reprezintă întreaga populație. Membrii echipei, neavând experiență sau expunere la alte culturi, medii sau convingeri, pot dezvolta algoritmi părtinitori.
Preprocesarea datelor
Metoda utilizată pentru curățarea și procesarea datelor poate introduce distorsiuni algoritmice. În plus, dacă aceste metode nu sunt concepute cu atenție pentru a contracara prejudecățile, ele pot deveni o problemă serioasă în modelul de inteligență artificială.
Arhitectura
Arhitectura modelului și tipul de algoritm de învățare automată ales pot introduce, de asemenea, distorsiuni. Unii algoritmi sunt mai predispuși la părtinire decât alții, în funcție de modul în care sunt proiectați.
Selectarea caracteristicilor
Caracteristicile alese pentru antrenarea unui algoritm de inteligență artificială pot fi o altă cauză de distorsiune. Dacă nu se ține cont de impactul acestora asupra echității rezultatelor, pot apărea anumite distorsiuni care favorizează anumite categorii.
Istorie și Cultură
Un algoritm antrenat cu date din istorie sau culturi specifice poate moșteni prejudecăți, convingeri sau norme culturale. Aceste distorsiuni pot afecta rezultatele inteligenței artificiale, chiar dacă sunt injuste sau irelevante în prezent.
Deriva datelor
Datele folosite astăzi pentru antrenarea algoritmilor de inteligență artificială pot deveni irelevante, inutile sau învechite în viitor din cauza schimbărilor tehnologice sau sociale. Cu toate acestea, aceste seturi de date pot introduce distorsiuni și pot afecta performanța.
Bucle de feedback
Unele sisteme de inteligență artificială pot comunica cu utilizatorii și se pot adapta la comportamentul acestora. Astfel, algoritmul poate perpetua distorsiunile existente. Când prejudecățile personale ale utilizatorilor intră în sistemul de inteligență artificială, acesta poate genera un ciclu de feedback părtinitor.
Cum se detectează distorsiunea algoritmică?
Definiți ce înseamnă „echitabil”
Pentru a detecta rezultate nedrepte sau distorsiuni în algoritmi, este necesar să se definească conceptul de „echitabil” pentru sistemul de inteligență artificială. Se pot lua în considerare factori precum sexul, vârsta, rasa, sexualitatea, regiunea, cultura etc.
Stabiliți parametrii de calcul ai corectitudinii, cum ar fi egalitatea de șanse, paritatea predictivă sau impactul. Odată ce definiți „echitatea”, devine mai simplu să identificați ce nu este corect și să rezolvați problema.
Auditați datele de antrenament
Analizați cu atenție datele de antrenament pentru a identifica dezechilibre și inconsecvențe în reprezentarea diferitelor categorii. Trebuie să se examineze distribuția caracteristicilor și să se verifice dacă acestea reflectă datele demografice din lumea reală.
Pentru vizualizarea datelor, se pot crea histograme, hărți termice sau diagrame de dispersie, pentru a evidenția disparitățile și modelele care nu pot fi dezvăluite prin analiza statistică.
Pe lângă auditurile interne, se pot solicita evaluări din partea unor experți externi.
Măsurați performanța modelului
Pentru a detecta distorsiunile, se recomandă măsurarea performanței modelului de inteligență artificială pentru diferite categorii demografice. Este utilă împărțirea datelor de antrenament în funcție de rasă, sex etc. Se pot folosi indicatori de corectitudine pentru a calcula diferențele dintre rezultate.
Utilizați algoritmi adecvați
Alegeți algoritmi care promovează rezultate corecte și care pot aborda prejudecățile din antrenamentul unui model de inteligență artificială. Algoritmii care țin cont de corectitudine au scopul de a preveni distorsiunile, asigurând predicții echitabile în diverse categorii.
Software de detectare a distorsiunilor
Se pot utiliza instrumente și biblioteci specializate în detectarea distorsiunilor. Aceste instrumente oferă evaluări de corectitudine, vizualizări, teste statistice etc. Printre cele mai populare se numără AI Fairness 360 și IBM Fairness 360.
Solicitați feedback-ul utilizatorilor
Cereți utilizatorilor și clienților feedback despre sistemul de inteligență artificială. Încurajați-i să ofere recenzii sincere, dacă au avut parte de tratamente incorecte sau părtinitoare. Aceste informații ajută la identificarea problemelor care ar putea să nu fie semnalate de instrumentele automate și alte metode de detectare.
Cum să reduceți distorsiunile în algoritmi
Diversificați-vă compania
Crearea diversității în cadrul companiei și a echipei de dezvoltare facilitează detectarea și eliminarea mai rapidă a distorsiunilor. Prejudecățile sunt mai ușor observate de utilizatorii care sunt afectați de acestea.
Diversificați compania nu doar demografic, ci și în ceea ce privește abilitățile și expertiza. Includeți persoane de diferite genuri, identități, rase, culori ale pielii, medii economice etc., precum și persoane cu experiențe și medii educaționale diverse.
Astfel, veți colecta perspective, experiențe, valori culturale, aprecieri și antipatii diferite. Acest lucru vă va ajuta să îmbunătățiți corectitudinea algoritmilor de inteligență artificială, reducând distorsiunile.
Promovați transparența
Mențineți transparența cu echipa cu privire la obiectivul, algoritmii, sursele de date și deciziile unui sistem de inteligență artificială. Acest lucru permite utilizatorilor să înțeleagă cum funcționează sistemul și de ce generează anumite rezultate. Transparența stimulează încrederea.
Algoritmi care țin cont de corectitudine
Utilizați algoritmi care țin cont de corectitudine în dezvoltarea modelului, pentru a genera rezultate echitabile în diferite categorii. Acest lucru este esențial, mai ales în cazul sistemelor de inteligență artificială din sectoare reglementate, cum ar fi finanțele sau sănătatea.
Evaluați performanța modelului
Testați modelele pentru a examina performanța inteligenței artificiale în diverse grupuri și subgrupuri. Acest lucru ajută la înțelegerea problemelor care nu sunt vizibile în valorile agregate. Se pot simula diferite scenarii pentru a testa performanța în condiții variate, inclusiv în situații complexe.
Respectați ghidurile etice
Formulați ghiduri etice pentru dezvoltarea sistemelor de inteligență artificială, care să respecte corectitudinea, confidențialitatea, siguranța și drepturile omului. Aceste ghiduri trebuie aplicate la nivelul întregii organizații, pentru a crește echitatea și pentru a se reflecta în rezultatele sistemului de inteligență artificială.
Stabiliți controale și responsabilități
Stabiliți responsabilități clare pentru membrii echipei implicați în proiectarea, dezvoltarea, întreținerea și implementarea sistemului de inteligență artificială. De asemenea, se recomandă crearea unor protocoale stricte și cadre de control pentru a aborda distorsiunile, erorile și alte probleme.
Pe lângă cele menționate mai sus, efectuați audituri periodice pentru a reduce distorsiunile și pentru a asigura o îmbunătățire continuă. Fiți la curent cu schimbările tehnologice, demografice și alți factori.
Exemple reale de distorsiuni algoritmice
#1. Algoritmul Amazon
Amazon, un lider în industria comerțului electronic, a utilizat un instrument de recrutare bazat pe inteligență artificială, care evalua candidații în funcție de calificările lor. Acest sistem a demonstrat o distorsiune de gen. Algoritmul a fost antrenat folosind CV-urile candidaților anteriori la posturi tehnice.
Datele aveau un număr mai mare de bărbați aplicanți, lucru pe care algoritmul l-a învățat. Astfel, acesta a favorizat neintenționat candidații de sex masculin, deoarece femeile erau subreprezentate în datele de antrenament. Amazon a oprit instrumentul în 2017, în ciuda eforturilor de a reduce părtinirea.
#2. Algoritmi rasiali în sistemul medical din SUA
Un algoritm folosit de spitalele din SUA pentru a identifica pacienții care aveau nevoie de îngrijire suplimentară era părtinitor împotriva pacienților de culoare. Sistemul evalua necesitățile medicale ale pacienților pe baza cheltuielilor anterioare cu asistența medicală, corelând costul cu necesitățile medicale.
Algoritmul sistemului nu a ținut cont de modul în care pacienții albi și negri plăteau pentru îngrijirea medicală. Pacienții negri plăteau mai ales pentru urgențe, deși aveau boli netratate. Astfel, erau clasificați ca fiind mai sănătoși și nu se calificau pentru îngrijire suplimentară, în comparație cu pacienții albi.
#3. Algoritmul de discriminare Google
Sistemul de publicitate online al Google a fost acuzat de discriminare. Algoritmul afișa poziții bine plătite, cum ar fi cea de CEO, bărbaților, într-o măsură mult mai mare decât femeilor. Deși 27% dintre directorii executivi din SUA sunt femei, reprezentarea acestora pe Google este mult mai scăzută, în jur de 11%.
Algoritmul a putut afișa acest rezultat prin învățarea comportamentului utilizatorilor. De exemplu, dacă bărbații vizualizau și dădeau clic pe reclame pentru roluri bine plătite, algoritmul de inteligență artificială afișa aceste reclame bărbaților mai des decât femeilor.
Concluzie
Distorsiunile algoritmice în sistemele de învățare automată și inteligență artificială pot duce la rezultate nedrepte, care pot afecta oamenii în diverse domenii, de la asistența medicală, securitatea cibernetică și comerțul electronic, până la alegeri, angajare și altele. Distorsiunile pot conduce la discriminare pe criterii de gen, rasă, demografie, orientare sexuală și altele.
Prin urmare, este esențial să se reducă distorsiunile din algoritmii de inteligență artificială și învățare automată, pentru a promova corectitudinea rezultatelor. Informațiile prezentate mai sus vă pot ajuta să detectați și să reduceți distorsiunile, pentru a crea sisteme de inteligență artificială echitabile pentru toți utilizatorii.
De asemenea, puteți citi despre guvernanța inteligenței artificiale.