Rodne predrasude i umetnička praksa

Algoritmi i veštačka inteligencija danas se već koriste za zapošljavanje i otpuštanje osoblja, prijem studenata na univerzitet, pa čak i za odlučivanje o zatvorskim kaznama. Zato je važno govoriti o etičkim pitanjima u ovoj oblasti, jer iako ovi algoritmi štede vreme, mogu biti i nepravedni ili diskriminatorni. Sa sve većom opasnošću od pristrasnih programa, umetnici su počeli koriste umetničke strategije, izlažući kritici sisteme na kojima počiva veštačka inteligencija i njegove moguće implikacije.

Bilo da je u pitanju Google prevodilac koji proizvoljno dodeljuje pol određenim profesijama, ili Amazon pretraživač radnih biografija, koji predlaže uglavnom muškarce za zapošljavanje, ili softver za prepoznavanje lica koji pogrešno identifikuje crna lica.: postoji mnogo primera pristrasnosti koje generiše veštačka inteligencija.

Iako bi sistemi veštačke inteligencije i mogli biti dizajnirani s dobrim namerama, nedostatak raznolikosti u skupovima podataka i timovima koji kreiraju ovu tehnologiju, dodatno potvrđuje i osnažuje diskriminacije ukorenjene u našim društvima.

Širok spektar iskustava i perspektiva od suštinskog je značaja za razumevanje kako ljudi ulaze u doba inteligentnih mašina.

Zašto su feministički podaci važni?

Algoritmi su, naravno, dobri onoliko koliko su dobri podaci na kojima su zasnovani. Međutim, prikupljanje različitih podataka je često zahtevno i oduzima puno vremena.

Istraživačica dizajna mašinskog učenja i umetnica Kerolajn Sinders (Caroline Sinders) započela je umetnički projekat Feminist Data Set 2017. godine,[1] radeći na feminističkom skupu podataka. Umetnički postupak Sindersove zasnovan je na seciranju i ispitavanju svakog koraka u procesu razvoja veštačke inteligencije, uključujući prikupljanje podataka, označavanje i obradu podataka, odabir algoritama koji se koriste, a potom i dizajniranje načina na koji se model postavlja u chat bot — i sve kroz sočivo intersekcionalnog feminizma. Ovaj oblik feminizma prepoznaje da različite identitete i marginalizaciju osoba treba posmatrati zajedno, kao probleme koji se prepliću, a ne kao odvojena pitanja.

Sinders prikuplja feminističke podatke kroz zajednički rad sa svim zainteresovanim stranama, organizujući projekte i radionice bibliotekama, konferencijama ili umetničkim prostorima. Feministički podaci mogu biti i postovi na blogovima, transkripti podkasta, knjige ili članci koje učesnici radionice identifikuju i diskutuju.

„Etički, zajednički koncipirani dizajn i tehnologija predstavljaju početak ka pravednoj budućnosti“, objašnjava ona. „To omogućava zajednici da doprinese, donese ili promeni odluku o proizvodu, njegovim tehničkim mogućnostima i infrastrukturi.“ Sinders kaže da njene radionice pokazuju koliko je zaista teško pronaći feminističke podatke, jer, „ovi spisi su nedovoljno citirani, nedovoljno objavljeni, i ako koristite Google za pretragu, to je takođe zaista teško jer postoje pristrasnosti alata za pretragu .”

Još jedna umetnica čiji rad direktno ispituje pristrasnosti tehnologije koje se ukrštaju sa rasom, rodom, godinama starosti je Stefani Dinkins (Stephanie Dinkins). Njen transmedijski projekat “Not the Only One”[2] (N’TOO)iz 2018. godine, glasovno je interaktivna instalacija koja priča višegeneracijsku priču jedne crne američke porodice. Za potrebe ovog projekta Dinkinsova je dizajnirala i obučila algoritam mašinskog učenja na osnovu intervjua sa tri generacije žena iz njene porodice.

Ko-stvaralaštvom Dinkinsove, odnosno njenim korišćenjem usmene istorije njene porodice, sa jedne strane i mašinskog učenja, sa druge, stvorena je živa arhiva sećanja, mitova, vrednosti i snova ove specifične zajednice, sa veštačkom inteligencijom koja postaje četvrta generacija u lozi njene porodice. Posetioci mogu da dođu do instalacije i komuniciraju sa ovom četvrtom generacijom postavljanjem pitanja.

Skupovi podataka koji nedostaju imaju ključnu ulogu u razvoju pristrasnosti mašinskog učenja, jer se relevantni podaci ne prate. Mimi Onuoha je nigerijsko-američka umetnica čiji rad “Biblioteka skupova podataka koji nedostaju” (Library of Missing Datasets)[3] iz 2016, adresira pitanje kako nezabeleženi podaci odražavaju i održavaju društvene hijerarhije. Ona kaže da njena umetnička praksa ima za cilj da poremeti i ospori pretpostavke utkane u tehnologije koje oblikuju naša iskustva, fokusirajući se na obrasce odsustva podataka. Onuoha veruje da umetnost može da promeni narativ veštačke inteligencije i način na koji razmišljamo o ovim stvarima „Ja sam večiti hibrid, uvek privučena međuprostorima. Moj rad se bavi tenzijama u srcu „Informatičkog doba“. Fascinirana sam kako društva zasnovana na kalkulacijama zahtevaju fluidnost, organsko, neurednost ljudi da bi bili označeni, kategorisani i apstrahovani. U svetu posredovanom kompjuterima, sve počinje da liči na podatke, a ono što se ne uklapa u kalup rizikuje da bude zaboravljeno. Moja praksa počinje sa ovim obrascima odsutnosti, koji su uvek stvarni i materijalni i locirani unutar ljudi, posebno kod obojenih i kvir osoba, imigranata i osoba zaglavljenih između kategorija. Cilj mi je da utičem na poremećaj pretpostavki koje su uklopljene u tehnologije koje posreduju u našim iskustvima.“

Zato je pitanje principa na kojima počiva veštačka inteligencija od ključnog značaja  u identifikovanju nekih fundamentalnih i sistematskih problema nejednakosti koji opterećuju čovečanstvo. Jer struktura tehnologije naglašava inherentne predrasude njenih kreatora – inherentne predrasude koje svi imamo.

Ona takođe veruje da će ljudi koji stvaraju umetnost o nejednakostima sa kojima se lično suočavaju, i oflajn i onlajn, pomoći da se okončaju pristrasne tehnologije. Njena nada je da će njihov rad na kraju promeniti način na koji se veštačka inteligencija dizajnira i primenjuje u budućnosti.

Sa druge strane nagrađivana kinesko-kanadska umetnica i istraživačica Sougwen Chung koristi simbole iscrtane u interakciji ljudske i robotske ruke, istražujući modele komunikacije i kolaboracije između ljudi i mašina, senzorna ukrštanja budućnosti i pitanja autorstva. Njena umetnička kritička praksa obuhvata instalaciju, skulpturu, sliku, crtež i performans.

Pitanja društvenih (ne)pravdi, predrasuda i diskriminacije čini se da  nikada nisu bila bliže povezana sa ispitivanjem odnosa  podataka, tehnologije i strukture samog društva. Tehnologija nas okružuje. Ali kako je tehnologija napravljena i ko ima koristi od tehnologije, a ko ne, to još uvek predstavlja važno pitanje za društvena i umetnička istraživanja i kritiku. I u tom kontekstu je intersecionalni feminizam, kao kritični okvir za istražživanje i kritiku mašinskog učenja polje koje može doneti plodonosne rezultate.

Akademska i umetnička interesovanja u ovoj oblasti prirodno su pratile inicijative, platform i konefrencije koje interdisciplinarno problematizuju ova pitanja, ali donose i praktična rešenja i odgovore na mnoge probleme.

Tako je nastala i Algoritamska Liga Pravde (Algorithmic Justice Leage),[4] sa ciljem podizanja svesti o usađenim predrasutama u sisteme veštačke inteligencije, inicirajući i sprovodeći empirijska istraživanja, argumente i nepravedno izostavljene podatke zajednica koje su najviše pogođene ovakvim pincipima na kojima počiva sistem mašinskog učenja. Osnivač Lige je čuvena Joy Buolamwini,  čija je studija iz 2018. godine o ugrađenim rasnim i rodnim predrasudama u sisteme VI imala velikog uticja na teme potonjih istraživanja. Na osnovu njenih studija je 2020. godine snimljen i nagrađivani dokumentarni film Shalini Cantaye „Coded Bias“,

Danas postoji nesaglediv broj samoorganizovanih grupa, pojedinačnih inicijativa ili projekata koje pokreću korisnici novih tehnologija. Možemo pratiti razvoj novih metoda, ali i društvenih formacija koje adresiraju pitanja koja su nekada bila u domenu države. domena države. Studije i aktivnosti platforma Arte Útil,[5] pokazuju kako ove inicijative nisu izolovani incidenti, već deo veće istorisjke putanje koja sada oblikuje naš savremeni svet. Projekti ove platforme ukazuju na potrebe za promišljanje i aktiviranje novih strategija i kritičke pozicionarnosti umetnosti u izmenjenim društvenim okolnostima, reagovanje na aktuelne probleme i događaje i na potrebu ponovnog upostavljanja estetičkih kategorija kao transformativno potentnih.

Tania Bruguera, kubanska umetnica i aktivistkinja, svojim izložbenim projektima platforme Arte Util, realizovanim u saradnji sa kustosima iz Queens Muzeja, New York, Van Abbemuseum, Eindhoven i Grizedale Arts, Coniston, kao i neposrednim profesorskim radom, organizacijom radionica i projekata u navedenim gradovima, kontekstualizovala je inicijative ove inicijative u okviru recentnih umetničkih praksi.

Feministička načela interneta (Feminists Principles of the Internet)[6] predstavlja platformu i inicijativu koja analizira rodna i seksualna prava koja se odnose na internet. Platforma potiče iz 2014. godine, kada je Udruženje za progresivne komuniacije (Association for Progressive Communication) organizovalo događaj Imagine a Feminist u Maleziji okupljajući aktiviste i zagovornike koji se bave seksualnim pravima, pravima žena, nasiljem nad ženama i legalnom zaštitom na internetu. Na osnovu prve verzije Feminističkih načela Interneta, predlozi su debatovani na različitim radionicama i događajima, te je aktuelni spisak ovih principa koncipiran 2016. godine nakon drugog sastanka Zamislite feministkinju.

Trenutno postoji 17 načelaa, organizovanih u 5 klastera: pristup, pokreti, ekonomija, izraz i utelovljenje. Zajedno imaju za cilj pružiti okvir za ženske pokrete da artikulišu i istražuju pitanja koja se odnose na tehnologiju.

Npr. u projektu Feministički skupovi podataka, istraživački pogled je usmeren kroz sočivo kritičkog dizajna, pošto projekat uključuje pravljenje chat bota od početka do kraja koristeći intersekcionalni feminizam kao vodič. Šta je intersekcionalno feminističko prikupljanje podataka Šta su intersekcionalni feministički podaci? Šta je intersekcionalno feminističko označavanje podataka i obuka podataka? Da li postoji intersekcionalni feministički sistem ili proizvod za označavanje podataka i obradu podataka? Kako izgleda intersekcionalni feministički softver i šta on radi? Postoje li intersekcionalni feministički algoritmi?

Politički i umetnički, Feministički skup podataka inspirisan je inicijativama i istraživačkim projektima platforme Arte Util, Data Feminism, Design Justice, Pravdom dizajna, Manifestom kritičkog inženjeringa, platformom Xenofeminism i Feminističkim principima interneta. Šta znači promišljeno mašinsko učenje? Kako pažljivo razmotriti svaki ugao pravljenja, ponavljanja i projektovanja? Svaki korak ovog procesa treba temeljno preispitati kroz feminističko sočivo.

Postoji rastući pokret kritičke i etičke analize tehnologije. Aktuelne knjige poput “Feminizam podataka” autorki Catherine D’Ignazio i Lauren Klein ispituju važnost podataka i skupove podataka u društvu i predlažu metodologije za bolje prakse prikupljanja, obrade i korišćenja podataka kroz feminističke perspektive. I knjiga ”Pravda dizajna” Saše Kostance-Čok (Sasha Constanza Chock) direktno situira pitanje društvene pravde u svet dizajna, kreiranje dizajna i dizajn proizvoda, i razmišljanja o dizajnu kao vežbu i praksu.

Obe knjige, i “Feminizam podataka” i “Pravda dizajna” analiziraju kako kapitalističke i korporativne strukture koriste dizajn i podatke i kako se pokreti za socijalnu pravdu i aktivisti bave ovom temom. Smeštajući dizajn i podatke u korporativni svet i svet aktivizma, ove knjige pružaju celovitiji pogled na to kako se sa jedne strane manipuliše podacima i dizajnom, a kako se društvena pravda u ovoj oblasti traži, sa druge strane. Jer obe strane se moraju istražiti, kao i prostori između. “Feministički skup podataka” zauzima sličan stav., ispitujući mašinsko učenje, ne samo kroz umetničku praksu, već i kroz praksu koja je ugrađena u dizajn proizvoda i korporativni svet. Ove prakse razotkrivaju kako tehnologija zloupotrebljava mašinsko učenje u celini, ali i unutar specifičnih problema.

U mašinskom učenju, kada je u pitanju označavanje podataka i kreiranje modela podataka za algoritme, generalno se koristi Amazonova radna snaga, Mechanical Turk, za označavanje podataka. Amazon je stvorio model Mehaničkog Turčina da reši problem obima mašinskog učenja, jer su im potrebni veliki skupovi podataka klasifikovani i označeni. Korišćenje Mechanical Turk-a u projektima mašinskog učenja danas predstavlja standard u ovoj oblasti; koristi se svuda, od tehnoloških kompanija do istraživačkih grupa kao pomoć za klasifikovanje podataka. A standard je da Mechanical Turk nedovoljno plaća svoje radnike i ne tretira ih kao zaposlene sa punim radnim vremenom, dajući im na taj način manje beneficija.

Caroline Sinders je na osnovu istraživanja intersekcionalnog feminističkog sistema za klasifikovanje i obuku mašinskog učenja stvorila alat, poput kalkulatora, koji prevodi broj zadataka koje sistem Mehaničkog Turčina radi i troškove tih zadataka u platu po satu. Na primer, klijent obračunava deset hiljada zadataka po četiri centa svaki: kalkulator bi to preveo u sate ili dane rada koje bi Turčinu bile potrebne da završi sve te zadatke, odnosno kolika bi bila njihova plata.

U tom smislu, Feministički skup podataka kombinuje istraživanje i tehnologiju zasnovanu na umetnosti i socijalnoj pravdi. Dobar primer predstavlja platforma Turkopticon, čiji su inicijatori profesorka Lili (Lilly) Irani, profesorka sa Univerziteta Kalifornijje, San Diego i osobe zaposlene u okviru programa “Mehaničkog Turčina”. Naime, Turkopticon omogućava zaposlenima da na ovaj način procenjuju poslove i klijente. Ovakav alat rešava prave probleme sa kojima se radnici suočavaju i može da utiče na njihovu zaštitu

Da bi se stvorila feministička veštačka inteligencija, potrebno je suočiti se sa nejednakošću u radu i logici plaćanja za rad na platformama za programe mašinskog učenja i obrade podataka.

Jednakost plaćanja i jednakost kapitala predstavlja korak ka jednakosti u tehnologiji i društvu. Radnici treba da budu plaćeni za svoje vreme, ne samo za vreme za obavljanje nekog zadatka, već za vreme utrošeno i za nalaženje posla i postavljanje radnih zadataka. Kompanije gig ekonomije ( na osnovu engl. “gig”za nastup, odnosno ekonomija frilensera) treba da se pridržavaju radnih standarda i zakona o radu.

Rad na programima veštačke inteligencije mora biti promišljen i zasnovan na kritiškim uvidima, kako bi se obezbedila pravičnost sistema. Mora biti otvoren za povratne informacije i tumačenja. I u tom kontekstu moramo razumeti ulogu kreiranja podataka i kako sistemi mogu da koriste, zloupotrebljavaju i imaju koristi od podataka. Podaci se moraju posmatrati kao nešto što je stvoreno od strane zajednica i kao odraz te zajednice – vlasništvo nad podacima je ključno. Pozicija podataka unutar tehnoloških sistema je politička, aktivna i intimna. Za pravičnost sistema mašinskog učenja, treba ispitati svaki aspekt sistema, rastaviti ga i ponovo sastaviti. I u ove sistema je potrebno integrisati stvarnost, kontekst i ograničenja različitih ljudi, a ne samo onih koji su izgradili rani web. Tehnologija treba da odražava one koji su sada na webu.

Kratki osvrt na istoriju rodne i rasne pristrasnosti u fotografiji i filmu

Treba, ipak, pogledati malo dalje u istoriju optičkih medija i podsetiti da odnos tehnologije i rasnih i rodnih predrasuda ima dužu istoriju. Ukoliko se osvrnemo na fotografiju, sama hemija fotografije predstavlja suptilni oblik tehnološkog aparthejda.

Naime, prenošenje i osnaživanje rasnih predrasuda, može se pratiti već tokom analogne ere razvoja fotografije i filma, odnosno od sredine devetnaestog veka do kasnog dvadesetog veka. U tom periodu ljudska lica i dijagrami boja korišćeni na takav način da se prilagode načinu razvijanja i obrade filma. Naime, ove reference su kreirane korišćenjem lica belih žena i, kao rezultat toga, ljudi sa tamnijom kožom često su bili loše prikazani i nedovoljno zastupljeni. Na primer, sredinom 1950-ih godina Kodak je kreirao Shirley Card, nazvanu po bivšem modelu Kodakovog studija, koja je postala standard za kalibraciju boja u foto laboratorijama širom sveta (Roth 2009). Radnici u laboratoriji za filmove u boji koristili su ove karte zasnovane na svetlijim nijansama kože i boje kose na osnovu čega je svetlija koža postala osnova za sve filmove u boji, usredsređena na potrebe i želje ciljne mejnstrim publike i dominantne kulture (Dier 1997; Levis 2019). Ovaj sistem filmova u boji, sa svojim postojećim rasnim predrasudama, jednostavno je samo prenet u digitalne slike (McFadden 2014).

Iako su fotografski sistemi su pokušali da stvore univerzalni ili neutralni standard za sve subjekte, ali je norma na kraju bila bela koža. Godine 2013, umetnici iz Londona Adam Brumberg i Oliver Čanarin skrenuli su pažnju na ovo pitanje u svom radu “To Photograph the Details of a Dark Horse in Low Light” sa naslovom koji se odnosio „šifrovanu frazu koju je Kodak koristio da opiše dilemu povodom mogućnostii filma tokom 1980-ih  da na adekvatan način uhvatiti i prikaže tamnu kožu.” Postavili su reklame na bilbordima koje su suprotstavljale slike Širli kartice sa skalama tonova i boja koje su bile prekrivene oznakom „normalno“. Umetnici su takođe koristili Polaroid ID-2 kameru sa filmom iz 1950-1970-ih da pokažu kako film koji je istekao ne može pravilno da prikaže tamnu kožu (Smith 2013). Kao rezultat toga, fotografi moraju da koriste posebnu funkciju kamere da osvetle svoje subjekte. Razvoj tehnologije snimanja koja nije pogodna za različite tipove kože nije ograničena samo na fotografiju; ovo ograničenje se može naći i u filmskoj produkciji.

Jean-Luc Godard je slavno odbio da koristi Kodak film tokom zadatka u Mozambiku 1977. godine, uz obrazloženje da je njihova filmska arhiva inherentno “rasistička”. Kao odgovor na nalog da “dokumentuju” Gabon, Broomberg i Chanarin su nedavno nekoliko puta putovali u tu zemlju kako bi fotografisali seriju retkih rituala inicijacije Bviti-a, koristeći samo Kodak film koji je istekao krajem 1950-ih.

Koristeći zastarele hemijske procese, umetnici su uspeli da spasu samo jedan kadar od mnogih rolni u boji koje su izložili tokom svojih poseta. Uz njega je predstavljen niz crno-belih fotografskih testova, čije je parametre diktirao preminuli porodični prijatelj, anatom i fotograf amater, dr Rozenberg.

Rad se usredsređuje na seriju ovih delimično izloženih, nasumično isečenih proto-slika, prvobitno štampanih kao test traka. Sivi tonovi, zrnatost i tekstura crno-bele fotografske hemije su u prvom planu u ovim ogromnim eksperimentima u „mračnoj komori“.

U ovoj opsežnoj meditaciji o odnosu koji postoji između fotografije i rase, umetnici nastavljaju da istražuju fotografski medij, vodeći publiku kroz zamršenu lekciju istorije kombinacijom pronađenih slika, spašenih artefakata i nestabilnih novih fotografskih radova.

Filmovi proizvedeni sredinom dvadesetog veka, kao što je “Zlatne kočije” (Le Carrosse d’or) Žana Renoara iz 1952. godine, pokazuju kako je istorija kalibracije boja u fotografiji – sa svojom hemijom inherentne rasne pristrasnosti – preneta u analogne slike. Renoar je koristio proces filma u boji koji je bio standardan u to vreme, ali je činio nevidljivim tamnije crte lica. Naučnici i kulturni kritičari suprotstavljaju se ideji da je percipirana pristrasnost kože u filmu u boji nenamerna ili nesvesna (Benjamin 2019; Lee 2020; Levis 2019). Prema Lorni Rot (2009), ovi nedostaci u filmu i fotografiji su prvobitno razvijeni sa „globalnom pretpostavkom beline” (117) ugrađenom u njihove sisteme. Vremenom, ovo je lišilo osobe tamnije puti mogućnosti da se prepoznaju na fotografiji/filmu.

I Ričard Dajer (Richard Dyer) u poznatom eseju “White”[7] opisuje kako je jako teško snimiti uporedo lica osoba svetlije i tamne puti u istom filmu i podjednako istinito predstaviti oba u jednom kadru. Naime, svaka put zahteva potpuno drugačije rukovanje osvetljenjem, šminkom i razvojem filma. To znači da kada su u jednom kadru zajedno prikazani glumci svetle i tamne puti, jedna grupa ima tendenciju da bude pogrešno predstavljena, a većinom su to bili glumci tamne puti. Ovakva pristrasnost u sistemima optičkih medija izaziva većinom rezultira pogrešnim identifikacijima marginalizovanih i ranjivih grupa.

Napredak u digitalnoj tehnologiji nije ispravio ovaj nedostatak, jer pri slabom osvetljenju digitalni video i dalje ne uspeva da se prilagodi za više tonova kože na slici. Kao rezultat toga, fotografi i filmski stvaraoci moraju da ulože dodatni rtrud da bi izvršili neophodna podešavanja ili „popravke“, kao što je dodavanje dodatnog osvetljenja za kalibraciju filma za tamnije tonove kože.

***

Tekst je nastao u okviru projekta „Rodni (dis)balans revolucije 5.0: Tehnologija i feminizam“.

Projekat je podržan od strane Vlade Švajcarske, u okviru programa “Kultura za demokratiju”, koji sprovodi Hartefakt fond, Ministarstva kulture Republike Srbije, Muzeja savremene umetnosti u Beogradu, Ambasade Kraljevine Holandije u Beogradu i Ambasade Švedske u Beogradu.

[1] VIdeti više na https://carolinesinders.com/feminist-data-set/

[2] Videti više na https://www.stephaniedinkins.com/ntoo.html

[3] Videti više na https://mimionuoha.com/the-library-of-missing-datasets

[4] https://www.ajl.org

[5] https://www.arte-util.org/

[6] https://feministinternet.org/

[7] Dyer, R. White, Routledge, 1997