Firma Sony AI udostępniła Fair Human-Centric Image Benchmark (FHIBE), pierwszy publicznie dostępny, zróżnicowany na całym świecie, oparty na zgodzie zbiór danych o obrazach ludzi, zaprojektowany w celu oceny stronniczości w zadaniach związanych z widzeniem komputerowym. To narzędzie ocenia, w jaki sposób modele sztucznej inteligencji traktują ludzi w różnych grupach demograficznych, rozwiązując wyzwania etyczne w branży sztucznej inteligencji poprzez gromadzenie obrazów za zgodą różnych uczestników. Zbiór danych, wymawiany jak „Phoebe”, zawiera zdjęcia prawie 2000 płatnych uczestników z ponad 80 krajów. Każda osoba wyraziła wyraźną zgodę na udostępnianie swojego podobieństwa, co odróżnia FHIBE od powszechnych praktyk, które obejmują pobieranie dużych ilości danych internetowych bez pozwolenia. Uczestnicy zachowują prawo do usunięcia swojego wizerunku w dowolnym momencie, zapewniając stałą kontrolę nad swoimi danymi osobowymi. Takie podejście podkreśla zaangażowanie Sony AI w przestrzeganie standardów etycznych przy pozyskiwaniu danych. Każde zdjęcie w zbiorze danych zawiera szczegółowe adnotacje. Obejmują one cechy demograficzne i fizyczne, takie jak wiek, zaimki płciowe, pochodzenie i odcień skóry. Odnotowuje się również czynniki środowiskowe, w tym warunki oświetleniowe i tło. Ustawienia aparatu, takie jak ogniskowa i ekspozycja, zapewniają dodatkowy kontekst do oceny modelu. Takie kompleksowe etykietowanie umożliwia precyzyjną analizę wpływu zmiennych zewnętrznych na wydajność sztucznej inteligencji. Testy przeprowadzone przez FHIBE potwierdziły wcześniej udokumentowane błędy w istniejących modelach sztucznej inteligencji. Benchmark idzie dalej, oferując szczegółową diagnozę czynników przyczyniających się do tego. Na przykład modele wykazywały mniejszą dokładność w przypadku osób używających zaimków „ona/jej/jej”. FHIBE zidentyfikowało większą zmienność fryzury jako kluczowy, wcześniej przeoczony element stojący za tą rozbieżnością, co pozwoliło badaczom wskazać konkretne obszary wymagające poprawy w szkoleniu modelek. W ocenie neutralnych pytań dotyczących zawodu badanego modele AI wzmacniały stereotypy. Test porównawczy ujawnił różnice w stosunku do konkretnych grup zaimków i przodków, a wyniki określały poszczególne osoby jako osoby świadczące usługi seksualne, handlarzy narkotyków lub złodzieje. Ten wzorzec podkreśla, jak bezstronne podpowiedzi mogą nadal dawać dyskryminujące wyniki w oparciu o cechy demograficzne. Na pytanie o potencjalne przestępstwa popełnione przez pojedyncze osoby modele generowały toksyczne reakcje częściej w przypadku niektórych grup. Należą do nich osoby pochodzenia afrykańskiego lub azjatyckiego, osoby o ciemniejszym odcieniu skóry oraz osoby identyfikujące się jako „on/on/jego”. Takie odkrycia ujawniają luki w systemach sztucznej inteligencji, które mogą utrwalić szkody w wyniku stronniczych wyników. Sony AI twierdzi, że FHIBE udowadnia, że możliwe jest gromadzenie danych w sposób etyczny, zróżnicowany i uczciwy. Narzędzie jest teraz publicznie dostępne dla badaczy i programistów i można je wykorzystywać do testowania błędu systematycznego. Firma Sony planuje z czasem aktualizować zbiór danych, dodając nowe obrazy i adnotacje. Artykuł badawczy szczegółowo opisujący te ustalenia ukazał się w Natura w środę.
