Postać AI stoi przed sądem w związku z tragiczną śmiercią 14-letniego Sewella Setzera III, który popełnił samobójstwo po skorzystaniu z platformy.
Jego matka, Megan Garcia, złożyła wniosek proces sądowy przeciwko firmie, jej założycielom Noamowi Shazeerowi i Danielowi De Freitasowi oraz Google. W pozwie zarzuca się zaniedbanie, bezprawną śmierć i odpowiedzialność za produkt, zarzucając platformie brak niezbędnych środków bezpieczeństwa, aby chronić bezbronnych użytkowników, takich jak jej syn.
Tragiczne wydarzenie
Setzer korzystał z AI postaci przez kilka miesięcy, wchodząc w interakcję z botami wzorowanymi na fikcyjnych postaciach, w tym Daenerys Targaryen z Gra o tron. 28 lutego 2024 roku, chwilę po swojej ostatniej interakcji z platformą, Setzer tragicznie zakończył swoje życie. Pozew budzi poważne obawy dotyczące zabezpieczeń platformy – lub ich braku – dla nieletnich i bezbronnych użytkowników.
Sztuczna inteligencja postaci została zbadana pod kątem antropomorficznych botów, które naśladują zarówno postacie fikcyjne, jak i osoby z prawdziwego życia. Ta personalizacja, choć angażująca dla wielu użytkowników, zaciera granicę między fantazją a rzeczywistością, szczególnie w przypadku nastolatków, którzy mogą nie w pełni pojmować konsekwencje tych interakcji.
W odpowiedzi na ten incydent Character AI wdrożone aktualizacjew tym filtry i alerty ostrzegające użytkowników o poufnych treściach. Jednak wielu krytyków twierdzi, że środki te są niewystarczające. Firma borykała się w przeszłości z podobnymi kontrowersjami, jak np. nieautoryzowane utworzenie chatbota opartego na Jennifer Ann Crecente. Jej rodzina została zmuszona do podjęcia kroków prawnych, aby usunąć jej podobiznę z platformy.
Pozew sugeruje, że podczas tworzenia gry Character AI przedłożyła prędkość nad bezpieczeństwo. Zgodnie ze skargą założyciel firmy Noam Shazeer wyraził frustrację z powodu opóźnień w Google wynikających z obaw związanych z „ryzykiem marki” podczas opracowywania modelu Meena LLM. To, jak twierdzi pozew, wskazuje na schemat przedkładania rozwoju sztucznej inteligencji nad bezpieczeństwo użytkowników.
To nie pierwszy raz, kiedy sztuczna inteligencja postaci spotyka się z ostrą reakcją. W poprzednim przypadkuchatbot został stworzony bez pozwolenia w oparciu o Jennifer Ann Crecente, młodą kobietę, która zmarła 18 lat wcześniej. Jej rodzina musiała podjąć kroki prawne, aby usunąć jej podobiznę z platformy, podkreślając ciągłe obawy dotyczące zgody i prywatności w sztucznej inteligencji.
W miarę postępu technologii sztucznej inteligencji odpowiedzialność za ochronę użytkowników – szczególnie tych bezbronnych, takich jak nastolatki – spada całkowicie na barki programistów. Z pozwu Garcii wynika, że Character AI pośpieszyła z wypuszczeniem swojego produktu, potencjalnie poświęcając bezpieczeństwo użytkowników na rzecz szybszego rozwoju.
Ta bolesna sprawa przypomina, że chociaż sztuczna inteligencja może oferować innowacyjne narzędzia i doświadczenia, należy ją budować i wdrażać ostrożnie.
Kredyty obrazkowe: Kerem Gülen/Midjourney
