Czy pamiętasz, kiedy Bard Google, obecnie nazywany Gemini, nie potrafił odpowiedzieć na pytanie dotyczące Kosmicznego Teleskopu Jamesa Webba w reklamie premierowej? Pozwól, że przypomnę ci ten słynny przypadek — to jeden z największych przykładów halucynacji AI, jakie widzieliśmy.
Co spadło? W reklamie zadano pytanie demonstracyjne Google Bard: „Jakimi nowymi odkryciami Kosmicznego Teleskopu Jamesa Webba mogę podzielić się z moim 9-latkiem?” Po krótkiej przerwie demo Google Bard dało dwie poprawne odpowiedzi. Jednak ostateczna odpowiedź była błędna. Według wersji demonstracyjnej Google Bard teleskop wykonał pierwsze zdjęcia planety spoza naszego Układu Słonecznego. Jednak w rzeczywistości Bardzo Duży Teleskop w Europejskim Obserwatorium Południowym wykonał już zdjęcia tych „egzoplanet”, które były przechowywane w archiwach NASA.
Nie chcę być ~no, właściwie~ palantem i jestem pewien, że Bard będzie robił wrażenie, ale dla jasności: JWST nie wziął "pierwsze zdjęcie planety poza naszym Układem Słonecznym".
zamiast tego pierwsze zdjęcie wykonali Chauvin i in. (2004) z VLT/NACO wykorzystującym optykę adaptacyjną. https://t.co/bSBb5TOeUW pic.twitter.com/KnrZ1SSz7h
— Grant Tremblay (@astrogrant) 7 lutego 2023 r
Dlaczego giganci technologiczni, tacy jak Google, nie potrafią nawet zapobiec takim błędom? Dowiedzmy Się!
Co to jest halucynacja AI?
Halucynacja sztucznej inteligencji ma miejsce, gdy program komputerowy, zwykle oparty na sztucznej inteligencji (AI), generuje dane wyjściowe, które są nieprawidłowe, nonsensowne lub wprowadzające w błąd. Termin ten jest często używany do opisania sytuacji, w których modele sztucznej inteligencji generują odpowiedzi całkowicie odbiegające od oczekiwanych lub niezwiązane z przekazanymi im danymi wejściowymi. To tak, jakby zadać pytanie i uzyskać odpowiedź, która nie ma żadnego sensu lub wcale nie jest taka, jakiej się spodziewałeś.
Rozumieć dlaczego halucynacje AI się stanie, przyjrzyjmy się, jak działa sztuczna inteligencja. Modele sztucznej inteligencji, takie jak chatboty lub systemy rozpoznawania obrazów, są szkolone na dużych zbiorach danych w celu uczenia się wzorców i przewidywania. Jeśli jednak dane szkoleniowe są wadliwe, niekompletne lub stronnicze, model sztucznej inteligencji może nauczyć się nieprawidłowych wzorców lub powiązań. Może to prowadzić do halucynacji, w przypadku których sztuczna inteligencja generuje odpowiedzi w oparciu o błędne lub źle zrozumiane informacje. I zdarza się to często, nawet jeśli możesz tego nie zauważyć.
Halucynacje związane ze sztuczną inteligencją mogą objawiać się w różnych formach, z których każda uwydatnia inne wyzwania i zawiłości systemów sztucznej inteligencji. Oto kilka typowych typów halucynacji AI:
- Zdanie Halucynacja AI:
- W tym scenariuszu model sztucznej inteligencji generuje zdanie, które jest sprzeczne z poprzednim stwierdzeniem w tym samym kontekście. Na przykład:
- Podpowiedź: „Opisz podróż postaci w trzech zdaniach”.
- Wynik: „Szła powoli. Nagle pobiegła. Potem poszła.”
- W tym scenariuszu model sztucznej inteligencji generuje zdanie, które jest sprzeczne z poprzednim stwierdzeniem w tym samym kontekście. Na przykład:
Ostatnie zdanie zaprzecza wcześniejszej akcji biegu, zakłócając spójność narracji.
- Szybka halucynacja AI:
- Ten typ występuje, gdy odpowiedź wygenerowana przez sztuczną inteligencję koliduje z zamierzonym monitem lub zapytaniem. Na przykład:
- Podpowiedź: „Napisz przepis na ciasto czekoladowe”.
- Wynik: „Oto wiersz o gwiazdach”.
- Ten typ występuje, gdy odpowiedź wygenerowana przez sztuczną inteligencję koliduje z zamierzonym monitem lub zapytaniem. Na przykład:
Wygenerowana treść nie odpowiada podpowiedzi kulinarnej, co świadczy o niezrozumieniu kontekstu.
- Rzeczywista halucynacja AI:
- Sprzeczności faktyczne pojawiają się, gdy model sztucznej inteligencji przedstawia fałszywe informacje jako dokładne. Na przykład:
- Podpowiedź: „Wymień trzy pierwiastki z układu okresowego.”
- Wynik: „Wodór, tlen, karbonit”.
- Sprzeczności faktyczne pojawiają się, gdy model sztucznej inteligencji przedstawia fałszywe informacje jako dokładne. Na przykład:
„Karbonit” nie jest elementem, co prowadzi do dezinformacji w odpowiedzi.
- Nieistotne lub przypadkowe halucynacje AI:
- Halucynacje te obejmują generowanie nieistotnych lub bezsensownych informacji niezwiązanych z danymi wejściowymi. Na przykład:
- Podpowiedź: „Opisz dzień na plaży”.
- Wynik: „Piasek był ciepły. Mewy śpiewały jazz. Pingwiny tańczyły balet.
- Halucynacje te obejmują generowanie nieistotnych lub bezsensownych informacji niezwiązanych z danymi wejściowymi. Na przykład:
Wzmianka o pingwinach i balecie nie przystaje do typowej sceny plażowej, co świadczy o braku spójności w generowanej narracji.
Tego typu halucynacje podkreślają wyzwania, przed którymi stoją systemy AI, jeśli chodzi o dokładne zrozumienie i kontekstualizację informacji. Rozwiązanie tych problemów wymaga poprawy jakości danych szkoleniowych, udoskonalenia zrozumienia kontekstu w modelach językowych oraz wdrożenia solidnych mechanizmów walidacji, aby zapewnić spójność i dokładność wyników generowanych przez sztuczną inteligencję.
Halucynacje związane ze sztuczną inteligencją mogą mieć poważne konsekwencje, szczególnie w zastosowaniach, w których sztuczna inteligencja jest wykorzystywana do podejmowania ważnych decyzji, takich jak diagnoza medyczna lub handel finansowy. Jeśli system sztucznej inteligencji ma halucynacje i podaje niedokładne informacje w takich kontekstach, może to prowadzić do szkodliwych skutków.
Co możesz zrobić z halucynacjami AI?
Ograniczanie halucynacji AI obejmuje kilka kluczowych kroków, dzięki którym systemy AI będą dokładniejsze i niezawodne:
Po pierwsze, do szkolenia sztucznej inteligencji niezwykle ważne jest wykorzystywanie danych dobrej jakości. Oznacza to upewnienie się, że informacje, z których uczy się sztuczna inteligencja, są różnorodne, dokładne i wolne od uprzedzeń.
Pomocne może być również upraszczanie modeli sztucznej inteligencji. Złożone modele mogą czasami prowadzić do nieoczekiwanych błędów. Utrzymując wszystko w prostocie, możemy zmniejszyć ryzyko błędów.
Jasne i łatwe do zrozumienia instrukcje są również ważne. Kiedy sztuczna inteligencja otrzymuje jasne informacje, jest mniej prawdopodobne, że się pomyli i popełni błędy.
Regularne testowanie pomaga wcześnie wykryć wszelkie błędy. Sprawdzając, jak dobrze działa sztuczna inteligencja, możemy naprawić wszelkie problemy i wprowadzić ulepszenia.
Pomocne może być również dodanie kontroli w systemach AI. Kontrole te wyszukują błędy i korygują je, zanim spowodują problemy.
Co najważniejsze, niezbędny jest nadzór człowieka. Zlecanie pracownikom dokładnego sprawdzania wyników generowanych przez sztuczną inteligencję zapewnia dokładność i niezawodność.
Wreszcie szkolenie sztucznej inteligencji w zakresie obrony przed atakami może zwiększyć jej odporność. Pomaga to sztucznej inteligencji rozpoznawać próby manipulacji lub oszukiwania i radzić sobie z nimi.
Wykonując te kroki, możemy zwiększyć niezawodność systemów AI i zmniejszyć ryzyko halucynacji.
Jak wywołać halucynacje AI?
Jeśli chcesz wykorzystać tę wadę i dobrze się bawić, możesz zrobić kilka rzeczy:
- Zmień wejście: Możesz modyfikować informacje przekazywane AI. Nawet niewielkie zmiany mogą sprawić, że uzyskasz dziwne lub nieprawidłowe odpowiedzi.
- Oszukaj model: Twórz specjalne dane wejściowe, które oszukują sztuczną inteligencję i udzielają błędnych odpowiedzi. Te sztuczki wykorzystują słabości modelu do tworzenia halucynacyjnych efektów.
- Zadzieraj z danymi: Dodając wprowadzające w błąd lub niepoprawne informacje do danych szkoleniowych sztucznej inteligencji lub podpowiedzi, możesz sprawić, że nauczy się ona niewłaściwych rzeczy i wywoła halucynacje.
- Dostosuj model: Zmodyfikuj ustawienia lub strukturę sztucznej inteligencji, aby wprowadzić wady lub uprzedzenia. Zmiany te mogą spowodować wygenerowanie dziwnych lub bezsensownych wyników.
- Podaj mylące dane wejściowe: Przekaż AI niejasne lub sprzeczne instrukcje. Może to zdezorientować sztuczną inteligencję i prowadzić do nieprawidłowych lub bezsensownych reakcji.
Możesz też po prostu zadać pytania i spróbować szczęścia! Na przykład próbowaliśmy wywołać halucynacje ChatGPT:
Chociaż ChatGPT dokładnie pamięta datę i wynik, zawodzi w przypominaniu sobie strzelców rzutów karnych. Dla Galatasaray bramki zdobyli Ergün Penbe, Hakan Şükür, Ümit Davala i Popescu. W drużynie Arsenalu jedynym skutecznym strzelcem karnych był Ray Parlor.
Chociaż halucynacje związane ze sztuczną inteligencją mogą pomóc nam zrozumieć jej ograniczenia, ważne jest, aby korzystać z tej wiedzy w sposób odpowiedzialny i mieć pewność, że systemy sztucznej inteligencji pozostaną niezawodne i godne zaufania.
Czy GPT 4 ma mniej halucynacji?
Tak, zgodnie z ocena przeprowadzone przez firmę z Palo Alto przy użyciu jej Modelu Oceny Halucynacji, GPT-4 wykazuje niższy współczynnik halucynacji w porównaniu do innych dużych modeli językowych, z wyjątkiem Intel Neural Chat 7B (97,2%). Przy współczynniku dokładności wynoszącym 97% i wskaźniku halucynacji wynoszącym 3%, GPT-4 wykazuje wysoki poziom dokładności i stosunkowo niską tendencję do wprowadzania halucynacji podczas podsumowywania dokumentów. Oznacza to, że GPT-4 jest mniej podatny na generowanie nieprawidłowych lub bezsensownych wyników w porównaniu z innymi modelami testowanymi w ramach oceny.
Z drugiej strony kilka najmniej skutecznych modeli pochodzi od Google. Palma Google2 wykazał współczynnik dokładności 90% i wskaźnik halucynacji 10%. Jego udoskonalony odpowiednik za pomocą czatu radził sobie jeszcze gorzej, osiągając współczynnik dokładności wynoszący zaledwie 84,2% i najwyższy wynik halucynacji spośród wszystkich modeli w tabeli liderów wynoszący 16,2%. Oto lista:
Podsumowując, halucynacja sztucznej inteligencji to błąd popełniany przez systemy sztucznej inteligencji, polegające na wytwarzaniu wyników, które są bezsensowne lub nieprawidłowe ze względu na błędy w danych szkoleniowych lub sposób, w jaki przetwarzają informacje. To fascynujący, ale wymagający aspekt sztucznej inteligencji, nad którym pracują badacze i programiści.
