Według Andrew Heissa, adiunkta w Andrew Young School of Policy Studies na Georgia State University, instytucje akademickie odnotowały wzrost cytowań nieistniejących artykułów w publikacjach naukowych generowanych przez sztuczną inteligencję, co podważa zasadność badań. Heiss odkrył, że duże modele językowe (LLM) generują sfabrykowane cytaty, które następnie pojawiają się w publikacjach naukowych. Śledząc fałszywe źródła w Google Scholar, Heiss zaobserwował dziesiątki opublikowanych artykułów cytujących odmiany tych nieistniejących badań i czasopism. W przeciwieństwie do artykułów generowanych przez sztuczną inteligencję, które często są szybko wycofywane, te halucynacyjne wydania czasopism są cytowane w innych dokumenty tożsamościskutecznie legitymizując błędne informacje. Proces ten prowadzi studentów i pracowników naukowych do akceptowania tych „źródeł” jako wiarygodnych bez sprawdzania ich autentyczności, co wzmacnia iluzję wiarygodności poprzez wielokrotne cytowania. Bibliotekarze zajmujący się badaniami zgłaszają, że spędzają do 15% swoich godzin pracy na odpowiadaniu na prośby o nieistniejące rekordy generowane przez LLM, takie jak ChatGPT lub Google Gemini. Heiss znakomity że cytaty generowane przez sztuczną inteligencję często wydają się przekonujące i zawierają nazwiska żyjących naukowców oraz tytuły przypominające istniejącą literaturę. W niektórych przypadkach cytaty zawierały linki do rzeczywistych autorów, ale zawierały sfabrykowane nagłówki artykułów i tytuły czasopism, które naśladowały wcześniejsze prace autorów lub prawdziwe czasopisma. Naukowcy, w tym psycholog Iris van Rooij, ostrzegają, że pojawienie się sztucznej inteligencji w zasobach naukowych grozi temu, co nazwała „zniszczeniem wiedzy”. W lipcu van Rooij i inni podpisali umowę list otwarty opowiadanie się za tym, aby uniwersytety chroniły szkolnictwo wyższe, krytyczne myślenie, wiedzę fachową, wolność akademicką i uczciwość naukową, wzywając do rygorystycznej analizy roli sztucznej inteligencji w edukacji. Inżynier oprogramowania Anthony Moser przewidział w 2023 r., że chatboty mogą spowodować, że instruktorzy utworzą programy nauczania z nieistniejącymi lekturami, a uczniowie będą polegać na sztucznej inteligencji w celu podsumowania lub napisania esejów, co, jak twierdzi obecnie, się zmaterializowało. Moser argumentuje, że opisywanie wyników LLM jako „halucynacji” błędnie przedstawia ich funkcję, stwierdzając, że modele predykcyjne „zawsze mają halucynacje” i są „strukturalnie obojętne na prawdę”. Powiedział, że LLM zanieczyszczają ekosystem informacyjny na wcześniejszym etapie, a nieistniejące cytaty przedostają się do badań i krążą w kolejnych artykułach, porównując je do długotrwałych substancji chemicznych, które są trudne do wyśledzenia lub filtrowania. Moser przypisuje problem „świadomym wyborom”, twierdząc, że zastrzeżenia zostały „zignorowane lub odrzucone”. Przyznaje, że „złe badania nie są niczym nowym”, ale stwierdza, że studia LLM wzmocniły istniejącą wcześniej presję na publikowanie i produkcję, co doprowadziło do powstania artykułów zawierających wątpliwe dane. Craig Callender, profesor filozofii na Uniwersytecie Kalifornijskim w San Diego i prezes Stowarzyszenia Filozofii Nauki, zgadza się z tym, zauważając, że „pojawienie się legalności nieistniejących czasopism jest jak logiczny produkt końcowy istniejących trendów”. Callender zauważa istnienie czasopism akceptujących fałszywe artykuły dla zysku lub stronniczych badań, tworząc rosnące „bagno” w publikacjach naukowych. Sugeruje, że sztuczna inteligencja zaostrza ten problem, ponieważ wyszukiwania w Google wspomagane przez sztuczną inteligencję mogą potencjalnie wzmacniać postrzegane istnienie tych sfabrykowanych czasopism i szerzyć dezinformację. Badacze zgłaszają powszechne zniechęcenie w miarę zapisywania fałszywych treści w publicznych bazach danych, co utrudnia śledzenie pochodzenia twierdzeń.
