Nowe badanie ma nieosłonięty Niepokojący wzrost formalnych artykułów badawczych pochodzących z National Health and Nutrition Examination Survey (NHANES), co sugeruje, że narzędzia sztucznej inteligencji są niewłaściwie wykorzystywane do masowego produkcji statystycznie słabej i potencjalnie wprowadzającej w błąd literatury naukowej. Autorzy wskazują na gwałtowny wzrost analiz jednoskładnikowych, które pomijają wieloczynnikową złożoność, wybiórczo wykorzystują otwarte dane i omijają solidne poprawki statystyczne.
Między 2014 i 2021Co roku publikowano tylko cztery takie artykuły. Ale tylko w 2024 r., Do 9 października, Tally wzrosło do 190. Ten wykładniczy wzrost, w połączeniu z zmianami w publikacji i poleganiem na automatyzacji, wskazuje, że rurociągi wspomagane przez AI mogą przyspieszać produkcję manuskryptu niskiej jakości. Sercem problemu leży niewłaściwe użycie Nhanes, szanowanego i gotowego do AI Rządowego zestawu danych rządu USA, pierwotnie opracowanego w celu oceny trendów zdrowia publicznego w całej populacji.
Rozpakowanie problemu NHANES
NHANES zapewnia wyjątkowo bogaty zestaw danych, łączący dane kliniczne, behawioralne i laboratoryjne w tysiącach zmiennych. Jest dostępny za pośrednictwem interfejsów API i ma znormalizowane biblioteki Pythona i R, umożliwiając naukowcom efektywne wyodrębnienie i analizę danych. To sprawia, że jest to cenne narzędzie zarówno dla badaczy zdrowia publicznego, jak i programistów AI. Ale ta sama wygoda powoduje również podatność: pozwala badaczom na szybkie generowanie wyników i przy minimalnym nadzorze, co prowadzi do eksplozji badań formalnych.
W nowym badaniu przeanalizowano 341 artykułów opartych na NHANES opublikowanych w latach 2014–2024, które opierały się na korelacjach pojedynczych zmiennych. Papiery te pojawiły się średnio w czasopismach o umiarkowanym wpływie (średni współczynnik wpływu 3,6) i często koncentrowały się na warunkach takich jak depresja, cukrzyca lub choroby sercowo-naczyniowe. Zamiast badać wieloczynnikowy charakter tych warunków, badania zazwyczaj czerpały istotność statystyczną z jednej zmiennej niezależnej, omijając korektę fałszywych odkryć i często opierając się na niewyjaśnionych podzespołach danych.
Jednym z głównych problemów jest to, że wieloczynnikowe warunki zdrowotne – takie jak zaburzenia zdrowia psychicznego, przewlekłe zapalenie lub choroby sercowo -naczyniowe – były analizowane przy użyciu metod bardziej dostosowanych do prostych relacji binarnych. W efekcie badania te przedstawiły ustalenia, które pozbawiły niuansu i zignorowały rzeczywistość, że wyniki zdrowotne rzadko są napędzane przez jeden czynnik.
Depresję zastosowano jako studium przypadku, z 28 poszczególnymi artykułami, które domagają się powiązań między stanem a różnymi zmiennymi niezależnymi. Jednak tylko 13 z tych stowarzyszeń pozostało istotne statystycznie po zastosowaniu korekcji wskaźnika fałszywego wykrywania (FDR). Bez odpowiedniej korekcji publikacje ryzykują wprowadzenie dużej ilości Błędy typu I do literatury naukowej. W niektórych przypadkach naukowcy wydawali się poddawać recyklingowi zmienne jako zarówno predyktory, jak i wyniki w dokumentach, dodatkowo zamieniając wody.
Adele Microsoft chce nadać twojej sztucznej inteligencji profilu poznawczego
Selektywne wydobycie danych i przewoź
Kolejnym problemem odkrytym przez autorów było użycie Nieuzasadnione podzbiory danych. Chociaż NHANES zapewnia szeroki harmonogram danych zdrowotnych z 1999 r., Wielu badaczy wybrało wąskie okna analizy bez ujawnienia uzasadnienia. Na przykład niektóre badania wykorzystały tylko 2003–2018 okno do analizy cukrzycy i stanu zapalnego, pomimo szerszej dostępności danych. Praktyka wskazuje na pogłębianie danych lub przejechanie, hipotezę po znanych jest wyniki, metodologicznie wadliwe podejście, które podważa powtarzalność i przejrzystość.
Mediana badania przeanalizowano zaledwie cztery lata danych NHANES, pomimo bazy danych oferujących ponad dwie dekady informacji. To selektywne pobieranie próbek umożliwia autorom zwiększenie prawdopodobieństwa osiągnięcia znaczących wyników bez uwzględnienia złożoności pełnej zestawu danych, ułatwiając produkcję i publikowanie rękopisów w dużym objętości.
Odkrycia stanowią poważne wyzwanie dla integralności literatury naukowej. Badania pojedynczych zmiennych, które nie uwzględniają złożonych współzależności, częściej wprowadzają w błąd. Po powtarzaniu się na dużą skalę, takie badania zalewają ekosystem akademicki z artykułami, które spełniają progi publikacji, ale oferują niewiele nowego wglądu. Jest to spotęgowane przez słabą recenzję i rosnącą presję na naukowców, aby publikowali często i szybko.
Autorzy ostrzegają, że praktyki te, jeśli nie są sprawdzone, mogą zmienić równowagę w niektórych podflach, w których wyprodukowane dokumenty przewyższają liczbę uzasadnionych. Zastosowanie sztucznej inteligencji do przyspieszenia generowania manuskryptu tylko wzmacnia to ryzyko. Ponieważ modele generatywne stają się bardziej dostępne, umożliwiają szybką konwersję wyników statystycznych w pełnowymiarowe manuskrypty, skracając czas i wiedzę specjalistyczną wymaganą do publikowania artykułów naukowych.
Zalecenia dla interesariuszy:
Aby złagodzić ryzyko pogłębiania danych i badań w zakresie masy, autorzy proponują kilka konkretnych kroków:
- Dla naukowców: Uznaj ograniczenia badań jednoskładnikowych i w stosownych przypadkach włącz analizę wieloczynnikową. Wyraźnie uzasadniaj wszelkie zmiany podgrupowania lub hipotezy.
- Dla dostawców danych: Wprowadź dostęp do kontroli za pośrednictwem klawiszy API lub identyfikatorów aplikacji, aby zniechęcić do wydobycia masowego. Wymagaj, aby jakakolwiek publikacja powołując się na ich zbiorów danych ujawniła pełną historię ekstrakcji danych.
- Dla wydawców: Zwiększ wskaźniki odrzucania biurka dla papierów formalnych. Zatrudniaj dedykowanych recenzentów statystycznych. Użyj szablonów do identyfikacji manuskryptów przy użyciu identycznych rurociągów z jedynie zmiennymi swapami.
- Dla recenzentów: Traktuj zastosowanie analizy jednoprzemiennej dla złożonych warunków jako czerwonej flagi. Poproś o wyjaśnienie, gdy brakuje rygorystyki statystycznej lub podgrupy danych są słabo uzasadnione.
- Dla szerszej społeczności naukowej: Angażować się w przegląd po publikacji. Platformy takie jak PubPeer powinny być aktywnie wykorzystywane do oznaczenia wątpliwych praktyk, nawet gdy metody statystyczne wydają się powierzchownie solidne.
