Wielu uważa, że boom AI natychmiast rozpalił ogromne zapotrzebowanie na publiczne dane internetowe. W końcu modele te są szkolone w zakresie danych, a wiele z nich jest w Internecie. Ma pewną prawdę, ale to nie cała historia.
Kiedy narzędzia takie jak Chatgpt zaczęły się rozwinąć jeden po drugim, modele AI, na których oparte były już przeszkolone. Dane zostały już nabyte z różnych źródeł i wykorzystywane do tworzenia narzędzi wprowadzanych do konsumentów. Oczywiście narzędzia te zawsze poprawiły się przy pomocy dodatkowych danych. Jednak większość tych danych została zebrana poprzez interakcje z użytkownikami lub przez programistów tych narzędzi za pomocą ich wewnętrznych metod. Na początku to wystarczyło.
Rzeczy zaczęły się zmieniać, gdy rozwiązania te otrzymały moc wyszukiwarek, aby uzyskać dostęp do danych w czasie rzeczywistym. Potrzeba danych internetowych gwałtownie wzrosła. Nawet to było tylko rozgrzewkę w porównaniu z zapotrzebowaniem na dane internetowe, które teraz przyspieszają.
Most nad luką wiedzy
Postępuj szybko w dobie AI. Ale jeśli wspominasz, kiedy wydano pierwsze konwersacyjne narzędzia AI, możesz pamiętać, że mieli one jedną zauważalną słabość w porównaniu z tradycyjnymi wyszukiwarkami – odcięcie wiedzy.
Mogli wiedzieć tylko, co się stało, dopóki nie zostały wydane lub ostatnio zaktualizowane. Tak więc istniała luka między rzeczywistością, w której mieszkałeś, a tą ostatnią aktualizacją. Narzędzia takie jak Chatgpt nie zawiodły, gdy chciałeś zbadać ostatnie wydarzenia lub uzyskać aktualizowane i odpowiednie informacje.
Zmieniło się to wraz z postępem wyszukiwarek napędzanych AI. Aby zapewnić odpowiednie i niezawodne generatywne wyniki wyszukiwania, narzędzia te muszą mieć dostęp do danych online w czasie rzeczywistym. Potrzebny był most między modelami a Internetem, nad którym informacje mogłyby natychmiast podróżować.
Wiele części, takich jak rozległe sieci proxy, skrawanie interfejsów API i inne narzędzia do bezproblemowej integracji i otwartego dostępu do stron internetowych, łączy się, aby stworzyć infrastrukturę gromadzenia danych internetowych – ten niezbędny most.
I to dopiero początek. . Wpływ wyszukiwania generatywnego O tym, jak poruszamy się po Internecie, prawie na pewno będzie największe od czasu wyszukiwania Google w 1998 roku. Gdy świadczymy jego rozwój, firmy, od ustalonych klasycznych wyszukiwarek po wschodzące i głodne startupy, ścigają się, aby wykrzywiać swoją przestrzeń w przyszłości wyszukiwania. Wyścig ten w dużej mierze zależy od tego, jak niezawodny jest most, na którym działają.
AI idzie multimodal
Modele AI, które najbardziej znamy, działają w ograniczonej przestrzeni. Chatboty mogą czytać i odpowiadać na podpowiedzi tekstowe. Nawet bardziej zaawansowane narzędzia, które mogą generować obrazy oparte na podpowiedzi języka naturalnego, mają dość ścisłe granice.
Naturalny następny krok w ewolucji AI, Multimodal AI Wykorzystuje wiele rodzajów danych, aby zapewnić bardziej wszechstronne, wnikliwe i dobrze oparte wyjścia. Szkolenie Multimodal AI wymaga dużych tomów wideo, audio, tekstu, mowy i innych typów danych. Modele te umożliwią również generowanie wideo opartych na AI na następnym poziomie, co spowoduje wyższą jakość i wewnętrzną spójność wygenerowanego materiału.
Gdy konkurencja nasila się z nowymi graczami, takimi jak Deepseek Pojawiając się nagle i pozornie znikąd, pytanie brzmi, które firmy są wypracowując multimodalne narzędzia za zamkniętymi drzwiami. Niezależnie od tego, że firmy te potrzebują możliwości skrobania danych, które są bezprecedensowe nawet w dobie dużych zbiorów danych.
Aby stworzyć skuteczne narzędzia multimodalne, zwłaszcza generatory wideo, programiści muszą zeskrobać wiele danych wideo. Scrapowanie filmów nie przypomina skrobania HTML stron internetowych. Rozmiar i złożoność zadania są zupełnie inne. Po pierwsze, zestawy danych wideo są tysiące razy większe niż zestawy danych HTML. Po drugie, musisz uzyskać zdjęcia, dźwięk, transkrypcje – wszystkie aspekty wideo, aby Twoje narzędzie były konkurencyjne na rynku eksplodującym.
Dlatego firmy potrzebują stałego strumienia danych, które są zarówno ogromne, jak i różnorodne. Oprócz niezawodności wymagana infrastruktura musi posiadać zaawansowane możliwości przetwarzania danych, aby obsłużyć ten przepływ bez błędów. Niektóre firmy mogą zdecydować się na gotowe zestawy danych lub rozwiązania, aby uniknąć nawet najmniejszych opóźnień, które mogą być bardzo kosztowne na rynku w szybkim tempie.
Multimodal spotyka się z wielojęzykiem
Zapotrzebowanie na niezawodną wielojęzyczną sztuczną inteligencję jest ogromne. Może to znacznie ułatwić, usuwając bariery językowe w codziennych sytuacjach, a także usprawnić Międzynarodowe operacje biznesowe. Bardzo Modele o dużym języku byli przeszkoleni do działania przede wszystkim w języku angielskim, a podczas ich poprawy jest jeszcze długa droga.
Jest to kolejny obszar konkurencji, który może być szczególnie atrakcyjny dla startupów AI, które nie mogą konkurować na dominujących rynkach modeli AI opartych na języku angielskim. Internet mówi o wszystkich językach i patrzy na kolejną falę ekstrakcji danych przez programistów ścigających się w celu budowania narzędzi priorytetów wielojęzycznych lub nieanglojęzycznych.
A ponieważ to już spory popyt, zapotrzebowanie na generowanie wideo w innych językach, można łatwo zrozumieć, dlaczego wcześniej było tylko rozgrzewką dla sztucznej inteligencji. Dużo rozwoju sztucznej inteligencji zostało zniechęconych na później, po opanowaniu podstaw. Później nadeszło. Teraz AI chce tworzyć wszystko w dowolnym mediach i mówić w wszystkich językach. Aby to osiągnąć, należy wyodrębnić wiele niewykorzystanych danych.
Evergreen Dane
Podsumowując, nawet w wieku, w którym skrobanie danych internetowych ma kluczowe znaczenie dla dominacji krajobrazów technologicznych w przyszłości, wiele danych nie zostało jeszcze zeskrobanych. Osoby z narzędziami, aby uzyskać te dane, najpierw pozycjonują się do kolejnego etapu rozwoju sztucznej inteligencji.
Jednak nawet po przeszkoleniu i zwolnieniu narzędzi nowej generacji, a potrzeba zestawów danych wideo do szkolenia, zawsze będzie jeden rodzaj danych pod wielkim popytem-dane w czasie rzeczywistym. Najlepsze narzędzia AI będą w stanie dostarczyć odpowiednich informacji i zrozumieć obecny kontekst.
Zatem programiści AI potrzebują jeszcze większych niż duże zestawy danych, które ostatecznie będą się starzeć, jest integracja z siecią, która umożliwia stały przepływ danych, nowo wygenerowany co sekundę. Budowanie tej integracji i uczynienie go niezawodnym, jest wyzwaniem, które określi przyszłość rynków AI.
