Wzrost dużych modeli językowych (LLM) i fundamentalnych modeli AI zrewolucjonizowało krajobraz oprogramowania, oferując ogromny potencjał inżynierom produktów w celu zwiększenia doświadczeń użytkowników. Ale w jaki sposób firmy mogą skutecznie wykorzystać tę technologię?
Rozmawiałem z Igor LuchenkovInżynier produktu sztucznej inteligencji, który zbudował infrastrukturę do korzystania z LLM na skalę i stworzył platformę Hackathon Hackathonparty Aby uzyskać wgląd w zastosowaną sztuczną inteligencję w inżynierii produktów i uszczęśliwianie użytkowników.
Definiowanie AI w rozwiązaniach SaaS
Luchenkov definiuje zastosowanie AI w bieżącym kontekście SaaS jako koncentruje się wokół modeli fundamentalnych pochodzących z LLMS.
„Model fundamentalny to algorytm uczenia maszynowego przeszkolonego na podstawie ogromnej ilości danych”, powiedział Luchenkov. „Te modele mogą zrozumieć tekst, obrazy, dźwięk i praktycznie dowolne dane wejściowe w określonej domenie”.
Wskazuje na znane przykłady, takie jak Claude Openai i Anthropic’s Claude, a także alternatywy typu open source, takie jak Deepseek R1, Mistral, Gemma i Lama. Aplikacje są ogromne, od chatbotów i narzędzi do podsumowania spotkań po generowanie kodu i platformy analizy danych zasilanych AI.
„Spektrum możliwych przypadków użycia jest bardzo wysokie, a jeszcze nie zostało ustalone” – powiedział Luchenkov.
Ocena potrzeby stosowanej AI
Luchenkov doradza pragmatyczne podejście do wdrażania AI.
„Po pierwsze, zbuduj produkt, który działa i przynosi wartość dla klientów. Zrób to bez AI – powiedział mi Luchenkov. Umożliwia to porównanie inicjatyw AI. Kluczowe pytanie brzmi: czy istnieje dobry przypadek użycia sztucznej inteligencji?
„Szukamy możliwości produktu, w których potrzebne jest ludzkie, przemyślane podejmowanie decyzji”-powiedział Luchenkov. „Należy skupić się na automatyzacji zadań i zwiększeniu wydajności użytkownika”.
Luchenkov ilustruje to swoją pracą w Wyjaśniaćgdy AI zasilają przygotowanie, e -mailem i e -mailem i podsumowuje podsumowanie w ramach ich CRM.
„Przez dziesięciolecia zwracaliśmy wyraźny problem, znany przez dziesięciolecia (relacje z klientem to długi, dokładny proces) i ułatwiło to AI” – powiedział Luchenkov. „Firmy powinny„ zidentyfikować problem, który wymaga rozwiązania inteligentnego systemu i upewnić się, że ten problem jest wart rozwiązania ”.
Zaleca także konsultację z zasadami ML Google w celu uzyskania wskazówek na temat budowania Systemy AI/ML.
Kluczowe względy infrastruktury
Luchenkov podkreśla, że zastosowane aplikacje AI są przede wszystkim aplikacjami wymagającymi rozwiązań tradycyjnych wyzwań inżynierii oprogramowania, takich jak skalowalność, czasy reakcji, monitorowanie i alerty. Jednak AI wprowadza własny zestaw rozważań.
„Musisz szukać rozkładu wydajności modelu, przesunięć dystrybucji danych i innych rzeczy specyficznych dla twojego konkretnego zadania” – powiedział Luchenkov. Obserwalność ma kluczowe znaczenie dla zrozumienia wpływu zmian systemu na wydajność i wskaźniki biznesowe. Podstawowe modele stanowią również unikalne wyzwania, szczególnie w ocenie odpowiedzi otwartych.
Luchenkov przytacza przykład modelu podsumowującego tekst: „Skąd wiesz, czy LLM poprawnie podsumowuje tekst i nie wymyśla?” Można zastosować wskaźniki takie jak sędzia AI i zakłopotanie, ale konkretny wybór zależy od przypadku użycia.
„Ogólnie rzecz biorąc, oceniaj i monitoruj wskaźniki, które mają sens dla twojego konkretnego zadania” – powiedział Luchenkov.
Demokratyzacja wykorzystania sztucznej inteligencji
Luchenkov uważa, że zastosowanie AI powinny być dostępne dla wszystkich w organizacji.
„AI jest obecnie towarem” – powiedział Luchenkov. Ograniczenie dostępu utrudnia innowacje. Poza zespołami produktowymi sugeruje ustanowienie dedykowanego zespołu badawczo -rozwojowego AI do śledzenia nowych modeli i technik oraz eksploracji nowych przypadków użycia.
„Celem takiego zespołu jest odkrycie nowych przypadków użycia używania AI w produkcie i wprowadzanie innowacji w różnych obszarach produktu”, powiedział Luchenkov.
Zaleca także książki „Projektowanie systemów uczenia maszynowego” I „Inżynieria AI„Chip Huyen w celu uzyskania dalszych informacji na temat infrastruktury i oceny.
Ograniczenie ryzyka AI
AI, przeszkolona w zakresie rozległych zestawów danych często zawierających uprzedzenia i dezinformację, niesie nieodłączne ryzyko. Luchenkov podkreśla potencjał AI do generowania szkodliwych lub nieodpowiednich odpowiedzi, powołując się na chatbota, który sugerował samobójstwo.
„Każdy taki precedens jest tragedią dla ludzi i ogromną stratą reputacji dla firmy” – powiedział Luchenkov.
Nawet pozornie nieszkodliwe błędy, takie jak nieprawidłowe reakcje obsługi klienta, mogą uszkodzić zaufanie i prowadzić do negatywnego rozgłosu. Powtarza znaczenie ciągłego monitorowania i oceny, aby zapewnić wydajność i zidentyfikować potencjalne problemy.
Rozwiązywanie problemów z reputacją
Luchenkov uznaje potencjał szkód reputacji z powodu nieprzewidywalności AI. Wskazuje na przykłady asystentów AI składających dziwne oświadczenia lub generowania stronniczych odpowiedzi.
„Dlatego bardzo ważne jest, aby mieć odpowiednie zabezpieczenia, takie jak filtrowanie treści i nadzór człowieka” – powiedział Luchenkov.
Zauważa, że nadzór człowieka jest niezbędny w wrażliwych obszarach, takich jak opieka zdrowotna, finanse i usługi prawne w celu zapewnienia dokładności, zgodności i odpowiedzialności etycznej. Luchenkov, ostatecznym celem, jest „wykorzystanie korzyści AI przy jednoczesnym chronieniu reputacji firmy i utrzymaniu zaufania klientów”.
