Luma AI, firma wspierana przez a16z, specjalizująca się w modelach wideo AI i 3D, wydany Ray3 Modify, nowy model, który umożliwia użytkownikom modyfikowanie istniejącego materiału filmowego przy użyciu obrazów referencyjnych postaci, przy jednoczesnym zachowaniu oryginalnej wydajności. Użytkownicy dostarczają klatki początkowe i końcowe w celu wygenerowania materiału przejściowego, co pozwala sprostać wyzwaniom związanym z ochroną materiałów w studiach kreatywnych. Ray3 Modify rozwiązuje problemy związane z utrzymaniem wydajności człowieka podczas edycji opartej na sztucznej inteligencji lub generowania efektów. Model ściśle przylega do materiału wejściowego, umożliwiając studiom zatrudnianie aktorów ludzkich w produkcjach kreatywnych lub markowych. W szczególności zachowuje oryginalny ruch aktora, synchronizację, linię oczu i przekaz emocjonalny podczas przekształcania sceny. Użytkownicy wprowadzają odniesienie do postaci, aby zmienić wygląd ludzkiego aktora na określoną postać w materiale filmowym. Proces ten pozwala zachować szczegóły, takie jak kostiumy, podobieństwo i tożsamość, przez cały czas trwania zdjęć. Takie możliwości zapewniają spójne elementy wizualne w sekwencjach bez dodatkowego filmowania. Twórcy dostarczają także początkowe i końcowe klatki odniesienia do tworzenia segmentów wideo za pomocą Ray3 Modify. Ta funkcja pomaga w kierowaniu płynnymi przejściami lub określaniu ruchów i zachowań postaci. Ciągłość pomiędzy scenami pozostaje nienaruszona, wspierając złożone struktury narracyjne w projektach wideo. Amit Jain, współzałożyciel i dyrektor generalny Luma AI, stwierdził: „Generatywne modele wideo są niezwykle wyraziste, ale także trudne do kontrolowania. Dzisiaj z radością przedstawiamy Ray3 Modify, który łączy świat rzeczywisty z ekspresją sztucznej inteligencji, jednocześnie dając pełną kontrolę twórcom. Oznacza to, że zespoły kreatywne mogą rejestrować występy kamerą, a następnie natychmiast modyfikować je tak, aby znajdowały się w dowolnym możliwym miejscu, zmieniać kostiumy, a nawet wracać i ponownie kręcić scenę za pomocą sztucznej inteligencji, bez odtwarzania fizycznej sesji”. https://www.youtube.com/watch?v=4s-wRxtSKC0 Model integruje się bezpośrednio z platformą Dream Machine firmy Luma, dzięki czemu jest natychmiast dostępny dla użytkowników. Luma konkurencyjna jest w obszarze generowania wideo AI, w tym Runway i Kling. Firma wprowadziła wstępne możliwości modyfikacji wideo w czerwcu 2025 r. Wydanie to jest następstwem ogłoszonej w listopadzie rundy finansowania w wysokości 900 mln dolarów, prowadzonej przez Humain, firmę zajmującą się sztuczną inteligencją należącą do Funduszu Inwestycji Publicznych Arabii Saudyjskiej. Do rundy dołączyli obecni inwestorzy a16z, Amplify Partners i Matrix Partners, zapewniając znaczny kapitał na rozwój. https://static.cdn-luma.com/files/sanity/c9df5066-d549-4793-9dbb-fdff8ae16fba.mp4
Wideo: Luma
Luma planuje zbudować klaster sztucznej inteligencji o mocy 2 GW w Arabii Saudyjskiej we współpracy z firmą Humain. Ta inicjatywa infrastrukturalna wspiera skalowanie zasobów obliczeniowych na potrzeby zaawansowanych operacji modelowania wideo i 3D wykorzystujących sztuczną inteligencję.
