Badacze z MIT opracowali nowy system zamiany mowy na rzeczywistość, który łączy generatywną sztuczną inteligencję 3D z montażem robotycznym w celu wytwarzania obiektów na żądanie. System stworzył przedmioty takie jak meble w ciągu zaledwie pięciu minut. Ten przepływ pracy oparty na sztucznej inteligencji pozwala użytkownikom przekazywać informacje głosowe do ramienia robota, skutecznie „powołując obiekty do istnienia”. Technologia wykorzystuje przetwarzanie języka naturalnego, generatywną sztuczną inteligencję 3D i montaż zrobotyzowany, aby usprawnić proces produkcyjny. Alexander Htet Kyaw, absolwent MIT i stypendysta Morningside Academy for Design (MAD), stwierdził: „Łączymy przetwarzanie języka naturalnego, generatywną sztuczną inteligencję 3D i montaż robotyczny”. Dodał, że te szybko rozwijające się obszary badawcze nie były dotychczas łączone w celu tworzenia obiektów fizycznych na podstawie prostego komunikatu głosowego. System otrzymuje polecenia mówione, np. „Chcę prosty stołek”, a następnie konstruuje obiekty z komponentów modułowych. Do tej pory badacze wykorzystali system do budowy stołków, półek, krzeseł, małego stolika i form dekoracyjnych, w tym statuetki psa. System zamiany mowy na rzeczywistość przetwarza żądania użytkowników w kilku etapach:
- Rozpoznawanie mowy: Duży model językowy przetwarza informacje mówione przez użytkownika.
- Generacyjna sztuczna inteligencja 3D: System tworzy cyfrową reprezentację siatkową żądanego obiektu.
- Algorytm wokselizacji: Siatka 3D jest podzielona na określone komponenty złożenia.
- Obróbka geometryczna: Zespół wygenerowany przez sztuczną inteligencję jest modyfikowany w celu uwzględnienia rzeczywistych ograniczeń produkcyjnych, takich jak liczba komponentów, wysięgi i połączenia geometryczne.
- Kolejność montażu i planowanie ścieżki: System tworzy wykonalną sekwencję montażu i automatycznie planuje ścieżkę dla ramienia robota.
W przeciwieństwie do drukowania 3D, które często zajmuje wiele godzin lub dni, system ten kończy budowę obiektu w ciągu kilku minut. Dzięki temu projektowanie i produkcja stają się bardziej dostępne dla osób nieposiadających specjalistycznej wiedzy w zakresie modelowania 3D lub programowania robotów. Kyaw opracował początkowy system podczas kursu profesora Neila Gershenfelda „Jak zrobić prawie wszystko”. Kontynuował projekt w MIT Center for Bits and Atoms (CBA), współpracując z doktorantami Se Hwanem Jeonem z Wydziału Inżynierii Mechanicznej i Mianą Smith z CBA. Zespół planuje poprawić nośność mebli poprzez wdrożenie solidniejszych połączeń między modułowymi kostkami, wykraczających poza obecne połączenia magnetyczne. Smith zauważył: „Opracowaliśmy także potoki przekształcania struktur wokseli w wykonalne sekwencje montażu dla małych, rozproszonych robotów mobilnych, co mogłoby pomóc w przełożeniu tej pracy na konstrukcje w dowolnej skali”. Zastosowanie komponentów modułowych ma na celu ograniczenie odpadów produkcyjnych poprzez umożliwienie demontażu i ponownego montażu w nowe obiekty. Kyaw pracuje również nad zintegrowaniem z systemem rozpoznawania gestów i rzeczywistości rozszerzonej, łącząc kontrolę mowy i gestów w celu usprawnienia interakcji. Zespół przedstawił swój artykuł „Speech to Reality: On-Demand Production using Natural Language, 3D Generative AI, and Discrete Robotic Assembly” podczas sympozjum Association for Computing Machinery (ACM) na temat Computational Fabrication (SCF ’25) w MIT w dniu 21 listopada. https://www.youtube.com/watch?v=GJQD86H9Nok
