Stability AI wprowadziło nowy model AI, Stable Virtual Camera, który według firmy może przekształcać obrazy 2D w „wciągające” filmy z realistyczną głębią i perspektywą.
Wirtualne kamery to narzędzia często używane w cyfrowej produkcji filmowej i animacji 3D do rejestrowania i nawigacji po scenach w czasie rzeczywistym. Dzięki Stable Virtual Camera, Stability dążyło do dodania generatywnej AI, aby zapewnić większą kontrolę i możliwość dostosowywania, jak napisano w poście na blogu firmy.
Stable Virtual Camera generuje „nowe widoki” sceny z jednego lub więcej obrazów (do 32 łącznie) pod kątami kamery określonymi przez użytkownika. Model może generować filmy, które poruszają się wzdłuż „dynamicznych” ścieżek kamery lub ustawień wstępnych, w tym „Spiral”, „Dolly Zoom”, „Move” i „Pan”.
Obecna wersja Stable Virtual Camera, będąca podglądem badawczym, może generować filmy w formatach kwadratowym (1:1), portretowym (9:16) i panoramicznym (16:9) o długości do 1000 klatek. Stability ostrzega, że model może w niektórych scenariuszach generować wyniki niższej jakości, zwłaszcza w przypadku obrazów przedstawiających ludzi, zwierzęta lub „dynamiczne tekstury” jak woda.
„Wysoce niejednoznaczne sceny, złożone ścieżki kamery przecinające obiekty lub powierzchnie oraz nieregularnie ukształtowane obiekty mogą powodować migotanie artefaktów,” zauważa Stability w swoim poście na blogu, „szczególnie gdy docelowe punkty widzenia znacznie różnią się od obrazów wejściowych.”
Stable Virtual Camera jest dostępna do celów badawczych na podstawie licencji niekomercyjnej. Można ją pobrać z platformy deweloperskiej AI Hugging Face.
Stability, zmagająca się firma stojąca za popularnym modelem generowania obrazów Stable Diffusion, zdobyła nowe fundusze w zeszłym roku, gdy inwestorzy, w tym Eric Schmidt i założyciel Napstera Sean Parker, starali się odwrócić losy firmy. Emad Mostaque, współzałożyciel i były CEO Stability, podobno doprowadził firmę do finansowej ruiny, co spowodowało rezygnację pracowników, zerwanie partnerstwa z Canva i zaniepokojenie inwestorów perspektywami firmy.
W ciągu ostatnich kilku miesięcy Stability zatrudniło nowego CEO, mianowało reżysera „Titanica” Jamesa Camerona do zarządu i wypuściło kilka nowych modeli generowania obrazów. Na początku marca firma nawiązała współpracę z producentem chipów Arm, aby wprowadzić model AI, który może generować dźwięk, w tym efekty dźwiękowe, na urządzenia mobilne z chipami Arm.