Badacze z Apple opracowali technologię ReALM, czyli system AI który potrafi rozumieć niejednoznaczne odniesienia do obiektów widocznych na ekranie oraz kontekst polecenia i tła, umożliwiając bardziej naturalne interakcje z asystentami głosowymi.
System nazwany ReALM (ang. Reference Resolution As Language Modeling), wykorzystuje duże modele językowe do przekształcenia złożonego zadania rozwiązywania odniesień – włączając w to rozumienie odniesień do elementów wizualnych na ekranie – w czysty problem modelowania języka. Pozwala to ReALM osiągnąć znaczące zyski wydajności w porównaniu z istniejącymi metodami.
Fot. materiały naukowe ReALM: Reference Resolution As Language Modeling
Wzmacnianie asystentów konwersacyjnych
Kluczową innowacją ReALM jest odtworzenie ekranu za pomocą sparsowanych obiektów ekranowych i ich lokalizacji w celu wygenerowania tekstowej reprezentacji, która uchwyci wizualny układ. Badacze wykazali, że to podejście, połączone z dostosowywaniem modeli językowych specjalnie do rozwiązywania odniesień, może przewyższyć GPT-4 w tym zadaniu.
Praktyczne zastosowania i ograniczenia ReALM
Praca omawiająca ReALM podkreśla potencjał skoncentrowanych modeli językowych do obsługi zadań takich jak rozwiązywanie odniesień w systemach produkcyjnych, gdzie użycie masowych modeli end-to-end jest niepraktyczne ze względu na opóźnienia lub ograniczenia obliczeniowe. Poprzez publikację badań, Apple sygnalizuje swoje ciągłe inwestycje w czynienie Siri i innych produktów bardziej rozmownymi i świadomymi kontekstu.
Fot. DALLE-3
Apple goni za AI-rywalami
Apple cicho dokonuje znaczących postępów w badaniach nad sztuczną inteligencją, nawet jeśli pozostaje w tyle za technologicznymi rywalami w wyścigu o dominację w szybko zmieniającym się krajobrazie AI. Od multimodalnych modeli łączących wizję i język, przez narzędzia do animacji napędzane AI, po techniki budowania wysokowydajnego specjalizowanego AI. Wszystko to odbywa się przy ograniczonym budżecie, a stały rytm przełomów z laboratoriów badawczych firmy sugeruje, że jej ambicje AI szybko rosną.
Nowa era wszechobecnych, naprawdę inteligentnych komputerów
Na horyzoncie pojawia się nowa era naprawdę inteligentnych komputerów. Czerwiec pokaże, czy Apple zrobiło wystarczająco, by mieć wpływ na jej kształtowanie. Mimo swojej charakterystycznej tajemniczości, jest jasne, że wysiłki AI Apple są szerokie w tym zakresie. Jednak w miarę rozgrzewania się bitwy o supremację w AI, nietypowa dla firmy późna reakcja stawia ją w nietypowej i pasywnej pozycji. Głębokie kieszenie, lojalność marki, elitarne wzornictwo i ściśle zintegrowane portfolio produktów dają jej szansę na zwycięstwo – ale w tak wzmocnionej stawce konkurencji nie ma już na to gwarancji, mimo że technologie takie jak ReALM robią wrażenie.
Czytaj dalej: