Meta ma najnowszy dodatek do swojej rodziny generatywnych modeli AI Llama: Llama 3.3 70B. Firma poinformowała o nim na Instagramie Marka Zuckerberga.
W poście na X, Ahmad Al-Dahle, wiceprezes ds. generatywnej AI w Meta, powiedział, że tekstowy model Llama 3.3 70B oferuje wydajność największego modelu Llama Meta, Llama 3.1 405B, ale przy niższych kosztach.
“Wykorzystując najnowsze osiągnięcia w technikach post-treningowych, ten model poprawia podstawową wydajność przy znacznie niższych kosztach” — napisał Al-Dahle.
Introducing Llama 3.3 – a new 70B model that delivers the performance of our 405B model but is easier & more cost-efficient to run. By leveraging the latest advancements in post-training techniques including online preference optimization, this model improves core performance at… pic.twitter.com/6oQ7b3Yuzc
— Ahmad Al-Dahle (@Ahmad_Al_Dahle) December 6, 2024
Al-Dahle opublikował wykres pokazujący, że Llama 3.3 70B przewyższa Google Gemini 1.5 Pro, OpenAI GPT-4o i nowo wydany Amazon Nova Pro w wielu branżowych benchmarkach, w tym MMLU, który ocenia zdolność modelu do rozumienia języka. W e-mailu rzecznik Meta powiedział też, że model powinien przynieść poprawę w takich obszarach jak matematyka oraz wiedza ogólna.
Llama 3.3 70B zapewnia świetne wyniki
Llama 3.3 70B, dostępny do pobrania z platformy developerskiej AI Hugging Face i innych źródeł, w tym oficjalnej strony Llama, to najnowsza próba Meta, aby zdominować pole AI za pomocą “otwartych” modeli, które mogą być używane i komercjalizowane w różnych zastosowaniach.
Warunki Meta ograniczają, jak niektórzy developerzy mogą używać modeli Llama — platformy z ponad 700 milionami użytkowników miesięcznie muszą ubiegać się o specjalną licencję. Ale dla wielu nie ma znaczenia, że modele Llama nie są “otwarte” w najściślejszym sensie. Przykładowo, Llama ma już ponad 650 milionów pobrań.
Meta również wewnętrznie wykorzystała Llama. Meta AI, asystent AI firmy, który jest w pełni zasilany przez modele Llama, ma teraz prawie 600 milionów aktywnych użytkowników miesięcznie — według CEO Meta Marka Zuckerberga. Zuckerberg twierdzi, że Meta AI jest na dobrej drodze, aby stać się najczęściej używanym asystentem AI na świecie.
Kontrowersyjne zastosowania
Dla Meta otwarta natura Llama była błogosławieństwem i przekleństwem. W listopadzie raport twierdził, że chińscy badacze wojskowi użyli modelu Llama do opracowania chatbota obronnego. Meta odpowiedziała, udostępniając swoje modele Llama amerykańskim kontrahentom obronnym.
Meta wyraziła również obawy dotyczące swojej zdolności do przestrzegania ustawy o AI, unijnego prawa ustanawiającego ramy regulacyjne dla AI, nazywając wdrożenie prawa “zbyt nieprzewidywalnym” dla swojej strategii otwartego wydania. Związane z tym problemem dla firmy są przepisy RODO. Meta trenuje bowiem modele AI na publicznych danych użytkowników Instagrama i Facebooka.
Regulatorzy UE na początku tego roku zażądali, aby Meta wstrzymała szkolenie na danych europejskich użytkowników. Meta ustąpiła, jednocześnie popierając otwarty list wzywający do nowoczesnej interpretacji RODO, która nie “odrzuca postępu” technologicznego.
Meta inwestuje w data center
Meta zwiększa swoją infrastrukturę komputerową, aby szkolić i obsługiwać przyszłe generacje Llama. Firma ogłosiła w środę, że zbuduje centrum danych AI o wartości 10 miliardów dolarów w Luizjanie — będzie to największe centrum danych AI, jakie Meta kiedykolwiek zbudowała.
Zuckerberg powiedział na konferencji wynikowej Meta za IV kwartał w sierpniu, że aby wyszkolić następną główną serię modeli Llama, Llama 4, firma będzie potrzebować 10 razy więcej mocy obliczeniowej niż było potrzebne do wyszkolenia Llama 3. Meta zakupiła klaster ponad 100 000 procesorów graficznych Nvidia do rozwoju modeli, rywalizując o zasoby z konkurentami takimi jak xAI Elona Muska.
Szkolenie generatywnych modeli AI to kosztowny biznes. Wydatki kapitałowe Meta wzrosły o prawie 33% do 8,5 miliarda dolarów w II kwartale 2024 roku, w porównaniu do 6,4 miliarda dolarów rok wcześniej, napędzane inwestycjami w serwery, centra danych i infrastrukturę sieciową.
Czytaj też: