Rok później developer modelu LLM Meta Galactica opowiada o swojej drodze i wyciągniętych wnioskach.
Wróć na chwilę myślami o rok wstecz, na dwa tygodnie przed momentem, gdy OpenAI wprowadziło ChatGPT. Model AI od Meta (dawniej Facebook) pojawił się w tym czasie, wywołał masę kontrowersji, a potem zniknął. Teraz jeden z oryginalnych autorów wypowiedział się.
Ross Taylor współzałożył platformę Papers with Code, która gromadzi prace badawcze dla modeli uczenia maszynowego. Był jednym z autorów pracy opisującej Galactica, duży model językowy wytrenowany na pracach naukowych.
Jednak demonstracja modelu wywołała kontrowersje – Meta Galactica generowała cytowania do prac, które nie istniały. Zaledwie kilka dni po jej opublikowaniu została szybko wycofana.
Meta Galactica. Co poszło nie tak?
W poście na X (Twitter) Taylor przerwał milczenie, mówiąc, że zespół stojący za modelem był „przeciążony i stracił świadomość sytuacji podczas startu, wypuszczając [demonstrację]” bez większej kontroli.
„Byliśmy świadomi, jakie mogą być potencjalne opinie krytyków, ale straciliśmy z oczu oczywiste rzeczy w obciążeniu pracą, jaka na nas ciążyła”.
Model Mety przewyższał takie jak PaLM od Google i Chinchilla od DeepMind, ale jego demonstracja zawiodła.
Taylor powiedział, że pomysł na demonstrację polegał na zrozumieniu rozkładu naukowych zapytań, które ludzie mogliby używać dla LLM-ów. Dodał: „Oczywiście było to wolne pole do gry dla dziennikarzy, którzy zamiast tego zapytali o rzeczy spoza domeny naszej AI. Ale tak, powinniśmy byli wiedzieć lepiej i nie liczyć na inne zachowania”.
W tamtym czasie Michael Black, dyrektor renomowanego Instytutu Maxa Plancka dla Inteligentnych Systemów powiedział, że Galactica może „zapoczątkować erę głębokich fałszywych nauk”.
Grady Booch, część trio, które opracowało Unified Modeling Language, opisał zaś Galacticę jako „niewiele więcej niż statystyczną bzdurę na dużą skalę”.
„Zrobiłbym to wszystko jeszcze raz”
Taylor powiedział na X, że trzyma się badań nad Galactica – nawet decyzji o demonstracji, którą udostępnił z zespołem. Była „bezprecedensową otwartością dla dużej firmy z dużym modelem językowym w tamtym czasie. Demonstracja była tylko błędnie ukierunkowana, biorąc pod uwagę wektory ataku, które otworzyła przed nami” — dodał.
Meta od tego czasu trzyma się swojej strategii open source, prowadząc do wydania popularnego dużego modelu językowego LLaMA i następnego, bardziej potężnego Llama 2, co Taylor określa jako szczęśliwy wynik, ponieważ lekcje i praca z Galactica nie poszły na marne.