日前,Meta大模型團(tuán)隊人員流失大半問題引發(fā)熱議。據(jù)統(tǒng)計,今年2月發(fā)表Llama最初研究論文的14位作者中,已有超半數(shù)離開了Meta;2022年5月發(fā)布的OPT論文的19位作者中,也有大約一半選擇了離開。究其原因,是算力資源短缺導(dǎo)致內(nèi)斗,繼而造成了人才的大量出走。
據(jù)了解,2013年成立的FAIR(Facebook AI Research)曾是Meta AI方面負(fù)責(zé)研究的核心,Llama由FAIR位于巴黎的團(tuán)隊負(fù)責(zé),OPT則是由FAIR位于美國的團(tuán)隊負(fù)責(zé)。
由于沒有盡快采購英偉達(dá)的GPU芯片等原因,導(dǎo)致Meta算力不足。基礎(chǔ)AI研究負(fù)責(zé)人Joelle Pineau坦誠,Llama和OPT團(tuán)隊在算力分配的問題上“有些緊張”。這一情況下,雖然Meta加大了對生成式AI的關(guān)注,但投入相對有限,Meta的CFO Susan Li也表示,“基本上所有的AI算力都投向了廣告、信息流和短視頻項目”。
算力的短缺成為兩個團(tuán)隊內(nèi)斗的根源,并且,因為算力資源分配低于北美的OPT團(tuán)隊,Llama的研究人員因此感覺自己被Meta所冷落,這導(dǎo)致兩個團(tuán)隊內(nèi)斗加劇,人員開始不斷離開。
今年2月,Llama正式發(fā)布一周前,F(xiàn)AIR的聯(lián)合負(fù)責(zé)人兼巴黎分部負(fù)責(zé)人Antoine Bordes離開了Meta。三個月后,Llama論文作者兼FAIR研究總監(jiān)Armand Joulin也選擇離職,加入了蘋果。另外兩名作者Timothée Lacroix和Guillaume Lample則于6月,在法國共同創(chuàng)立了初創(chuàng)公司MistralAI,還邀請了另一名作者M(jìn)arie-Anne Lachaux加入。
OPT同樣如此,據(jù)報道,Meta放棄了OPT團(tuán)隊想要研發(fā)的更大規(guī)模的模型,直接導(dǎo)致了OPT大量人員的離職。
最終,這場內(nèi)斗以兩個團(tuán)隊的合并告終,F(xiàn)AIR領(lǐng)導(dǎo)人召集OPT團(tuán)隊的部分成員,讓其加入Llama團(tuán)隊,專注于模型二代的研發(fā)。
值得注意的是,Meta在AI領(lǐng)域依舊在加大投入,“內(nèi)斗”或許也將持續(xù)。Llama研究團(tuán)隊之外,Meta成立了一個專攻應(yīng)用的生成式AI團(tuán)隊。該團(tuán)隊由蘋果前高管Ahmad Al-Dahle帶隊,已經(jīng)吸引了多個FAIR研發(fā)人員的加入。