作者:木沐

　　編譯:文刀

　　一份被意外泄露的谷歌內(nèi)部文件，將Meta的LLaMA大模型“非故意開源”事件再次推到聚光燈前。

　　“泄密文件”的作者據(jù)悉是谷歌內(nèi)部的一位研究員，他大膽指出，開源力量正在填平OpenAI與谷歌等大模型巨頭們數(shù)年來筑起的護(hù)城河，而最大的受益者是Meta，因?yàn)樵摴��?月意外泄露的LLaMA模型，正在成為開源社區(qū)訓(xùn)練AI新模型的基礎(chǔ)。

　　幾周內(nèi)，開發(fā)者與研究人員基于LLaMA搞起微調(diào)訓(xùn)練，接連發(fā)布了Alpaca、Vicuna、Dromedary等中小模型，不只訓(xùn)練成本僅需幾百美元，硬件門檻也降低至一臺(tái)筆記本電腦甚至一部手機(jī)，測(cè)試結(jié)果不比GPT-4差。

　　除了AI模型之外，F(xiàn)reedomGPT等類ChatGPT應(yīng)用也如雨后春筍般涌現(xiàn)，基于LLaMa的“羊駝家族”不斷壯大，這位研究員認(rèn)為，Meta很可能借此形成生態(tài)，從而成為最大贏家。

　　事實(shí)上，人工智能的世界里，的確有一部分進(jìn)入了“安卓時(shí)刻”，這個(gè)部分就是開源社區(qū)。特斯拉前AI主管Andrej Karpathy評(píng)價(jià)開源社區(qū)中的AI進(jìn)化時(shí)稱，他看到了“寒武紀(jì)大爆發(fā)的早期跡象”。

　　在AI競(jìng)速的賽道上，奔跑的不只有科技巨頭，開源社區(qū)正在從小徑中涌入大道，成為人工智能開發(fā)層面不可忽視的力量。

　　LLaMa意外開源養(yǎng)出 “羊駝家族”

　　“我們沒有護(hù)城河，OpenAI 也沒有。”一篇來自Google 內(nèi)部的文章在 SemiAnalysis 博客傳播，文章作者認(rèn)為，Meta的LLaMa開源模型快速聚集起生態(tài)雛形，正在消除與GPT之間的差距，開源AI最終會(huì)打破 Google與OpenAI的護(hù)城河。

　　這篇文章讓人重新注意到了Meta的 LLaMA 大模型，該模型代碼被泄露后的2個(gè)月里意外成了開源社區(qū)訓(xùn)練自然語言模型的基礎(chǔ)，還產(chǎn)生了諸多中小模型及應(yīng)用。

　　時(shí)間回到今年2月24日，Meta推出大語言模型LLaMA，按參數(shù)量分為7B、13B、33B和65B四個(gè)版本。別看參數(shù)量遠(yuǎn)遠(yuǎn)不及GPT-3，但效果在AI圈內(nèi)獲得了一些正面評(píng)價(jià)，尤其是能在單張GPU運(yùn)行的優(yōu)勢(shì)。

　　Meta在官方博客中曾稱，像LLaMA這種體積更小、性能更高的模型，能夠供社區(qū)中無法訪問大量基礎(chǔ)設(shè)施的人研究這些模型，進(jìn)一步實(shí)現(xiàn)人工智能大語言模型開發(fā)和訪問的民主化。

　　“民主化”來得異�？�。LLaMA推出一周后，一位名叫l(wèi)lamanon的網(wǎng)友在國(guó)外論壇4chan上以種子文件的方式上傳了7B和65B的LLaMA模型，下載后大小僅為 219GB。此后，這個(gè)種子鏈接被發(fā)布到開源社區(qū)GitHub，下載量超過千次。LLaMA就這樣被泄露了，但也因此誕生了諸多實(shí)驗(yàn)成果。

　　最初，名叫 Georgi Gerganov 的開發(fā)者開源了一個(gè)名為llama.cpp的項(xiàng)目，他基于LLaMA 模型的簡(jiǎn)易Python語言的代碼示例，手?jǐn)]了一個(gè)純 C/C++ 語言的版本，用作模型推理。換了語言的最大優(yōu)勢(shì)就是研究者無需 GPU、只用 CPU能運(yùn)行LLaMA模型，這讓大模型的訓(xùn)練硬件門檻大大降低。

　　正如谷歌那位研究員寫得那樣，“訓(xùn)練和實(shí)驗(yàn)的門檻從一個(gè)大型研究機(jī)構(gòu)的全部產(chǎn)出降低到1個(gè)人、1晚上和1臺(tái)性能強(qiáng)大的筆記本電腦就能完成。”在開發(fā)者的不斷測(cè)試下，LLaMA已經(jīng)能夠在微型計(jì)算機(jī)樹莓派4和谷歌Pixel 6手機(jī)上運(yùn)行。

　　開源社區(qū)的創(chuàng)新熱情也徹底點(diǎn)燃，每隔幾天都會(huì)有新進(jìn)展，幾乎形成了一個(gè)“LLaMA(羊駝)生態(tài)”。

　　3月15日，斯坦福大學(xué)微調(diào)LLaMA后發(fā)布了Alpaca(美洲駝)模型，僅用了52K數(shù)據(jù)，訓(xùn)練時(shí)長(zhǎng)為3小時(shí)。研究者宣稱，測(cè)試結(jié)果與GPT-3.5不分伯仲，而訓(xùn)練成本還不到600美元，在一些測(cè)試中，Alpace與GPT-3.5的獲勝次數(shù)分別為90對(duì)89。

　　隨后，加州大學(xué)伯克利分校、卡內(nèi)基梅隆大學(xué)、加州大學(xué)圣地亞哥分校的研究人員又提出新的模型Vicuna(小羊駝)，也是基于LLaMa做出來的，訓(xùn)練成本僅300美元。

　　在該項(xiàng)目的測(cè)評(píng)環(huán)節(jié)，研究人員讓GPT-4當(dāng)“考官”，結(jié)果顯示，GPT-4在超過90%的問題中更強(qiáng)傾向于Vicuna的回答，并且Vicuna在總分上達(dá)到了ChatGPT的92%。

　　用GPT-4測(cè)評(píng)Vicuna與其他開源模型

　　短短幾周，基于LLaMa構(gòu)建的“羊駝家族”不斷壯大。

　　4月3日，伯克利人工智能研究院發(fā)布了基于LLaMa微調(diào)的新模型 Koala(考拉)，訓(xùn)練成本小于100美元，在超過一半的情況下與 ChatGPT 性能相當(dāng);5月4日，卡內(nèi)基梅隆大學(xué)語言技術(shù)研究所、IBM 研究院與馬薩諸塞大學(xué)阿默斯特分校的研究者們，推出了開源自對(duì)齊語言模型Dromedary(單峰駱駝)，通過不到300行的人工標(biāo)注，就能讓65B的LLaMA基礎(chǔ)語言模型在TruthfulQA(真實(shí)性基準(zhǔn))上超越GPT-4。

　　在國(guó)內(nèi)，垂直醫(yī)療領(lǐng)域的 “羊駝家族”成員也出現(xiàn)了，哈爾濱工業(yè)大學(xué)基于LLaMa模型的指令微調(diào)，推出了中文醫(yī)學(xué)智能問診模型HuaTuo(華駝)，該模型能夠生成專業(yè)的醫(yī)學(xué)知識(shí)回答。

　　哈工大推出中文醫(yī)學(xué)智能問診模型HuaTuo(華駝)

　　基于該模型的開源創(chuàng)新不僅在大模型上，應(yīng)用層也有多點(diǎn)開花之勢(shì)。

　　3月31日，AI公司Age of AI推出了語言模型FreedomGPT，正是基于斯坦福大學(xué)的Alpaca開發(fā)出來的;3月29日，加州大學(xué)伯克利分校在它的Colossal-AI基礎(chǔ)下發(fā)布了ColossalChat對(duì)話機(jī)器人，能力包括知識(shí)問答、中英文對(duì)話、內(nèi)容創(chuàng)作、編程等。

　　從基礎(chǔ)模型層到應(yīng)用層，基于LLaMa所誕生的“羊駝家族”還在一路狂奔。

　　由于被 “開源” 的 LLaMA 出自 Meta 之手，那位發(fā)文的谷歌研究員認(rèn)為，Meta意外成了這場(chǎng)AI競(jìng)爭(zhēng)中的最大受益者——借助開源社區(qū)的力量，Meta獲得了全世界頂級(jí)開發(fā)者的免費(fèi)勞動(dòng)力，因?yàn)榇蠖鄶?shù)開源的 AI 創(chuàng)新都發(fā)生在他們的基礎(chǔ)架構(gòu)內(nèi)，因此，沒有什么能阻止 Meta將這些成果直接整合到他們的產(chǎn)品中。

　　開源力量觸發(fā)“AI的安卓時(shí)刻”

　　ChatGPT引爆AI熱后，英偉達(dá)的CEO黃仁勛將這股浪潮喻為“AI的iPhone時(shí)刻”，他認(rèn)為，AI行業(yè)進(jìn)入了如iPhone誕生顛覆手機(jī)行業(yè)時(shí)的革命性時(shí)間點(diǎn)。而當(dāng)LLaMA開啟開源社區(qū)的小宇宙后，網(wǎng)友認(rèn)為，“AI的安卓時(shí)刻”來了。

　　回顧過去，谷歌曾以開源思想讓更多的開發(fā)者參與到安卓應(yīng)用生態(tài)的建設(shè)中，最終讓安卓成為電腦與手機(jī)的系統(tǒng)/應(yīng)用主流。如今，LLaMA再次讓AI業(yè)內(nèi)看到了開源力量的強(qiáng)大。

　　智能軟硬件件開發(fā)公司出門問問的CEO李志飛也注意到了谷歌這篇內(nèi)部聲音：

　　“大模型這個(gè)領(lǐng)域，Google已經(jīng)在聲勢(shì)上大幅落后于OpenAI。在開源生態(tài)上，如果Google再猶豫不決，后面就算想開源也會(huì)大幅度落后于Meta的LLaMA。相反，如果開源，可以把OpenAI的壁壘進(jìn)一步降低，而且會(huì)吸引(或留住)很多支持開源的高級(jí)人才。”

　　特斯拉前AI主管Andrej Karpathy認(rèn)為：

　　“當(dāng)前開源大模型的生態(tài)之勢(shì)，已經(jīng)有了寒武紀(jì)大爆發(fā)的早期跡象。”

　　確實(shí)，開發(fā)者對(duì)開源的AI模型前所未有的熱情正在從Github的打星量指標(biāo)中溢出：Alpaca獲得了23.2k星，llama.cpp獲26.3k星，LLaMA獲20.8k星……而在“羊駝家族”之前，AutoGPT等開源項(xiàng)目也在Github擁有超高的人氣，突破100k星。

　　開發(fā)者對(duì)開源AI模型的打星量

　　此外，為了追趕 ChatGPT，構(gòu)建大型開源社區(qū)的 AI 初創(chuàng)公司Hugging Face 也在近日推出了開源聊天機(jī)器人HuggingChat，該機(jī)器人的底層模型擁有300 億個(gè)參數(shù)，并對(duì)外開放了訓(xùn)練數(shù)據(jù)集。英偉達(dá) AI 科學(xué)家 Jim Fan認(rèn)為，如果后續(xù)開發(fā)應(yīng)用程序，Hugging Face將比 OpenAI 更具優(yōu)勢(shì)。

　　開源力量來勢(shì)洶洶，手握OpenAI的微軟也并不準(zhǔn)備把雞蛋都放在一個(gè)籃子里。今年4月，微軟推出了開源模型DeepSpeed Chat，為用戶提供了 “傻瓜式” 操作，將訓(xùn)練速度提升了15倍。

　　以LLaMA 為核心的AI開源社區(qū)正在平行空間中，與OpenAI等走閉源路線的大模型巨頭展開競(jìng)速，開源思想與實(shí)踐中爆發(fā)出的創(chuàng)新力量已經(jīng)不容巨頭小覷了。