本文來自于微信公眾號AI新智能(ID：alpAIworks)，作者：舉大名耳。

　　當(dāng)下的大模型賽場，隨著最初的熱潮褪去，不少VC和投資人對大模型已經(jīng)進(jìn)入了一個冷靜期，其投資標(biāo)準(zhǔn)，也變得理性、嚴(yán)謹(jǐn)了許多。

　　既然如此，那么這一階段能得到明星資本青睞的團(tuán)隊，都具有哪些特征呢?

　　如前段時間，突然發(fā)布自身產(chǎn)品的神秘創(chuàng)業(yè)公司——月之暗面MoonshotAI，就給我們提供了一個參考。

　　在自身的大模型Kimi Chat發(fā)布前，很少有人會想到，這個創(chuàng)始人僅31歲，且沒有任何產(chǎn)品發(fā)布的AI初創(chuàng)企業(yè)，會獲得紅杉中國和真格基金等VC的投資，并被The Information選為五家「中國OpenAI」的創(chuàng)業(yè)公司之一。

　　那么，對國內(nèi)大模型而言，月之暗面的入局，究竟是又一場講故事的炒作，還是一匹赫然出世的黑馬?

　　1

　　VC們的考慮

　　現(xiàn)階段，要拿捏一個AI初創(chuàng)企業(yè)的含金量，除了企業(yè)公開展示的信息外，從VC們的角度倒推回去，分析其投資的理由，也是一種值得借鑒的思路。

　　以投資了月之暗面的明星資本紅杉中國為例，目前紅杉中國在AI領(lǐng)域已經(jīng)已投資了近30家企業(yè)，但其真正的核心標(biāo)準(zhǔn)只有兩個:

　　1、有使用場景，解決實際問題;

　　2、系統(tǒng)能夠持續(xù)不斷獲得有用的數(shù)據(jù)自我學(xué)習(xí)來提升處理能力。

　　在第一條標(biāo)準(zhǔn)上，紅衫中國對AI企業(yè)的篩選，有著與國內(nèi)大多數(shù)VC不同的洞見。

　　當(dāng)前，AI 投資大多集中在 B 端，因為相較于C端，B端的行業(yè)垂直類大模型更好找到應(yīng)用場景。

　　然而，紅衫中國卻認(rèn)為，垂直行業(yè)背景不是必備條件，而對行業(yè)痛點的深刻洞察，則是更為重要的因素。

　　比如摩拜創(chuàng)始人不是做自行車的，但是她發(fā)現(xiàn)了實實在在的需求，并且意識到在這個過程中 AI 能夠發(fā)揮價值。

　　按照這樣的思路，來看月之暗面的情況，我們就會理解紅衫中國投資的理由。

　　在月之暗面發(fā)布的大模型Kimi Chat，是首個支持輸入20萬漢字的智能助手產(chǎn)品。這一上下文長度，是目前最高的 Claude2-100k(約8萬字)的2.5倍，GPT-4-32k(約2.5萬字)的8倍。

　　超長的文本輸入，意味著什么?

　　在Kimi Chat發(fā)布前，大模型落地的一個最大阻礙或瓶頸，正是輸入長度的限制。

　　由于長度所限，任何需要進(jìn)行長篇分析或持續(xù)對話的場景，現(xiàn)有的大模型都難以勝任。

　　例如，在法律行業(yè)中，有時從業(yè)者需要處理大量的長文本，例如法律文件、合同、判決書、案例等，而在媒體行業(yè)中，編輯或撰稿人，也需要對大量的文章、新聞、報道進(jìn)行分析閱讀。

　　誠然，面對輸入長度的限制，人們可以用“分段發(fā)送”這種投機取巧的方式規(guī)避，然而，由于長度所限，在達(dá)到字?jǐn)?shù)限制后，大模型仍然必須對每段內(nèi)容重新開始分析。

　　而這種不斷“從頭開始”的情況，也使大模型難以形成一套連貫的、有深度的見解

　　這樣的情況，就像是一個原始人，雖然學(xué)會了寫字，但卻因文字載體(只能刻在石頭上)所限，無法保存更多的信息，積累更多的智慧，于是文明便無法長遠(yuǎn)地發(fā)展。

　　而大模型要想擺脫這樣的“原始階段”，向更廣闊的場景擴(kuò)展，文本長度的限制是一定要突破的。

　　也正因如此，抓住了“長度限制”這一痛點的月之暗面，才會如此得到紅衫中國的重視。

　　然而，除了具體的場景、技術(shù)之外，“人”的因素，在大模型創(chuàng)業(yè)過程中同樣不可忽視。

　　2

　　技術(shù)天才的前路

　　當(dāng)下，幾乎每個AI初創(chuàng)企業(yè)都想成為OpenAI，但又有多少團(tuán)隊具備那樣的人才配備，以及能讓其充分發(fā)揮自身才干的土壤呢?

　　從表面上看，在目前的大模型創(chuàng)業(yè)熱潮中，名校畢業(yè)、大廠經(jīng)驗、濃厚的技術(shù)基因，似乎已經(jīng)成了一種“標(biāo)配”

　　月之暗面的情況也是如此。

　　其創(chuàng)始人楊植麟，不僅出身清華，深造于卡內(nèi)基梅隆大學(xué)，后來又效力于谷歌大腦研究院和Meta(Facebook)人工智能研究院，并且還曾與圖靈獎得主楊力昆(Yann LeCun)合作發(fā)表論文。

　　同樣的，身為團(tuán)隊第二大股東的周昕宇，也是楊植麟清華大學(xué)計算機科學(xué)與技術(shù)系的同學(xué);

　　而第三大股東吳育昕，畢業(yè)于清華大學(xué)與卡耐基梅隆大學(xué)，曾獲2018年歐洲計算機視覺會議(ECCV)最佳論文提名。同時也是Meta(Facebook)人工智能實驗室FAIR團(tuán)隊的一員。

　　從人員構(gòu)成上看，這是一個技術(shù)基因頗為濃厚的團(tuán)隊。

　　然而，在當(dāng)下的國內(nèi)大模型賽場上，明星般的技術(shù)人才很多，可真正做出突出成就的，卻仍是鳳毛麟角。

　　原因何在?

　　從OpenAI、Midjorney等成功團(tuán)隊的案例中，我們至少可以總結(jié)出兩點:

　　1、團(tuán)隊對自身“獨立性”的堅持;

　　2、創(chuàng)始人的視野、經(jīng)驗是否開闊;

　　關(guān)于第一點，就國內(nèi)的情況而言，盡管“技術(shù)天才”創(chuàng)業(yè)的案例已不在少數(shù)，但其中相當(dāng)一部分團(tuán)隊，由于缺乏股權(quán)或經(jīng)濟(jì)上的獨立性，最終被收購、控股，如之前被光年之外收購的一流科技就是這樣的例子。

　　而相較之下，OpenAI、Midjorney在融資、股權(quán)問題上，則有著更為獨立的自主權(quán)。

　　身為非盈利性組織的OpenAI，不用總是將股東的意志放在第一位;而Midjorney的創(chuàng)始David Holz，更是憑借著自身的名氣與人脈，在不融資的情況下就集齊了相應(yīng)的資源、人才。

　　凡此種種，都使其更易于堅持自身獨立的研究方向。

　　而在這方面，根據(jù)天眼查App信息顯示，月之暗面由楊植麟持股78.97%，擁有絕對控制權(quán)。

　　除了對“獨立性”的堅持外，創(chuàng)始人的視野和實踐經(jīng)驗，也成了大模型團(tuán)隊成敗的另一大因素。

　　因為技術(shù)型團(tuán)隊，雖然對研究有著純粹的熱忱，但有時候，這樣的執(zhí)著卻會“劍走偏鋒”，陷入一種誤入歧途的窘境。

　　在這方面，第四范式的創(chuàng)始人戴文淵就是個明顯的教訓(xùn)。

　　同為“技術(shù)天才”的戴文淵，在創(chuàng)立第四范式時，選擇了一條十分另類的“決策類AI”的方向，結(jié)果卻因高昂的定制化研發(fā)成本，在三年半里累計虧損46.83億元，并遭受了三次上市均失敗的窘境。

　　在當(dāng)下AI的發(fā)展方向中，存在著許多不同的路徑，有些是有前景的、靠譜的，有些則是需要排除的“錯誤選項。”

　　而唯有與國外一流的高校、機構(gòu)和企業(yè)進(jìn)行廣泛交流，并親自參與實踐，才能從中得出正確的、具有前瞻性的判斷。

　　說回到月之暗面，在視野與實踐經(jīng)驗方面，楊植麟曾效力于谷歌大腦研究院和Meta(Facebook)人工智能研究院，是Transformer-XL和XLNet的第一作者。

　　其中，XLNet模型曾在18項自然語言任務(wù)中取得了好于谷歌BERT的效果，是當(dāng)時NLP領(lǐng)域熱門的國際前沿模型之一。

　　這樣開闊和前沿的履歷，確保了作為創(chuàng)始人的楊植麟，在技術(shù)方向的把握上，保持了與國際一線人才相近的水準(zhǔn)。

　　3

　　“局部勝利”的含金量

　　在目前月之暗面公布的信息中，其最為人稱道的一點，就是推出了首個支持輸入20萬漢字的大模型Moonshot，以及搭載該模型的智能助手產(chǎn)品Kimi Chat。其文本長度是GPT-4-32k(約2.5萬字)的8倍。

　　可以說，這是國內(nèi)在局部領(lǐng)域?qū)�GPT-4等先進(jìn)模型取得的又一場“勝利”。

　　為什么說“又”呢?

　　因為此前已經(jīng)有不只一個國產(chǎn)大模型，宣稱自己在某些方面“超越”了GPT-4。

　　9月，學(xué)術(shù)界當(dāng)紅開源評測榜單C-Eval最新一期排行榜中，云天勵飛的大模型“云天書”排在第一，而GPT-4僅名列第十。

　　之所以會出現(xiàn)這樣詭異的現(xiàn)象，是由于部分國產(chǎn)大模型，學(xué)會了一些別樣的“應(yīng)試技巧”(例如將測評的答案摳下來訓(xùn)練)，才造成了如此奇觀。

　　其實，從OpenAI的經(jīng)驗來看，一種真正的技術(shù)上的“局部勝利”，應(yīng)該是對AI某一領(lǐng)域天花板的突破，而不是呈一時的數(shù)據(jù)英雄。

　　這也是為什么，當(dāng)年GPT-1被谷歌的BERT打得完敗，且測評、數(shù)據(jù)紛紛拉胯的情況下，OpenAI仍然選擇大模型，而非小模型的原因。

　　畢竟，小模型在專業(yè)任務(wù)上表現(xiàn)雖強，但只要參數(shù)無法提升，更強的智能就無法涌現(xiàn)。

　　同樣地，目前月之暗面推出的Moonshot，同樣可以看作是對大模型某一“天花板”的突破。

　　因為在長文本方面，也存在文本長短、注意力和算力類似的“不可能三角”。

　　這表現(xiàn)為，文本越長，越難聚集充分注意力，難以完整消化;注意力限制下，短文本無法完整解讀復(fù)雜信息;處理長文本需要大量算力，提高成本。

　　在這樣的不可能三角中，自注意力機制的計算量會隨著上下文長度的增加呈平方級增長，比如上下文增加32倍時，計算量實際會增長1000倍。

　　而計算量的提升，就意味著就不得不消耗更多的算力，而這無疑意味著更高的模型部署成本。

　　有鑒于此，唯有以長文本技術(shù)為突破，人們才能在其通用模型基礎(chǔ)上去裂變出N個應(yīng)用。

　　現(xiàn)階段，長文本的“不可能三角”困境或許暫時還無解，但正因如此，攻破這樣的“天花板”才真正有其意義和價值。

　　而所謂中國的OpenAI，或許正是誕生于對這一個個“天花板”的攻克中。