最近，芯片獨(dú)角獸Groq宣布獲得D輪6.4億美元(約合人民幣45.86億元)融資，估值達(dá)到28億美元(約合人民幣200億元)。

　　本次融資由貝萊德旗下私募基金組合業(yè)務(wù)BlackRock Private Equity Partners領(lǐng)投，思科旗下投資基金Cisco Investments及三星電子旗下投資基金Samsung Catalyst Fund跟投。

　　Groq專做推理芯片，去年，Groq適配了Meta的大型語言模型LLaMA，使其能夠在自己的芯片上運(yùn)行，而無需英偉達(dá)的芯片。

　　AI大模型分為訓(xùn)練和推理兩個(gè)環(huán)節(jié)，需要用到訓(xùn)練芯片和推理芯片�？梢岳斫鉃樽尨竽Ｐ�“成型”，用到訓(xùn)練芯片，大模型建好了，讓它執(zhí)行命令、回答問題，用到推理芯片。

　　經(jīng)常在科技報(bào)道中看到，微軟、谷歌、Meta、xAI等公司囤積了很多英偉達(dá)GPU，如A100、A800、***，用來訓(xùn)練大模型，這些都是訓(xùn)練芯片，注重*的計(jì)算能力，要求很高、很貴。

　　而推理芯片更注重綜合指標(biāo)，相對(duì)來說對(duì)性能的要求并不高，對(duì)精度要求也要更低，在特定的場景下，對(duì)通用性要求也低。

　　對(duì)于訓(xùn)練芯片，企業(yè)愿意出最多的錢、砸性能*的芯片;而對(duì)于推理芯片，企業(yè)則會(huì)更多考慮芯片的能耗、成本，選用性價(jià)比*的。推理階段，就沒必要全用英偉達(dá)的，能省點(diǎn)是點(diǎn)，畢竟訓(xùn)練階段已經(jīng)花了巨資。

　　在訓(xùn)練芯片領(lǐng)域，目前能撼動(dòng)英偉達(dá)的對(duì)手，還沒有，但是推理芯片領(lǐng)域，則有不少想挑戰(zhàn)英偉達(dá)。像AMD CEO蘇姿豐就堅(jiān)信：未來大模型推理市場的規(guī)模將遠(yuǎn)遠(yuǎn)大于模型訓(xùn)練市場(不“堅(jiān)信”也不行啊，訓(xùn)練芯片實(shí)在沒法跟英偉達(dá)搶市場)。

　　Groq創(chuàng)辦于2016年底，創(chuàng)始人喬納森·羅斯(Jonathan Ross)來自谷歌，是開發(fā)張量處理器(TPU)的關(guān)鍵成員，他設(shè)計(jì)并實(shí)現(xiàn)了TPU的核心功能。當(dāng)年擊敗圍棋大師李世石的“阿爾法狗”用的就是TPU。可見，羅斯是真正的大佬級(jí)人物。

　　Groq的產(chǎn)品是“語言處理單元”(LPU)，據(jù)稱其推理速度相較于英偉達(dá) GPU 提高了 10 倍，成本卻降低到十分之一。目前有超過 70000 名開發(fā)人員使用 GroqCloud 創(chuàng)建應(yīng)用程序。使用Groq的LPU的小模型或中模型一秒鐘可以生成500-750個(gè)字段(token)，而ChatGPT一秒鐘只有40個(gè)。

　　注意看，LPU的部署場景非常有諸多限制，而英偉達(dá)的芯片雖然在一些特定指標(biāo)上被Groq的LPU超過，但它是通用的，幾乎適應(yīng)任何AI模型、AI任務(wù)，LPU做不到。而且，英偉達(dá)的CUDA平臺(tái)被開發(fā)者廣泛適應(yīng)，再遷移去使用LPU的架構(gòu)可能導(dǎo)致任務(wù)不穩(wěn)定。

　　今年 4 月，羅斯表示，Groq不再試圖直接向客戶銷售硬件，而是轉(zhuǎn)向向開發(fā)者提供云計(jì)算服務(wù)(GroqCloud)。這是因?yàn)榭蛻糇约嘿徺I和設(shè)置 Groq 的芯片成本太高，風(fēng)險(xiǎn)太大。

　　而且Groq的LPU也不便宜，每塊卡的售價(jià)高達(dá)20000美元，只能用于推理。如果是垂直模型、行業(yè)模型，考慮到LPU的速度，單位成本可能比較劃算。

　　隨著這筆新資金的到位，Groq可能會(huì)在明年轉(zhuǎn)向4nm制造工藝，以支持更大的模型、增強(qiáng)通用性。羅斯說：“我們打算提供資源，讓任何人都能創(chuàng)造尖端的AI產(chǎn)品，而不僅僅是*的科技公司。這筆資金將使我們能夠在GroqCloud中再部署10萬多個(gè)LPU。”

　　Groq的融資，也是對(duì)中國的相關(guān)企業(yè)的間接鼓舞。中 美在生成式AI發(fā)展上雖然不完全同步，但方向基本一致，這波巨額融資說明高性能推理芯片的價(jià)值正在被更廣泛地認(rèn)可。在中國，在推理芯片市場“國產(chǎn)化”浪潮中可能會(huì)有一波紅利。

　　西部證券在今年早些時(shí)候也認(rèn)為，生成式AI的發(fā)展是一個(gè)不斷迭代升級(jí)的過程，隨著國內(nèi)生成式AI模型的質(zhì)量持續(xù)提升，有望出現(xiàn)更多優(yōu)質(zhì)應(yīng)用，從而帶動(dòng)推理算力需求快速上升。在推理場景下，算力的性價(jià)比顯得更為重要。在供給端有所限制的情況下，國產(chǎn)推理芯片有望受益于國內(nèi)生成式AI應(yīng)用的落地，迎來重大發(fā)展機(jī)遇。