9月21日，華為云CTO張宇昕在華為全聯(lián)接大會(huì)2023主題演講中表示，大模型重塑千行萬(wàn)業(yè)的背后，是眾多復(fù)雜的技術(shù)挑戰(zhàn)，需要核心技術(shù)的持續(xù)創(chuàng)新和突破。華為云以全局的系統(tǒng)性創(chuàng)新，不斷攻堅(jiān)克難，構(gòu)建AI時(shí)代最佳云底座。

　　張宇昕指出，隨著大模型出現(xiàn)能力涌現(xiàn)、多模態(tài)融合、MOE等趨勢(shì)，模型參數(shù)將從現(xiàn)在的5400億很快超過(guò)數(shù)萬(wàn)億，對(duì)海量的穩(wěn)定算力、大規(guī)模并行訓(xùn)練、以及整體的架構(gòu)設(shè)計(jì)都提出了更高要求;同時(shí)，數(shù)據(jù)集規(guī)模和Token長(zhǎng)度的激增也將帶來(lái)新的挑戰(zhàn)。這些挑戰(zhàn)相互影響、環(huán)環(huán)相扣，可以說(shuō)大模型及相關(guān)應(yīng)用是迄今為止最復(fù)雜的軟硬件系統(tǒng)工程。

　　為應(yīng)對(duì)AI時(shí)代的挑戰(zhàn)，華為云實(shí)現(xiàn)了軟硬件結(jié)合的系統(tǒng)性創(chuàng)新：

　　在系統(tǒng)架構(gòu)層，華為云QingTian架構(gòu)全新升級(jí)分布式QingTian架構(gòu)，通過(guò)打破計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)的邊界，把過(guò)去主從式架構(gòu)升級(jí)為對(duì)等架構(gòu)，極大地提升了AI算力。

　　基于分布式QingTian架構(gòu)，華為云昇騰AI云服務(wù)提供了算力集群、計(jì)算引擎CANN、AI開(kāi)發(fā)框架MindSpore和AI開(kāi)發(fā)平臺(tái)ModelArts，為大模型和AI應(yīng)用的開(kāi)發(fā)、運(yùn)行提供最佳算力服務(wù)。

　　在數(shù)據(jù)處理層，華為云提供云上全流程一站式能力，包括數(shù)據(jù)存儲(chǔ)、分析、共享、標(biāo)注方案，讓企業(yè)實(shí)現(xiàn)大模型數(shù)據(jù)“找得到”“存得下”“記得住”“用得了”。

　　在AI云存儲(chǔ)方面，華為云獨(dú)創(chuàng)了具備220TB超大帶寬和微秒級(jí)超低時(shí)延的內(nèi)存服務(wù)EMS，以此支持NPU/GPU的內(nèi)存擴(kuò)展，可以容納PB級(jí)超大規(guī)模參數(shù)，讓參數(shù)存得下;同時(shí)，基于SFS Turbo文件存儲(chǔ)的大并發(fā)、高吞吐緩存服務(wù)，可提供千萬(wàn)級(jí)IOPS，將10億條數(shù)據(jù)和元數(shù)據(jù)的準(zhǔn)備時(shí)間從100小時(shí)縮短至5小時(shí)，讓數(shù)據(jù)準(zhǔn)備速度快;此外，基于OBS對(duì)象存儲(chǔ)構(gòu)建的低成本大容量知識(shí)湖服務(wù)，通過(guò)深度歸檔、智能存儲(chǔ)分級(jí)和存儲(chǔ)管理統(tǒng)計(jì)平臺(tái)實(shí)現(xiàn)數(shù)據(jù)精細(xì)化管理，數(shù)據(jù)和向量的存儲(chǔ)TCO降低30%，讓海量數(shù)據(jù)存得起。

　　作為大模型的“超級(jí)外腦”，向量數(shù)據(jù)庫(kù)是AI時(shí)代的剛需產(chǎn)品。華為云GaussDB向量數(shù)據(jù)庫(kù)具備千億級(jí)大規(guī)模向量數(shù)據(jù)快速查詢更新的能力，檢索規(guī)模提升10倍，查詢時(shí)延<10ms，響應(yīng)速度提升2倍。另外，GaussDB向量數(shù)據(jù)庫(kù)具有千維查詢能力，查詢結(jié)果更精準(zhǔn)，助力企業(yè)業(yè)務(wù)更智能。