把大模型用在長鏈路、復(fù)雜協(xié)作的供應(yīng)鏈上,是提效最明顯的領(lǐng)域之一。供應(yīng)鏈場景的「釘子」迎來了大模型生產(chǎn)力這把「錘子」。
作為支撐順豐速運(yùn)背后的供應(yīng)鏈數(shù)智化承載,順豐科技圍繞物流場景的數(shù)智化需求,攜手火山引擎積極探索大模型時(shí)代的最佳實(shí)踐。
2024年,憑借火山引擎機(jī)器學(xué)習(xí)平臺 AI 訓(xùn)推一體服務(wù),順豐科技推出了針對物流行業(yè)的垂直領(lǐng)域大模型——「豐語」,在順豐的市場營銷、客服、收派、國際關(guān)務(wù)等業(yè)務(wù)板塊的二十余個(gè)場景中的落地實(shí)踐應(yīng)用�!肛S語」系列模型還利用火山引擎 AI 云原生推理套件 ServingKit,實(shí)現(xiàn)了從模型部署到推理應(yīng)用全鏈路的提效。
高效訓(xùn)推一體架構(gòu),打造「豐語大模型」
順豐科技全面擁抱、深度探索 AI 在物流各環(huán)節(jié)中的增長提效。自研的“豐語系列大模型家族”包括豐語語言大模型、豐語語音大模型、豐語多模態(tài)大模型,在順豐科技的市場營銷、客服、收派、國際關(guān)務(wù)等20+業(yè)務(wù)板塊場景中實(shí)踐應(yīng)用。
在訓(xùn)練豐語大模型的過程中,順豐科技通過火山引擎機(jī)器學(xué)習(xí)平臺,實(shí)現(xiàn)從訓(xùn)練到推理的全鏈路加速。
模型訓(xùn)練過程中,火山引擎訓(xùn)練框架 veTuner幫助「豐語大模型」實(shí)現(xiàn)了高性能 Dataloader 的全面適配與集群自動(dòng)并行,相較開源框架性能提升超30%;
同時(shí),火山引擎強(qiáng)化學(xué)習(xí)庫 veRL支持 PPO、GRPO、DAPO 等多種算法,最高實(shí)現(xiàn)64.9% MFU(內(nèi)存頻率利用率),大大降低了「豐語大模型」的訓(xùn)練成本;
xLLM 推理框架通過 PD 分離部署與動(dòng)態(tài)流量調(diào)度,將「豐語」大模型的吞吐能力提升最高達(dá)5倍,穩(wěn)定應(yīng)對高并發(fā)業(yè)務(wù)高峰。
當(dāng)大模型重塑物流服務(wù),如何降低推理成本?
與此同時(shí),隨著大模型滲透到物流上下游的各個(gè)場景,每天千萬件的訂單信息需要消耗大量的 AI 推理資源。
面對不斷攀高的推理成本,順豐科技利用火山引擎 AI 云原生推理套件 ServingKit ,實(shí)現(xiàn)從模型部署到推理應(yīng)用全鏈路的提效。在 DeepSeek V3/R1滿血版的部署上做到順豐同城“即日達(dá)”的效率,通過算子融合和鏡像優(yōu)化,在相同 SLO 和上下文輸入長度下大模型吞吐有明顯提升。
2025年,隨著智能體落地按下加速鍵,未來,順豐科技將攜手火山引擎,進(jìn)一步探索物流場景的 AI 生產(chǎn)力落地。
榜單收錄、高管收錄、融資收錄、活動(dòng)收錄可發(fā)送郵件至news#citmt.cn(把#換成@)。
海報(bào)生成中...