記者在2026世界人工智慧大會暨人工智慧全球治理高級別會議(WAIC 2026)上採訪發現,隨着智慧體讓詞元消耗大幅攀升,降本增效成為眾多企業的發力點。從芯片到算電協同,從大模型到智慧模型路由,每個環節都在為降低詞元成本而發力。
當前,國內算力芯片創業市場上,張量處理單元(TPU)是熱門賽道。在大規模純張量AI訓練或推理的場景下,最新代際TPU的能效、單位詞元成本優於主流GPU産品。
TPU芯片企業中昊芯英創始人楊龔軼凡表示,百萬詞元成本降到最低是當前優化的方向,因為高額算力成本已經制約AI商業化落地。公司新一代芯片的目標就是大幅壓低單位詞元成本,比上一代成本直接減半,後續迭代有望降到原有的十分之一。只有成本下探,各類AI應用才能規模化普及。
算力中心的成本從源頭決定詞元成本。2026年政府工作報告中首次提及“算電協同”,對此,中科類腦董事長劉海峰告訴記者,算力基礎設施全生命周期成本中,電力支出佔比超20%,是決定算力産業核心競爭力的關鍵變量。以1000P標準算力集群為例,年度總耗電量約2000萬度,依託平台優化可節約20%用電量,即每年減少400萬度電力開支,節約成本直接轉化為經營毛利,大幅提升價格競爭力。
對於算電協同降本增效的路徑,劉海峰表示,目前算電協同更多依靠物理空間靠近,未來重點是實現算力、電力雙向柔性聯動調度。例如通過統籌風電、光伏、儲能多類型供電來源,動態測算不同時段最優供電成本結構,最大化綠電使用比例;同時基於分時電價、風光發電實時波動,靈活遷移算力任務負載,主動錯峰使用低價清潔能源,從源頭壓縮算力用電成本。
不少國産大模型在追求性能的同時,也在着力改善詞元性價比。騰訊副總裁林松濤表示,混元HY3大模型以相對小的參數實現了比肩更大尺寸旗艦模型的能力,使用成本只有頂尖模型的百分之幾,為企業的規模化應用提供了更加經濟的選擇。
美團LongCat-2.0(龍貓)大模型在業內首次提出輸入命中緩存不收費的模式。對此,美團相關負責人透露,典型智慧體使用場景中,用戶輸入和輸出比例約為150比1。經測算,針對輸入部分的緩存詞元採用不計費規則,用戶的綜合成本有望降低一個數量級。
剛上線即引發關注的萬億參數旗艦模型Kimi K3,雖然單價不菲,卻表現出了頗為不錯的性價比。
大模型評測機構SuperCLUE發現,通過測算完成同樣任務的成本開支,Kimi K3在任務得分比第二名高出18%的前提下,任務平均成本卻低約16%。這意味着,國産旗艦模型的性價比在持續優化。
對此,SuperCLUE創始人徐亮認為,Kimi K3在處理多輪交互複雜任務時,依託更強底層能力減少迭代輪次,疊加優異的上下文緩存命中率,綜合調用開銷優於預期。
由於不同大模型的能力和價格差別較大,“智慧模型路由”也成為WAIC的熱點。
派歐雲創始人姚欣介紹稱,此前智慧模型路線僅做簡單“請求轉發”,新的智慧模型路由在處理高價值、高風險或結果不確定的關鍵步驟時,不是只問一個模型,而是將問題同時分發給多個擅長此道的專家模型,通過交叉驗證和融合生成最終答案。同時智慧路由會根據任務類型進行選擇,比如簡單問答用輕量模型,複雜推理用強模型,並壓縮冗余上下文,復用之前的計算結果,設置預算護欄和失敗回退機制。最終目標是用更經濟的詞元成本,完成同樣質量的任務。
派歐雲綜合測算發現,其智慧模型網關可以將智慧水平提升20%,同時將成本降低50%到60%。
正在閱讀:AI産業鏈攜手推動詞元降本增效