01

大模型的兩大趨勢(shì)：上云與下沉

演講中，鄔賀銓院士明確指出當(dāng)前人工智能發(fā)展的兩大關(guān)鍵趨勢(shì)：“一個(gè)趨勢(shì)是把大模型上云，以模型即服務(wù)的方式表現(xiàn)出來；還有一種趨勢(shì)是成為端側(cè)大模型，落到物理實(shí)體上，智能下沉。”

他進(jìn)一步解釋，大模型上云能夠顯著降低接入門檻，為中小企業(yè)提供便利。而智能下沉則強(qiáng)調(diào)大模型通過端側(cè)應(yīng)用與物理實(shí)體深度結(jié)合，成為貼近用戶場(chǎng)景的智能終端。

在談到如何實(shí)現(xiàn)將基礎(chǔ)大模型轉(zhuǎn)化為垂直行業(yè)的場(chǎng)景模型，形成企業(yè)自己的模型，鄔院士提出了兩種路徑：“一種是有數(shù)據(jù)的企業(yè)把自身的數(shù)據(jù)送給基礎(chǔ)大模型提供方，請(qǐng)他們訓(xùn)練出行業(yè)模型；另一種是從基礎(chǔ)大模型買來或租來模型，加入自身的數(shù)據(jù)進(jìn)行再訓(xùn)練。”

不過，鄔院士也指出，前者很多垂直行業(yè)的企業(yè)擔(dān)心泄密，后者雖然避免了數(shù)據(jù)泄漏風(fēng)險(xiǎn)，但由于企業(yè)的生產(chǎn)管理流程復(fù)雜、場(chǎng)景多樣，從基礎(chǔ)大模型開發(fā)出一個(gè)高度契合行業(yè)需求的大模型依然存在難度。

02

智能體：從助手到代理的進(jìn)化

鄔院士強(qiáng)調(diào)，“模型落地還有很重要的一步是智能體。”他指出，與大模型單純的一問一答功能相比，智能體更具有任務(wù)分解和規(guī)劃能力，能夠調(diào)用工具完成復(fù)雜任務(wù)。

智能體可以看成是接受自然語言命令，并且可以跟場(chǎng)景互動(dòng)，具有初步思維鏈能力的小程序或App。他特別提到，“助手不能當(dāng)代理，助手只能提參謀意見，而代理可以由你授權(quán)，它直接就可以執(zhí)行。”智能體不僅僅是大模型的助手，更是具備規(guī)劃和執(zhí)行能力的代理。它能夠通過獨(dú)立授權(quán)代替人完成特定任務(wù)，將大模型的知識(shí)真正轉(zhuǎn)化為感悟并實(shí)現(xiàn)行動(dòng)。

鄔院士還將智能體的運(yùn)行特性概括為從“快思考”到“長(zhǎng)思考”的閉環(huán)優(yōu)化過程。“一般的大模型是‘快思考’，能夠快速回答問題，但缺乏精準(zhǔn)性；而智能體通過行動(dòng)中的學(xué)習(xí)實(shí)現(xiàn)閉環(huán)優(yōu)化，是‘長(zhǎng)思考’的過程。”

這一過程依賴于智能體在執(zhí)行任務(wù)后的反饋機(jī)制。“智能體生成是在大模型支持下，通過執(zhí)行任務(wù)的閉環(huán)學(xué)習(xí)實(shí)現(xiàn)的。操作的結(jié)果會(huì)反向反饋到模型中，逐步形成短期記憶，并通過優(yōu)化轉(zhuǎn)化為長(zhǎng)期記憶。”這種記憶轉(zhuǎn)化機(jī)制賦予了智能體感悟能力，使其能夠在不斷的迭代中完成復(fù)雜而細(xì)化的任務(wù)，彌補(bǔ)大模型的不足。

03

智能體賦能終端：手機(jī)、PC到工業(yè)場(chǎng)景

鄔賀銓院士以智能體在終端中的應(yīng)用為例，詳細(xì)闡釋了其賦能價(jià)值。在智能手機(jī)中，智能體能夠?qū)W習(xí)用戶習(xí)慣并實(shí)現(xiàn)個(gè)性化操作。例如，他提到，“如果你對(duì)手機(jī)說‘我要訂一杯咖啡’，智能體會(huì)根據(jù)你的習(xí)慣選擇大杯、熱的、拿鐵，并自動(dòng)完成支付。”類似的應(yīng)用同樣可以推廣至PC端，通過學(xué)習(xí)用戶的日常操作模式，高效完成復(fù)雜任務(wù)。

在工業(yè)場(chǎng)景中，智能體的潛力更為顯著。鄔院士提到，“在工業(yè)領(lǐng)域，智能體可以代替人操縱機(jī)器或機(jī)床，根據(jù)用戶習(xí)慣優(yōu)化操作。”

04

端側(cè)大模型的技術(shù)挑戰(zhàn)與前景

將大模型落到終端，不僅能夠降低對(duì)云端計(jì)算資源的依賴，還能顯著降低時(shí)延，提高響應(yīng)速度，尤其在隱私保護(hù)和個(gè)性化服務(wù)方面具有顯著優(yōu)勢(shì)。

不過，終端的算力是有限的。鄔賀銓院士指出，盡管終端設(shè)備的算力正在不斷提升，但受限于待機(jī)時(shí)間、能耗等因素，終端算力依然存在瓶頸。“終端的算力雖然逐漸接近PC水平，但由于能耗和散熱的限制，仍無法支撐超大規(guī)模模型的運(yùn)行。因此，端側(cè)大模型需要通過模型壓縮來實(shí)現(xiàn)瘦身。”

當(dāng)前30億參數(shù)的模型已具備初步推理能力，而70億參數(shù)模型可以實(shí)現(xiàn)更高精度的意圖識(shí)別，鄔院士表示，“未來如果不考慮待機(jī)等因素，上千億參數(shù)的端側(cè)模型是沒問題的。”

鄔院士進(jìn)一步指出，人工智能的AI終端可以釋放用戶生成內(nèi)容的創(chuàng)意，增強(qiáng)用戶的體驗(yàn)，催生5G的新應(yīng)用，同時(shí)激活上萬億元的手機(jī)產(chǎn)業(yè)和PC產(chǎn)業(yè)。在技術(shù)實(shí)現(xiàn)方面，鄔院士提到，當(dāng)前最新的5G手機(jī)已在硬件性能上實(shí)現(xiàn)突破。“像高通的手機(jī)已經(jīng)做到3納米的芯片，能夠支持大概80億參數(shù)的推理。”此外，AIPC能力也在不斷提升。有機(jī)構(gòu)預(yù)測(cè)，“到2026年，中國(guó)市場(chǎng)大概有一半左右的終端將配備AI引擎能力。”

05

AI智能終端與具身智能

鄔賀銓院士表示，端側(cè)大模型+智能體開啟AI終端時(shí)代，從手持智能終端到可穿戴設(shè)備、桌面終端，還會(huì)擴(kuò)展到無人機(jī)、智能網(wǎng)聯(lián)車、工業(yè)模組、儀器儀表、物聯(lián)網(wǎng)、機(jī)器人，帶動(dòng)軟硬件產(chǎn)業(yè)以及新型信息服務(wù)業(yè)的發(fā)展。

智能穿戴設(shè)備方面，AI眼鏡以語音交互、手勢(shì)控制和實(shí)時(shí)翻譯等技術(shù)為核心，正在成為人機(jī)交互的新型接口。AI眼鏡通過搭載麥克風(fēng)、揚(yáng)聲器、攝像頭以及無線短距通信模塊，與智能手機(jī)和云端相結(jié)合，能夠完成多模態(tài)感知和高效任務(wù)執(zhí)行，未來AI的眼鏡需求量很大。AR眼鏡結(jié)合虛實(shí)融合技術(shù)，不僅能夠顯示虛擬信息，還可以與現(xiàn)實(shí)場(chǎng)景進(jìn)行深度互動(dòng)，在工業(yè)、醫(yī)療、教育等多個(gè)領(lǐng)域的應(yīng)用潛力顯著。

此外，大模型智能體落到物理實(shí)體上就可以成為具身智能，具身智能具有三大特點(diǎn)：一是多模態(tài)感知能力，包括聽覺、視覺、觸覺以及各種傳感器的能力；二是與環(huán)境的交互能力；三是從感知到認(rèn)知的轉(zhuǎn)化能力。

具身智能落到機(jī)器人上就是人形機(jī)器人，落在汽車上就是智能網(wǎng)聯(lián)汽車，智能網(wǎng)聯(lián)汽車需要車端和云端的算力協(xié)同工作。在云端，強(qiáng)大的計(jì)算能力支持車輛的離線訓(xùn)練和泛化推理，能夠?qū)崿F(xiàn)軟件更新、下載以及車輛間的交互；而在車端，可以實(shí)現(xiàn)高效響應(yīng)，克服云端通信時(shí)延問題。兩個(gè)實(shí)體都是端側(cè)大模型以及智能體很好的應(yīng)用場(chǎng)景。