aigAME創(chuàng)始人簡介(aigame01)
又一項中國的創(chuàng)始 AI 技術(shù)在國外火了!
近日,海外社交媒體平臺 X 上眾多關(guān)注 AI 的創(chuàng)始博主對一個來自中國的新技術(shù)展開熱烈討論有人表示:「中國不是隨便玩玩這事兒影響太大了!」有的人簡直呼:「中國真的是在突破邊界!」還有的創(chuàng)始說:「中國不是在『下棋』,他們在重新定義整個『棋局』!人簡」。創(chuàng)始
到底是什么樣的技術(shù),竟能讓一眾老外給出如此之高的創(chuàng)始評價?還驚呼「Amazing」「Superb」「Exciting」(小編仿佛在做雅思考試的高級詞匯替代練習(xí))頭部 AI 科技博主 Jaynit Makwana 發(fā)帖說:「......Its called AI Flow - a system where models adapt, collaborate, and deploy......」。
科技博主 Rishabh 推文表示:「......(它)可能會重塑生成式人工智能在邊緣端的運(yùn)行方式...... 比我們見過的任何技術(shù)都更快、更經(jīng)濟(jì)、創(chuàng)始更智能......」
Rasel Hosen 回復(fù)評論說:「...... 擁抱一個人工智能與我們的生活無縫融合的未來,真的創(chuàng)始可能徹底改變協(xié)作模式。已經(jīng)迫不及待想看看它會如何發(fā)展了!人簡」
Muhammad Ayan 表示:「這正是我們在實時人工智能部署中所需要的那種架構(gòu)。」
VibeEdge 更是用「Game Changer」來形容小編立即搜索了一下,找到了AI Flow的定義,并且它還有個中文名字——智傳網(wǎng)智傳網(wǎng)(AI Flow)是人工智能與通信網(wǎng)絡(luò)交叉領(lǐng)域的一項關(guān)鍵技術(shù),即。
通過網(wǎng)絡(luò)分層架構(gòu),基于智能體間的連接以及智能體和人的交互,實現(xiàn)智能的傳遞和涌現(xiàn)通過智傳網(wǎng)(AI Flow),智能可以突破設(shè)備和平臺的限制,在網(wǎng)絡(luò)不同層之間自由流動,從云計算中心到終端設(shè)備,實現(xiàn)隨需響應(yīng),隨處而至。
更令小編沒想到的是,這個技術(shù)竟是出自中國的一家央企 ——中國電信根據(jù) AI 科技博主 EyeingAI 介紹:「AI Flow by Professor Xuelong Li (CTO at China Telecom and Director of TeleAI) and the team explores how AI can actually work better in the real world.」。
原來,智傳網(wǎng)(AI Flow)是中國電信人工智能研究院(TeleAI)正在著重發(fā)力的一項技術(shù),由其院長李學(xué)龍教授帶領(lǐng)團(tuán)隊打造李學(xué)龍教授是中國電信集團(tuán) CTO、首席科學(xué)家,他是全球少有的光電和人工智能雙領(lǐng)域?qū)<遥诠怆婎I(lǐng)域的 OSA(美國光學(xué)學(xué)會)、SPIE(國際光學(xué)工程學(xué)會)和人工智能領(lǐng)域的 AAAI、AAAS、ACM 學(xué)會,以及 IEEE,都入選了 Fellow。
而這些海外博主們之所以會關(guān)注到智傳網(wǎng)(AI Flow),是源于 TeleAI 團(tuán)隊于 6 月中旬在 arXiv 上掛出的一份前沿技術(shù)報告:AI Flow: Perspectives, Scenarios, and Approaches
報告地址:https://arxiv.org/abs/2506.12479在這份技術(shù)報告掛出后,快速受到全球技術(shù)市場研究咨詢機(jī)構(gòu) Omdia 的關(guān)注,還發(fā)布了一份行業(yè)短評報告,在分析生成式人工智能技術(shù)落地應(yīng)用的趨勢和方向時,推薦產(chǎn)業(yè)各方將 TeleAI 的智傳網(wǎng)(AI Flow)技術(shù)「On the Radar」。
Omdia 的 AI 首席分析師蘇廉節(jié)(Lian Jye Su)還在社交媒體平臺發(fā)布推文表示:「通過架起信息技術(shù)與通信技術(shù)之間的橋梁,智傳網(wǎng)(AI Flow)為自動駕駛汽車、無人機(jī)和人形機(jī)器人等資源密集型應(yīng)用提供了強(qiáng)大支持,同時不會在延遲、隱私或性能方面做出妥協(xié)。
分布式智能的未來已然來臨 —— 在這一未來中,先進(jìn)應(yīng)用既能突破設(shè)備限制,又能保持實時響應(yīng)能力與數(shù)據(jù)安全性」
AI Flow 到底是什么?又為什么需要它?翻開技術(shù)報告,開篇提到了兩個赫赫有名的人物:Claude Shannon(克勞德?香農(nóng))和 Alan Turing(艾倫?圖靈),一位是信息論的創(chuàng)始人,一位被譽(yù)為計算機(jī)科學(xué)之父。
他們分別奠定了信息技術(shù)(IT)與通信技術(shù)(CT)的基礎(chǔ)報告指出,IT 與 CT 的發(fā)展呈現(xiàn)出雙軌并行的態(tài)勢,一方面不斷提升單個機(jī)器的性能,另一方面構(gòu)建網(wǎng)絡(luò)以實現(xiàn)多臺機(jī)器間更高效的互聯(lián)這種協(xié)同效應(yīng)引發(fā)了一場技術(shù)革命,如今在人工智能大模型的推動下達(dá)到頂峰。
AI 的能力邊界正以超乎人們想象的速度擴(kuò)張,文能賦詩作畫寫代碼,武能驅(qū)動機(jī)器人、無人機(jī)與自動駕駛汽車更有觀點認(rèn)為我們正在進(jìn)入所謂的「AI 下半場」然而,大模型對資源消耗大和通信帶寬高的需求,在實現(xiàn)普適智能方面正面臨著巨大挑戰(zhàn)。
真正的現(xiàn)實是,除了在聊天框里與 AI 對話,我們手中的手機(jī)、佩戴的設(shè)備、駕駛的汽車,距離真正的「泛在智能」似乎仍有遙遠(yuǎn)的距離于是,一個巨大的悖論也隨之浮現(xiàn):既然 AI 已如此強(qiáng)大,為何它仍未能無縫融入我們?nèi)粘I畹姆椒矫婷婺兀俊?/p>
答案其實就隱藏在 AI 強(qiáng)大的外表之下一個殘酷的現(xiàn)實是:幾乎所有頂尖的 AI 都無法直接運(yùn)行在我們身邊的終端設(shè)備上它們是名副其實的「云端巨獸」,嚴(yán)重依賴遠(yuǎn)在千里之外、擁有龐大算力的數(shù)據(jù)中心舉個例子,如果你要運(yùn)行 671B 參數(shù)量的 DeepSeek-R1 模型(BF16 滿血版),則理論上至少需要 1342 GB 內(nèi)存,而要保證 Token 輸出速度,所需的算力更是讓人咋舌。
很明顯,這些需求已經(jīng)遠(yuǎn)遠(yuǎn)超出了絕大多數(shù)手機(jī)、汽車等端側(cè)設(shè)備的承載極限這種絕對的云端依賴為 AI 應(yīng)用的普及帶來了最致命的枷鎖:延遲正如英特爾前 CEO 帕特?基辛格所言:「如果我必須將數(shù)據(jù)發(fā)送到云再回來,它的響應(yīng)速度永遠(yuǎn)不可能像我在本地處理那樣快。
」—— 這是不可違背的「物理定律」對于毫秒必爭的自動駕駛汽車以及要求實時響應(yīng)的外科手術(shù)機(jī)器人,這種延遲是不可接受的,甚至是生死攸關(guān)的這便是 AI 普及的「最后一公里」困局:最需要即時智能的場景往往離云端很遠(yuǎn);而最強(qiáng)大的智能,又偏偏被困在云端,無法下來。
如何打破這個僵局?過去,行業(yè)的思路是造更快的芯片、建更大的數(shù)據(jù)中心,但這越來越像一場投入產(chǎn)出比急劇下降的「軍備競賽」當(dāng)所有人都執(zhí)著于如何把算力的磚墻砌得更高時,破局的答案或許來自一個長期被忽視、卻更關(guān)乎萬物互聯(lián)本質(zhì)的領(lǐng)域——。
通信智傳網(wǎng)(AI Flow)正是這個顛覆性的答案!它是一套整合了通信網(wǎng)絡(luò)與 AI 模型的創(chuàng)新架構(gòu),目標(biāo)是要搭建起一座橋梁,讓智能本身能夠突破平臺的限制,在「端、邊、云」的層級化架構(gòu)之間像數(shù)據(jù)一樣自由流動、隨需而至,實現(xiàn) Ubiquitous AI Applications(讓 AI 應(yīng)用無處不在)。
就像它的中文名字一樣,「智」代表人工智能,「傳」代表通信,「網(wǎng)」代表網(wǎng)絡(luò),是一座讓「智」能「傳」輸之「網(wǎng)」仔細(xì)看過 TeleAI 的技術(shù)報告后發(fā)現(xiàn),智傳網(wǎng)(AI Flow)是一套組合拳,包含三個核心技術(shù)方向。
端-邊-云協(xié)同(Device-Edge-Cloud Collaboration):為智能的分布式運(yùn)行提供了硬件基礎(chǔ)家族式同源模型(Familial Model):能夠靈活伸縮以適應(yīng)不同設(shè)備,并通過復(fù)用計算結(jié)果實現(xiàn)高效協(xié)作。
基于連接與交互的智能涌現(xiàn)(Connectivity- and Interaction-based Intelligence Emergence):通過模型間的連接與交互,催生出超越任何單體能力的智能涌現(xiàn),達(dá)成 1+1>2 的效果。
端-邊-云協(xié)同分布式推理為了實現(xiàn) AI 服務(wù)的增強(qiáng)智能和及時響應(yīng),智傳網(wǎng)(AI Flow)采用了分層式端-邊-云協(xié)同架構(gòu)這三層網(wǎng)絡(luò)架構(gòu)可為各種下游任務(wù)提供靈活的分布式推理工作流程,是模型協(xié)作的基礎(chǔ),而模型協(xié)作正是智傳網(wǎng)(AI Flow)的一大基石。
首先來看現(xiàn)今通信網(wǎng)絡(luò)普遍使用的三層網(wǎng)絡(luò)架構(gòu),即設(shè)備層(端)、邊緣層(邊)和云層(云)其中,端側(cè)設(shè)備通信時延最短但算力很低;部署在基站(BS)和路側(cè)單元(RSU)等邊緣節(jié)點的服務(wù)器算力稍強(qiáng)但通信時延稍長,而云端服務(wù)器雖然算力很強(qiáng),但因為網(wǎng)絡(luò)路由,通信時延最高。
邊緣節(jié)點由于靠近終端設(shè)備,因此能夠提供中等計算能力和相對較低的傳輸延遲邊緣服務(wù)器可充當(dāng)云層和設(shè)備層之間的中介,支持本地化處理和動態(tài)任務(wù)編排通過從資源受限的終端設(shè)備接管對延遲敏感的工作負(fù)載,邊緣層可以提高響應(yīng)速度,同時減少對遠(yuǎn)程云基礎(chǔ)設(shè)施的依賴。
然而,與云集群相比,其硬件資源仍然有限因此,邊緣服務(wù)器對于工作負(fù)載的動態(tài)編排至關(guān)重要,它可以將計算密集型操作卸載到云端集群,同時直接支持終端層設(shè)備,從而確保高效利用分層資源容易看出,對于這種架構(gòu),有效的動態(tài)任務(wù)編排至關(guān)重要。
為了做到這一點,針對端-邊的協(xié)同推理,TeleAI 提出了任務(wù)導(dǎo)向型特征壓縮(Task-Oriented Feature Compression)方法,簡稱TOFC該方法可通過在設(shè)備上執(zhí)行融合與壓縮,根據(jù)通道條件動態(tài)優(yōu)化與任務(wù)相關(guān)的多模態(tài)特征傳輸。
這種方式能極大減少傳輸?shù)臄?shù)據(jù)量,在實驗中,相比傳統(tǒng)圖片壓縮方式,TOFC 能在保證任務(wù)效果的同時,節(jié)省高達(dá) 60% 的傳輸數(shù)據(jù)。
用于端-邊的協(xié)同推理的 TOFC 系統(tǒng)圖示具體來說,如上圖所示,首先由 CLIP 視覺編碼器生成視覺特征并對其進(jìn)行基于 K 最近鄰的密度峰值聚類(DPC-KNN),從而大幅減少數(shù)據(jù)量和計算負(fù)載然后,采用基于超先驗的熵模型對融合后的特征進(jìn)行編碼和解碼,從而在保持下游任務(wù)性能的同時最大限度地減少數(shù)據(jù)傳輸。
最后,訓(xùn)練多個專門用于編碼不同特征的熵模型,并根據(jù)輸入特征的特點自適應(yīng)地選擇最優(yōu)熵模型此外,為了進(jìn)一步提升效率,智傳網(wǎng)(TeleAI)還整合了推測解碼(speculative decoding)技術(shù),也就是使用「Draft Token 生成 + 驗證」的方法。
當(dāng)用戶發(fā)起請求時:設(shè)備先「生成 Draft Tokens」:部署在手機(jī)等終端設(shè)備上的輕量級模型會利用其響應(yīng)速度快的優(yōu)勢,迅速生成回答的「Draft Tokens」云/邊后「驗證」:「Draft Tokens」生成后,會被發(fā)送到邊緣服務(wù)器或云端。
部署在那里的、能力更強(qiáng)的大模型并不會從頭重新生成一遍答案,而是扮演「驗證者」的角色,快速地驗證和修正「Draft Tokens」中的錯誤或不完善之處
通過推測解碼實現(xiàn)的設(shè)備與邊緣服務(wù)器的分層協(xié)作框架概覽為了克服傳統(tǒng)推測解碼中順序式「Draft Token 生成 + 驗證」范式所導(dǎo)致的固有延遲,TeleAI 提出了一種并行式端-邊協(xié)作解碼框架而且該框架非常靈活,可以輕松地擴(kuò)展成「端-邊-云」三層架構(gòu),解決一些更為復(fù)雜的任務(wù),如下圖所示。
「端-邊」兩層以及「端-邊-云」三層的協(xié)同解碼示意圖這種模式下,用戶能以小模型的速度享受到大模型的質(zhì)量實驗證明,在數(shù)學(xué)推理、代碼生成等任務(wù)上,這種協(xié)同方式的生成速度比單獨使用云端大模型提升了約 25%,同時還能保證與大模型同等的準(zhǔn)確度 。
家族式同源模型,如何定制不同大小的智能?家族式同源模型是指一系列大小不同但隱含特征已對齊的模型,因此可以實現(xiàn)無開銷的信息共享和有效協(xié)作實際上,這套模型并非不同大小模型的簡單組合,也不是像混合專家(MoE)模型那樣隨機(jī)激活一定比例的參數(shù),而是能像變焦鏡頭一樣靈活伸縮,讓一個大模型可以按需「變身」成不同尺寸,以適應(yīng)各類終端的算力限制。
更關(guān)鍵的是,它們在協(xié)同工作時還能夠復(fù)用彼此的計算結(jié)果,從而避免重復(fù)勞動,極大提升效率不僅如此,該架構(gòu)支持幾乎任意數(shù)量參數(shù)的模型,使其能夠充分利用異構(gòu)設(shè)備的計算能力,從而滿足各種下游任務(wù)的需求實現(xiàn)家族式同源模型的兩大核心策略分別是:。
權(quán)重分解(Weight Decomposition):將模型中龐大的參數(shù)矩陣分解為多個更小的矩陣,從而在不破壞結(jié)構(gòu)的情況下,精細(xì)地調(diào)整模型大小在這方面,TeleAI 新提出了一種名為分層主成分分解(HPCD)。
的技術(shù),可通過對 Transformer 模塊內(nèi)的線性層進(jìn)行自適應(yīng)權(quán)重分解,實現(xiàn)對總參數(shù)數(shù)量進(jìn)行細(xì)粒度調(diào)整早退出(Early Exit):允許模型在計算過程中,根據(jù)任務(wù)的難易程度,從中間的某一層「提前」產(chǎn)生結(jié)果,而不必「跑完全程」。
在這方面,TeleAI 新提出的了一種名為使用可擴(kuò)展分支的早退出(EESB)的技術(shù),可通過仔細(xì)調(diào)整已分解的層之間隱藏特征的維度,家族式同源模型可以實現(xiàn)幾乎任意數(shù)量的參數(shù),從而適應(yīng)異構(gòu)設(shè)備的硬件能力。
TeleAI 新提出的 EESB 早退出方法的示意圖這種設(shè)計的最大優(yōu)勢在于計算的復(fù)用與接力由于小尺寸模型本質(zhì)上是家族式同源模型的一個「子集」,當(dāng)終端設(shè)備用 3B 大小的分支完成初步計算后,如果需要更強(qiáng)的智能,它可以將計算的中間結(jié)果無縫傳遞給邊緣服務(wù)器上的 7B 分支。
服務(wù)器接收后,無需從頭開始,可以直接在 3B 的計算基礎(chǔ)上繼續(xù)向后推理這種「計算接力」可避免重復(fù)勞動,從而極大提升分布式協(xié)作的整體效率為了讓業(yè)界能親身體驗,TeleAI 已經(jīng)開源了一個 7B 參數(shù)規(guī)模的家族式同源模型
,展示了其在技術(shù)落地上的決心有趣的是,TeleAI 給這個模型命名為「Ruyi」,沒錯,就是「如意金箍棒」的「如意」它最大 7B,但可以在 3B、4B、5B、6B 之間任意切換,根據(jù)實際需求提供智能能力。
開源地址:https://github.com/TeleAI-AI-Flow/AI-Flow-Ruyihttps://huggingface.co/TeleAI-AI-Flow/AI-Flow-Ruyi-7B-Preview0704
https://www.modelscope.cn/models/TeleAI-AI-Flow/AI-Flow-Ruyi-7B-Preview0704基于連接與交互的智能涌現(xiàn),如何實現(xiàn) 1+1>2?當(dāng)舞臺和演員都已就位,智傳網(wǎng)的最終目標(biāo)是通過連接與交互,催生出超越任何單體能力的「智能涌現(xiàn)」,實現(xiàn)得到 1+1>2 的效果!
這個理念與諾貝爾物理學(xué)獎得主菲利普?安德森(Philip Anderson)在 1972 年提出的「More is Different」(多者異也)思想不謀而合其背后是業(yè)界對于高質(zhì)量訓(xùn)練數(shù)據(jù)正快速枯竭的普遍擔(dān)憂。
TeleAI 認(rèn)為,未來的 AI 發(fā)展,需要從單純依賴「數(shù)據(jù)驅(qū)動」轉(zhuǎn)向「連接與交互驅(qū)動」具體來說,通過實現(xiàn)模型(包括 LLM、VLM 和擴(kuò)散模型等不同模型)之間的層級連接與交互,智傳網(wǎng)(AI Flow)可整合多種模態(tài)和特定領(lǐng)域的專業(yè)知識,生成上下文連貫且全局一致的輸出,實現(xiàn)超越單個貢獻(xiàn)總和的協(xié)同能力。
為此,TeleAI 針對不同類型的任務(wù)設(shè)計了多種協(xié)同模式比如 LLM/VLM 智能體的協(xié)同就像「圓桌會議」:想象一個場景,用戶提出一個復(fù)雜的跨領(lǐng)域問題智傳網(wǎng)(AI Flow)可以同時向部署在不同設(shè)備上、分別擅長編碼、數(shù)學(xué)和創(chuàng)意寫作的多個 LLM/VLM 智能體發(fā)起請求。
這些智能體各自給出初步答案后,會進(jìn)入一個「圓桌討論」環(huán)節(jié),相互參考彼此的見解,并對自己的回答進(jìn)行多輪修正,最終形成一個遠(yuǎn)比任何單個智能體獨立思考更全面、更準(zhǔn)確的答案。
傳統(tǒng)的僅服務(wù)器范式與設(shè)備-服務(wù)器協(xié)同范式的比較TeleAI 也通過大量實驗驗證了智傳網(wǎng)(AI Flow)各組件的有效性,更多詳情請參閱技術(shù)報告這三大支柱共同發(fā)力,使得智傳網(wǎng)(AI Flow)不再是一個空想的理論,而是一套具備堅實技術(shù)內(nèi)核、直指產(chǎn)業(yè)痛點且路徑清晰的系統(tǒng)性解決方案。
它為我們揭示了 AI 發(fā)展的下一個方向:重要的不再僅僅是計算,更是連接AI 下半場,答案在「連接」里從社交媒體的熱議,到行業(yè)分析報告的「Game Changer」評價,智傳網(wǎng)(AI Flow)無疑為我們描繪了一幅激動人心的未來圖景。
它不僅是 TeleAI 在 AI 時代下出的一步戰(zhàn)略好棋,更代表了一種解決當(dāng)前 AI 領(lǐng)域一大核心矛盾的全新思路回顧全文,智傳網(wǎng)(AI Flow)的破解之道是系統(tǒng)性的:它沒有執(zhí)著于打造一個更強(qiáng)的模型或更快的芯片,而是著眼于連接與協(xié)同。
通過搭建「端-邊-云」的層級化舞臺,引入能靈活伸縮、高效接力的「家族式同源模型」,并最終催生出「1+1>2」的智能涌現(xiàn),它成功地在強(qiáng)大的 AI 能力與有限的終端算力之間,架起了一座堅實的橋梁正如中國電信 CTO、首席科學(xué)家,TeleAI 院長李學(xué)龍教授說的那樣:「。
連接是人工智能發(fā)展的關(guān)鍵」我們相信,這也是通往「AI 下半場」的關(guān)鍵人工智能的進(jìn)一步發(fā)展離不開通信和網(wǎng)絡(luò)基礎(chǔ)設(shè)施,而這恰恰是運(yùn)營商特有的優(yōu)勢實際上,也正是因為擁有龐大網(wǎng)絡(luò)基礎(chǔ)設(shè)施和深厚云網(wǎng)融合經(jīng)驗,中國電信才能提出并實踐這一框架。
當(dāng) AI 不再僅僅是運(yùn)行在網(wǎng)絡(luò)之上的應(yīng)用,而是與網(wǎng)絡(luò)本身深度融合、成為一種可被調(diào)度和編排的基礎(chǔ)資源時,一個全新的智能時代便開啟了本文來自微信公眾號“機(jī)器之心”(ID:almosthuman2014),作者:關(guān)注通信的,36氪經(jīng)授權(quán)發(fā)布。