如果大模型有信仰,那一定是“Scaling Laws(規(guī)模法則)”。
所謂“Scaling Laws”,就是模型性能會隨著參數(shù)、算力、數(shù)據(jù)集的規(guī)模增加而提高。時間來到2024年,大模型領(lǐng)域依舊是“Scaling Laws”的統(tǒng)治區(qū)。
模型參數(shù)增長到萬億,訓練集群從千卡到萬卡、五萬卡,前不久剛開源的一個高質(zhì)量通用數(shù)據(jù)集達到45T,讓開發(fā)者為了網(wǎng)絡帶寬而發(fā)愁……有人調(diào)侃:“在就近網(wǎng)絡服務區(qū)下載好,再把硬盤用高鐵飛機帶過來,都比直接下載省時省力?!?/p>
人工智能時代爆炸式的數(shù)據(jù)增長,傳統(tǒng)“馬拉肩扛”的傳輸方式,存在易損壞、丟失的風險,也無法支持實時數(shù)據(jù)更新和交互,會直接影響到中國AI產(chǎn)業(yè)的先進性。對于攀爬Scaling law的中國AI產(chǎn)業(yè)來說,傳統(tǒng)網(wǎng)絡已經(jīng)捉襟見肘,必須全面升級和重塑,更有效地支持大模型時代的聯(lián)接需求。
近日,紫光股份旗下新華三集團以“×AI”(乘AI)為主題舉辦2024媒體與分析師溝通會,全新升級智算版數(shù)字大腦,并以全棧領(lǐng)先的靈犀智算解決方案,充分發(fā)揮新華三在算力和聯(lián)接領(lǐng)域的核心優(yōu)勢,激發(fā)“算力×聯(lián)接”的乘數(shù)效應,讓算力更快、更強、更澎湃。
理念聽起來很美好,具體怎么落地呢?網(wǎng)絡如何給算力做乘法?會后,腦極體采訪了新華三集團高級副總裁、網(wǎng)絡產(chǎn)品線總裁曾富貴,就承載靈犀大模型落地的新華三AD-NET 7.0,及數(shù)據(jù)中心、園區(qū)、廣域三大場景的相關(guān)技術(shù)、產(chǎn)品與解決方案,展開了深度交流。在AI產(chǎn)業(yè)攀爬Scaling law的當下,我們不妨來看看,新華三雙A驅(qū)動的網(wǎng)絡,是如何帶攀登者們越過山丘的。
新華三集團高級副總裁、網(wǎng)絡產(chǎn)品線總裁 曾富貴
眺望Scaling Laws山峰,那是網(wǎng)絡升級的方向
數(shù)字化、智能化升級先升網(wǎng),已經(jīng)是一個常識。問題在于,究竟什么是網(wǎng)絡的升級方向?
對此,曾富貴說過,網(wǎng)絡的先進性是技術(shù)問題,但是先進網(wǎng)絡的具體形態(tài)是用戶選擇的問題。
面向智算時代,AI產(chǎn)業(yè)化和產(chǎn)業(yè)AI化所需要的網(wǎng)絡形態(tài),已經(jīng)被“Scaling Laws”法則所規(guī)定。
萬億參數(shù),傳輸“費時”。大模型的參數(shù)量巨大,需要傳輸大量的數(shù)據(jù),傳統(tǒng)網(wǎng)絡無法滿足高帶寬需求,需要接入帶寬高達400G甚至達到800G的超大容量網(wǎng)絡。
萬卡集群,訓練“費力”。AI大模型并行計算模式,催生了新的大規(guī)模網(wǎng)絡架構(gòu),從千卡到萬卡集群,未來更新的GPT模型可能需要十萬卡、幾十萬卡支撐起來。而AI計算集群規(guī)模越大,通信量和復雜度越大,網(wǎng)絡設(shè)備的規(guī)模、端口數(shù)、光模塊的數(shù)量指數(shù)上升,傳統(tǒng)網(wǎng)絡面臨越來越明顯的傳輸效率瓶頸,一次通信延誤,會拖慢整個訓練過程,導致整體計算集群效能低下、成本高昂。
萬里部署,使用“費心”。算力的分布式部署,全國一體化算網(wǎng)可以減少訓練推理成本,解決算力緊缺、算力貴的問題。但跨東西部的算力流動與調(diào)度,會受限于“聯(lián)接瓶頸”,抖動、時延、較長的通信時間,都會讓用戶身心俱疲,寧可用硬盤坐高鐵送。
總而言之,在AI大模型場景和應用中,讓模型供應商、算力服務商、應用開發(fā)者及用戶不頭疼,輕松翻越“Scaling Laws”的網(wǎng)絡,就是先進網(wǎng)絡。幫助產(chǎn)業(yè)攀爬Scaling Laws,新華三全新升級的AD-NET 7.0,由Application+AI雙A驅(qū)動,如同一雙“風火輪”,為AI大模型向前發(fā)展注入澎湃動力,成為一雙智算時代的“鞋履”。
攀登者之力,雙A驅(qū)動網(wǎng)絡釋放澎湃算力
神話故事中,哪吒踩著一雙“風火輪”,獲得了高速移動、自由馳騁的能力,極大地提高了戰(zhàn)斗效率。對于攀爬Scaling Laws的AI產(chǎn)業(yè)者來說,新華三雙A驅(qū)動的網(wǎng)絡,正是一雙能夠釋放澎湃算力的加速“戰(zhàn)靴”。
全新升級的AD-NET 7.0,全面升級網(wǎng)絡聯(lián)接能力,構(gòu)筑行業(yè)智能底座,從三個方面,為智算時代提供有力支撐:
1.以網(wǎng)強算
AD-NET 7.0提供的網(wǎng)絡基礎(chǔ)設(shè)施,為AI模型的訓練提供高效算力支持,為各種智能化服務提供按需的聯(lián)接服務保障。曾富貴強調(diào),AI賦能的網(wǎng)絡,對數(shù)據(jù)中心,要充分釋放大規(guī)模算力集群的潛力,讓算力增效;對園區(qū),要讓最終客戶能夠隨時隨地接入算力,方便使用算力,滿足各類業(yè)務對算力的智快至簡體驗需求;對廣域網(wǎng),要通過算力網(wǎng)絡不同規(guī)模、不同行業(yè)客戶都能享受算力建設(shè)帶來的數(shù)字紅利,實現(xiàn)業(yè)務智享的普惠型算力資源供給。
2.以算提智
新華三端到端智算能力,不僅解決了“算力焦渴”,還進一步結(jié)合過去21年積累的ICT運維領(lǐng)域知識和大量語料,融合打造出更懂行業(yè)運維需求的AI私域大模型——靈犀大模型?;谛氯A三在ICT領(lǐng)域的知識語料積累和上萬名網(wǎng)絡專家的專業(yè)經(jīng)驗,利用充足的算力訓練和微調(diào)得到靈犀大模型,通過內(nèi)置靈犀大模型升級AD-NET解決方案。
3.以智增效
算力網(wǎng)絡變得復雜,靠人的普通管理是不行的,一定需要更強大、更高效的AI技術(shù)為網(wǎng)絡提供“導航”。為了提升網(wǎng)絡的智能化水平,AD-NET 7.0搭載了靈犀大模型,可以利用AI強大的創(chuàng)造力和交互能力,提升網(wǎng)絡管理效率。
曾富貴直言,很多東西說起來很容易,實現(xiàn)起來很難。我們希望通過靈犀大模型,加上硬件原生智能,讓整個網(wǎng)絡更高效。這個覆蓋面很大,目前我們在某些場景做了一些嘗試,取得突破。目前,新華三已經(jīng)探索出了大模型在數(shù)據(jù)通信領(lǐng)域落地的幾個典型場景。
AI可視:網(wǎng)絡設(shè)備與平臺協(xié)同計算,對設(shè)備日志、流量模型應用等多維信息進行AI分析,實現(xiàn)貫穿應用和網(wǎng)絡基礎(chǔ)設(shè)施的信息洞察。
AI調(diào)優(yōu):基于用戶業(yè)務提供最優(yōu)配置建議,持續(xù)學習網(wǎng)絡狀態(tài),提供自進化的有線無線網(wǎng)絡調(diào)優(yōu)功能,體驗識別準確度達92%。
AI排障:基于海量網(wǎng)絡設(shè)備數(shù)據(jù)訓練結(jié)果,實現(xiàn)鏈路級、設(shè)備級、網(wǎng)絡級到應用級快速排障,覆蓋90%以上的網(wǎng)絡。
AI安全:網(wǎng)安聯(lián)動,持續(xù)學習用戶網(wǎng)絡行為,精準標識可疑用戶及可疑行為,實現(xiàn)動態(tài)安全防護。
以應用為牽引,以AI為抓手,“雙A驅(qū)動”的新華三網(wǎng)絡和AD-NET 7.0,成為千行百業(yè)加速智能化的一雙“戰(zhàn)靴”,提供澎湃的算力和動能。
越過山丘,從新華三網(wǎng)絡看見智能中國的少年心氣
數(shù)字化、智能化是中國乃至全球經(jīng)濟發(fā)展的重要趨勢,也是擺在中國社會面前的一道新題目。征服Scaling Laws的高峰,夯實智能中國的基礎(chǔ),是一項龐大的系統(tǒng)工程,眾多ICT相關(guān)企業(yè)都參與其中。
作為數(shù)字化解決方案領(lǐng)導者,新華三躬身入局智能新時代,激活了一種勇往直前的少年氣。雙A驅(qū)動的網(wǎng)絡升級,就是這種氣質(zhì)的具象體現(xiàn)。
少年氣,就是天命在我,敢于擔起時代責任。
曾富貴提到,Application + Al Driven,既是趨勢也是使命。我們希望,新華三的網(wǎng)絡能夠為后續(xù)算力的普惠化提供堅實的基礎(chǔ),這既是新華三的技術(shù)趨勢,也是網(wǎng)絡的使命。
少年氣,就是學習能力強,始終沒有停下進步的腳步。
曾經(jīng),新華三網(wǎng)絡以應用(Application)為中心單輪驅(qū)動,在AI時代他們進行了重新的賦能、升級和詮釋。經(jīng)由靈犀大模型的全面融合,新華三網(wǎng)絡擁有了全面智慧。
少年氣,就是懷抱理想,為護佑蒼生長出三頭六臂。
以對AI訓練最為關(guān)鍵的智算中心為例,AD-NET 7.0引入了多種負載均衡技術(shù)。針對不同智算場景,提供最適合的負載均衡技術(shù)組合,讓每條鏈路都充分得到利用,提升智算中心算力規(guī)模和效率。
曾富貴介紹到,負載均衡之所以如此重要,是充分理解到傳統(tǒng)計算模型與智算的計算模型有巨大的差異, 智算中心的流量不同于互聯(lián)網(wǎng)流量,其存在單流流量大、整體流數(shù)量少、大量突發(fā)等特點,唯有通過智能化地負載均衡技術(shù),將數(shù)據(jù)流量合理分散到不同鏈路上,才能保證無阻塞、不丟包,使智算中心得以順利完成計算需求。
此外,新華三通過多元的產(chǎn)品形態(tài),支撐AI時代的網(wǎng)絡迭代。比如面向數(shù)據(jù)中心,提供了專為AI而生的S12500 AI系列產(chǎn)品,為AI模型的訓練提供高效算力聯(lián)接支持。面向廣域網(wǎng),升級400G端口能力、將算力因子納入路由計算算法,提供服務化算力專線等,實現(xiàn)廣域算力傳送的全面優(yōu)化。面向園區(qū),全光+Wi-Fi 7,為基于AI的各種場景智慧化應用提供了最后一跳的高質(zhì)量接入體驗。
和新華三一樣,中國AI產(chǎn)業(yè)及千行萬企,也都勇敢踏上了智能時代的創(chuàng)新旅程??v然攀爬Scaling Laws充滿艱難,但越過山丘后的智能中國,也格外讓人心馳神往。
對智能攀登者來說,新華三雙A驅(qū)動的網(wǎng)絡,是承載數(shù)據(jù)要素的路,是加速釋放算力價值的“風火輪”,也是一同走過山高水遠的同路人。
越過山丘的智能中國,恰似少年游。
-
AI
+關(guān)注
關(guān)注
87文章
30565瀏覽量
268761 -
ICT
+關(guān)注
關(guān)注
3文章
412瀏覽量
36560 -
新華三
+關(guān)注
關(guān)注
0文章
190瀏覽量
14728
發(fā)布評論請先 登錄
相關(guān)推薦
評論