飛象網(wǎng)訊 (一飛/文)在“2023華為全球分析師大會”上,華為戰(zhàn)略研究院院長周紅作了《建設智能世界的假設與愿景》的主題演講。他表示,邁向智能世界需要解決的兩大核心問題是:未來通信和未來計算,并分享了一些思考。
在通信領域, 香農(nóng)在75年前提出了3個定理,但目前在香農(nóng)定理提出后,又有很多新的現(xiàn)象、新的工程能力和新的應用環(huán)境出現(xiàn),這都是75年前人們不了解的、也不在假設中。“因此我認為,在未來的通信上還有很大的發(fā)展空間,我們有可能改變香農(nóng)定理最初的假設和應用條件,實現(xiàn)超越十年百倍的發(fā)展。”周紅說,“通信網(wǎng)絡是建設智能世界的基礎,我們要實現(xiàn)成百上千倍的提升,就必須敢于打破既有理論與技術瓶頸的條條框框,才能大踏步前行!
在計算領域。在過去的幾年中,智能應用的迅速發(fā)展,尤其是通過AI模型優(yōu)化可能幫助解決應用碎片化的問題,這也引發(fā)了模型規(guī)模的爆發(fā)式增長。過去十年,AI算法的算力需求提升了四十萬倍。
周紅表示,在AI能力快速提升的情況下,需要考慮AI的目標如何與人類一致、并且正確和高效地執(zhí)行。除了通過規(guī)則和法律來加強AI的倫理和治理外,從理論和技術的角度看,要達到這些要求,目前還面臨三個重要的挑戰(zhàn):AI的目標定義、正確性與適應性、以及效率。
AI面臨的第一個挑戰(zhàn),是缺乏共識的目標定義。如果沒有定義清楚并達成共識,就很難確保AI發(fā)展的目標與人類一致,也很難合理地分類和科學地計算。人工智能在歷史上有不同的流派,例如符號主義、貝葉斯主義、進化主義、行為主義,以及連接主義等,它們還沒有很好地融合起來,周紅認為缺乏共識的目標定義是重要的原因之一。
其次,在當前的很多AI應用中,存在正確性和適應性的挑戰(zhàn)。依靠大數(shù)據(jù)統(tǒng)計規(guī)律進行的學習,會依賴于采樣的覆蓋面和數(shù)據(jù)的正確性,如果錯誤使用,就可能導致結果不穩(wěn)定和偏見的風險,出現(xiàn)“黑天鵝”事件。
第三個挑戰(zhàn)是AI的效率。
首先是能效。從2022年第60屆全球超級計算機Top500中看到,排名第一的Frontier,計算性能約1102PFLOPS,能耗是2千1百萬瓦;排名第二的Fugaku,計算性能約442PFLOPS,能耗是3千萬瓦,而相比之下,人腦只需要約20瓦就能等效實現(xiàn)30PFLOPS的計算性能?梢姰斍斑@些超級計算機單位能量的計算效率,要比人腦低大約三萬倍到十萬倍。除了人腦外,高效智能在動物界普遍存在。
其次是數(shù)據(jù)效率。除了通過從大數(shù)據(jù)中得到統(tǒng)計規(guī)律,來認識和理解世界外,能不能從小數(shù)據(jù)中進行思考,發(fā)現(xiàn)邏輯性,形成概念,抽象出原則?
面對這三個挑戰(zhàn),如何進一步尋求突破呢?周紅建議從實用的角度,來發(fā)展知識和智能。如何通過從外部環(huán)境和我們自身的事實和現(xiàn)象中,歸納抽象出概念和屬性、及其關系和運行規(guī)律,來形成知識?按柏拉圖的理念,知識應該是被驗證過的、正確的和被人們相信的。能不能提升達成追求或者目標的能力,來發(fā)展智能?具體來說,可以通過感知與交互、計算或者試錯,在復雜的環(huán)境和有限的資源下達成目標。我們要通過智能來認識環(huán)境、適應環(huán)境,甚至改造環(huán)境以及我們自身,其正確性、適用性與高效性就很重要。從已有大數(shù)據(jù)中提取概率分布來進行擬合和推演,是實現(xiàn)智能的一種手段,除此之外,周紅認為智能也要考慮因果推理、給出假設和進行試錯,提出問題和創(chuàng)造性地解決問題等。 近幾年學術界有很多跳出Transformer之外的新型AI架構的思考,例如Geoffery Hinton的GLOM模型,建議通過各種學習方法,實現(xiàn)從部分到整體,類似人類的感知系統(tǒng);Yoshua Bengio建議未來的人工智能由基于直覺的System1模型和基于邏輯與歸納的System2模型組成;Yan LuCun建議以自監(jiān)督的方式來學習世界模型,然后利用這些模型進行預測、推理和規(guī)劃;Richard Sutton提出基于經(jīng)驗的AI,通過與環(huán)境的交互而獲取經(jīng)驗,構建AI的目標和整個世界的狀態(tài),使得智能體可以學會與環(huán)境溝通、合作和競爭。
哈佛大學Howard Gartner教授把人類的智能分類成八大類,包括語言文字、視覺與空間、自然理解、自我認知、人際關系、音樂、運動和數(shù)理邏輯。
圖靈獎教授Joseph Sifakis提出自主系統(tǒng)概念。
周紅建議在這些思考的基礎上,發(fā)展感知與建模、知識自動生成、求解與行動三個核心部分,通過從多模態(tài)感知融合與建模,到“知識+數(shù)據(jù)”驅(qū)動的決策,實現(xiàn)更高正確性與適應性的自主智能系統(tǒng)。感知與建模是對外部環(huán)境以及自身的表征與抽象;知識的自動生成應該將吃穿住行、琴棋書畫、數(shù)理化生等人類能表達與不能表達、能感知和不能感知的知識都考慮進來,要考慮Human in the loop,將人已有的經(jīng)驗融入到策略模型或評價函數(shù)當中;求解與行動可以是在已有知識的基礎上,結合內(nèi)外部信息進行直接的演繹推理,或者通過與環(huán)境交互試錯,來找到解決辦法。希望未來的自主智能系統(tǒng),更好地支持自動駕駛網(wǎng)絡、自動駕駛汽車、云服務等領域。
其次是發(fā)展更好的計算模式,以及與之匹配的計算架構與計算部件,來持續(xù)提升智能計算的效率。
他表示,在和菲爾茲獎教授Laurent Lafforgue討論中提到,當前在視覺與空間計算上,往往采用像素點來表達物體,但是絕大部分物體的識別與其像素點的顏色沒有直接的關系,甚至是毫無關系,它們在不同的光下呈現(xiàn)不同的顏色,因此建議增加幾何流形來進行表達和計算,看看能不能用很小的數(shù)據(jù)量來抓住物體的不變性。EPFL的Gestner和Kistlei等寫了一本《神經(jīng)動力學》的書,介紹了大腦皮層的功能柱、以及功能柱中的六層連接情況,這樣的淺度神經(jīng)網(wǎng)絡架構,會不會比深度網(wǎng)絡更高效?
另外,從實現(xiàn)的角度看,在當前的很多AI計算上,面臨存儲瓶頸的問題,我們往往要花比計算多上百倍的時間來讀寫與搬移數(shù)據(jù),今后能不能拋開傳統(tǒng)的馮·諾依曼架構的處理器、指令集、總線、邏輯器件和存儲器件,圍繞先進AI計算模式的需要來定義新的架構與部件?
他還分享了華為在AI領域所做的一些探索。
首先是AI4Industry,通過行業(yè)大模型促進價值創(chuàng)造。華為在視覺、語言文字、圖網(wǎng)絡、多模態(tài)等專用L0基礎大模型之上,形成L1行業(yè)專用大模型,來降低開發(fā)門檻、提升泛化能力,解決應用碎片化的問題,推動從“作坊式”走向工業(yè)化升級,幫助電力、煤礦、交通、制造等重要行業(yè),提升作業(yè)效率、提升安全性。比如,在煤礦場景,華為幫助客戶通過模型訓練與推理,來實現(xiàn)瓦斯?jié)舛鹊某邦A警、作業(yè)序列的風險防范、以及作業(yè)質(zhì)量的智能驗收;華為的智慧港口方案,已經(jīng)在天津、青島、上海、深圳等港口實現(xiàn)智慧化應用。機場與軌道軍團在呼和浩特、武漢與深圳與伙伴們一起探索機場、鐵路與地鐵的現(xiàn)代化智聯(lián)。
另一方面,AI4Science的發(fā)展也可以極大幫助提升科學研究的能力。比如,華為通過構造新型的、地理信息3D Transformer編碼結構,以及層次化時域聚合方法,推出盤古氣象大模型,通過更精準、高效的學習與推理機制,從大自然歷史運轉出來的數(shù)據(jù)中提取出全球氣象先驗知識,代替?zhèn)鹘y(tǒng)科學計算的超大規(guī)模偏微分方程的時序求解,從而可以實現(xiàn)快速完成全球未來1小時到7天的天氣預報,預測精度比歐洲中期天氣預報中心高20%以上。
在軟件編程上,除了用傳統(tǒng)AI在大量已有代碼中進行檢索和推薦外,華為也在發(fā)展科學的模型驅(qū)動和形式化方法。尤其是在大規(guī)模并行化的情況下,很多處理是相互糾纏和前后關聯(lián)的,華為探索出了一套名為Vsync的方法,實現(xiàn)了操作系統(tǒng)內(nèi)核的自動化驗證和并發(fā)代碼優(yōu)化,在提升性能的同時也確?煽啃。2015年Linux社區(qū)發(fā)現(xiàn)了一個很難的內(nèi)存屏障Bug,社區(qū)專家花了兩年多才修復,而使用華為的Vsync方法,僅用20分鐘就發(fā)現(xiàn)并修復了這個Bug。歐美一些學校和公司都來尋求Vysnc方法的合作。
在Linux社區(qū),對Kernel版本的補丁修改貢獻上,華為在2020年的5.10版本,2021年的5.14版本,以及2022年的6.1版本上,做到全球貢獻第一。
華為也通過新的AI計算模式,來研究定理自動證明問題。比如拓撲斯理論有助于探索范疇證明、同余推理系統(tǒng)、自動理論導出,提升定理證明器的水平,希望解決形式驗證中的狀態(tài)爆炸問題和自動模型抽象問題,增強形式驗證能力。
華為也在探索基礎計算部件的重構。比如加法和乘法在學術界和產(chǎn)業(yè)界目前還不知道復雜度能降到什么程度。兩個二進制數(shù)相加,可能面臨不確定次數(shù)的進位問題,從而消耗大量的時間和能量。華為希望解決實際應用中的變換效率以及溢出等問題,重構最基本的加法和乘法,提高計算的效率。
在走向智能社會的過程中,可能有超過百倍、甚至千倍的信息需求增長,現(xiàn)有的很多理論和技術已經(jīng)遇到瓶頸,難以支持未來的發(fā)展,因此華為積極推動科學假設與商業(yè)愿景牽引的創(chuàng)新,在通信上,大膽探索有別于香農(nóng)定理的前提條件和應用場景;在計算上,進一步明確人工智能的目標定義、提升正確性、適應性和高效性。
在通信和計算兩大基石的驅(qū)動下,從狹義人工智能,到通用人工智能與超級人工智能的過程中,華為首先要通過理論和技術的不斷突破,來實現(xiàn)萬物智聯(lián),促進社會的進步;其次要勇于拓展思想的邊界,增強對智能的認知和掌控能力;最終,用正確的目標和有力的手段,牽引人工智能的發(fā)展,助力我們超越極限,增強生命,創(chuàng)造物質(zhì),控制能量,跨越時空,實現(xiàn)人類文明的進化。華為將這些面向未來的思考放在黃大年茶思屋網(wǎng)站上,促進開放的探討交流,希望能與伙伴們一起,開展相關的基礎科學研究與技術創(chuàng)新,重構基礎理論、重構架構、重構軟件。同時華為也贊助青年學者,并在ICPC、IMC、以及其他全球?qū)W生奧林匹克競賽中,分享這些挑戰(zhàn)和方向、贊助學生訓練營、激勵和培養(yǎng)更多的未來領軍人才。
“我們正在快速奔向智能社會,面對無窮的可能性,我們所有的想象都是保守的。在征服星辰大海的道路上,一切的不可知和不確定性,都會使我們變得更加強大。”周紅最后說。