首頁|必讀|視頻|專訪|運營|制造|監(jiān)管|大數據|物聯網|量子|元宇宙|博客|特約記者
手機|互聯網|IT|5G|光通信|人工智能|云計算|芯片|報告|智慧城市|移動互聯網|會展
首頁 >> 頭條資訊 >> 正文

千錘百煉 九天大模型是怎樣煉成的?

2024年6月3日 15:12  CCTIME飛象網  

飛象網訊 (一飛/文)在福建,瑕疵AI視覺檢測系統(tǒng)賦能紡織企業(yè)開展AI視覺識別檢測,有效提升產品質量和生產效率;在河南,精準高效的農業(yè)專用AI解決方案為農戶提供便捷高效的農業(yè)知識問答服務;在黑龍江,龍江政務服務依托九天海算政務大模型,實現“一網通辦、一網統(tǒng)管、一網協同”……

“九天”人工智能基座的神秘面紗在數字中國建設峰會中國移動人工智能大會上被揭開,“九天”不僅是一個技術創(chuàng)新的里程碑,更是助推經濟社會高質量發(fā)展的強大引擎,由萬卡級智算集群鑄就堅實根基,千億多模態(tài)大模型構建豐富內涵,匯聚百大要素的生態(tài)平臺成就了其廣闊視野與無限可能,為數字經濟的蓬勃發(fā)展注入了強大動力。

“九天”亮劍,實現跨越式發(fā)展

“可上九天攬月,可下五洋捉鱉”。中國移動始終與國家的發(fā)展脈搏同頻共振,自2013年起便踏上了與人工智能深度融合的探索之路,打造了全力投身人工智能技術創(chuàng)新和產品研發(fā)的“九天”團隊,致力于將人工智能技術融入其核心業(yè)務,推動行業(yè)的智能化發(fā)展。

中國移動“九天”團隊從智能客服領域入手,助力10086客服成為全球交互量最大的智能客服系統(tǒng);又在大數據智能領域深入攻關,助力多個省公司顯著提升了營銷效益。

為進一步加快人工智能的廣泛創(chuàng)新,中國移動2017年正式上線了“九天”人工智能平臺。

該平臺是國內首個運營商自主研發(fā)的人工智能平臺,可助力人工智能開發(fā)者們充分利用中國移動在算力、數據等技術資源的規(guī)模化優(yōu)勢而敏捷、高效地實現豐富多樣的人工智能算法、應用,并加速這些成果在中國移動豐富的應用場景中得到落地。

“面向通用人工智能的‘人工智能大平臺’,其能力底座是大模型。”九天基礎大模型研發(fā)負責人表示,AI給整個行業(yè)帶來了革命性的變化,所有從事這個行業(yè)的人都會非常期待!拔蚁嘈胖悄芑瘯钊氲缴a生活、社會治理、科學研究等方方面面,我相信它一定會讓我們整個文明上升一個臺階。”

拾級而上,攻堅難題鍛長板

隨著科技的飛速發(fā)展,人工智能已成為引領數字化轉型的重要力量。2023年3月,中國移動成立大模型研發(fā)團隊,攻關通用人工智能技術,搶占科技制高點。

大模型的訓推技術是一個新的方向,在全球任何一家公司都是核心機密,公開的學術論文只能窺看到冰山之一角,但這些已經是研發(fā)團隊獲取訓練技術的最佳途徑。

在九天基礎大模型研發(fā)工作中,研究人員很多時候要摸著石頭過河,甚至要勇闖技術“無人區(qū)”,日夜不輟地提煉技術要點,為大模型攻關積累了知識底座,結合訓練過程,形成了完整的訓練日志,成為了大模型攻關過程中最寶貴的知識財富。

“眾人拾柴火焰高”,沒有現成標準可遵循、沒有成熟經驗可借鑒,在這種情況下,研發(fā)團隊在多方渠道收集了近500萬億字符的原始文本數據,其規(guī)模近乎覆蓋了人類有史以來全量的文本類知識。他們對這些數據進行一輪又一輪的精洗和去重,優(yōu)選的比例是100:1,打造出近5萬億字符的高質量訓練數據集,為大模型訓練奠定了數據基礎。

最開始的半年時間里,算力不足、平臺的斷點續(xù)訓功能也未開發(fā)完成,研發(fā)團隊24小時日夜監(jiān)控千卡集群的訓練狀態(tài),第一時間處理故障、恢復訓練任務。但因為對模型的超參數設置把握火候不夠,訓練一次次歸零,一次次從頭再來。在挫折面前,他們展現出極強的韌性和抗壓能力,堅守一線,直到模型最終收斂出完美的曲線。

新技術要敢于在實際的生產中錘煉。在大模型訓練過程中,對于高性能算力資源面臨著嚴重的“卡脖子”問題,相應的框架、加速技術等也難以直接使用,亟需實現全鏈路高度自主可控的大模型訓練。

現在九天語言大模型已實現在近萬卡集群上進行訓練,速度達130T Flops,無故障訓練時長在同等規(guī)模芯片訓練中達到國際領先水平,已與中石油、中航信、中化等央企建立合作,加速產業(yè)賦能。

積力所舉,則無不勝;眾智所為,則無不成。中國移動將與產業(yè)一道,不斷建強“九天”人工智能基座,立足于在重點領域形成創(chuàng)新突破,推進AI在通信服務領域的創(chuàng)新發(fā)展及落地應用,帶動我國大模型產業(yè)生態(tài)融通共贏。

編 輯:霏雯
聲明:刊載本文目的在于傳播更多行業(yè)信息,本站只提供參考并不構成任何投資及應用建議。如網站內容涉及作品版權和其它問題,請在30日內與本網聯系,我們將在第一時間刪除內容。本站聯系電話為86-010-87765777,郵件后綴為#cctime.com,冒充本站員工以任何其他聯系方式,進行的“內容核實”、“商務聯系”等行為,均不能代表本站。本站擁有對此聲明的最終解釋權。
相關新聞              
 
人物
中國電信董事長柯瑞文:天翼云作為國家云已經越過向智能云發(fā)展的拐點
精彩專題
CES 2024國際消費電子展
2023年信息通信產業(yè)盤點暨頒獎禮
飛象網2023年手機評選
第24屆中國國際光電博覽會
CCTIME推薦
關于我們 | 廣告報價 | 聯系我們 | 隱私聲明 | 本站地圖
CCTIME飛象網 CopyRight © 2007-2024 By CCTIME.COM
京ICP備08004280號-1  電信與信息服務業(yè)務經營許可證080234號 京公網安備110105000771號
公司名稱: 北京飛象互動文化傳媒有限公司
未經書面許可,禁止轉載、摘編、復制、鏡像