5月7日，以“數(shù)據(jù)覺(jué)醒，構(gòu)建AI-Ready的領(lǐng)先數(shù)據(jù)基礎(chǔ)設(shè)施”為主題的2024創(chuàng)新數(shù)據(jù)基礎(chǔ)設(shè)施論壇在柏林舉行。華為公司副總裁、數(shù)據(jù)存儲(chǔ)產(chǎn)品線總裁周躍峰博士發(fā)表題為“數(shù)據(jù)覺(jué)醒時(shí)代，華為重新定義數(shù)據(jù)存儲(chǔ)”主題演講，他表示，具備極致性能、數(shù)據(jù)韌性、全新數(shù)據(jù)范式、高擴(kuò)展性、綠色節(jié)能、數(shù)據(jù)編織能力的數(shù)據(jù)存儲(chǔ)是AI時(shí)代存儲(chǔ)演進(jìn)的必由之路。
華為公司副總裁、數(shù)據(jù)存儲(chǔ)產(chǎn)品線總裁 周躍峰博士
從上世紀(jì)90年代至今，隨著企業(yè)的應(yīng)用由單機(jī)、數(shù)據(jù)庫(kù)/虛擬化、文件共享、大數(shù)據(jù)、高性能數(shù)據(jù)分析等應(yīng)用的變遷，數(shù)據(jù)存儲(chǔ)經(jīng)歷了從DAS到SAN/NAS，再到非結(jié)構(gòu)化存儲(chǔ)的變革與演進(jìn)。直到如今生成式AI的爆發(fā)，對(duì)數(shù)據(jù)存儲(chǔ)提出了新的訴求。
AI大模型集群規(guī)模已邁入萬(wàn)卡、十萬(wàn)卡時(shí)代，集群規(guī)模增加帶來(lái)更加頻繁的故障和訓(xùn)練中斷，重復(fù)的CheckPoint數(shù)據(jù)寫(xiě)入、斷點(diǎn)續(xù)訓(xùn)導(dǎo)致算力資源閑置，集群可用度不足50%。此外，到2026年，全球數(shù)據(jù)中心的耗電量預(yù)計(jì)將達(dá)到2022年的2.3倍，相當(dāng)于日本一個(gè)國(guó)家全年的耗電量，其中數(shù)據(jù)中心一半以上的電力消耗都將被AI占據(jù)。
AI時(shí)代呼喚新一代數(shù)據(jù)存儲(chǔ)。過(guò)去的數(shù)據(jù)存儲(chǔ)主要關(guān)注性能、可靠、數(shù)據(jù)范式三個(gè)方面；面向未來(lái)，AI存儲(chǔ)還應(yīng)增加三個(gè)維度：高擴(kuò)展性、綠色節(jié)能與數(shù)據(jù)編織。數(shù)據(jù)覺(jué)醒時(shí)代，華為將重新定義數(shù)據(jù)存儲(chǔ)，聚焦于六個(gè)方面的創(chuàng)新，持續(xù)引領(lǐng)：
極致性能：超越傳統(tǒng)存儲(chǔ)10倍的性能，支持PB級(jí)帶寬以及億級(jí)IOPS，極大提升生成式AI全流程效率；
數(shù)據(jù)韌性：通過(guò)架構(gòu)和技術(shù)創(chuàng)新，實(shí)現(xiàn)99.9999%高可靠性，通過(guò)內(nèi)置防勒索引擎，實(shí)現(xiàn)偵測(cè)準(zhǔn)確率提升至99.99%，并將AI訓(xùn)練過(guò)程中CheckPoint恢復(fù)時(shí)間縮至1分鐘以內(nèi)；
全新數(shù)據(jù)范式：使能多維“張量”格式的數(shù)據(jù)，通過(guò)智能檢索引擎，具備快速的張量數(shù)據(jù)檢索能力；通過(guò)內(nèi)嵌知識(shí)庫(kù)，利用RAG技術(shù)消除AI大模型幻覺(jué)；
高擴(kuò)展性：存儲(chǔ)集群支持EB級(jí)容量橫向擴(kuò)展；每個(gè)引擎可支持多GPU、DPU或NPU縱向擴(kuò)展，以支持近存計(jì)算；
綠色節(jié)能：通過(guò)存儲(chǔ)介質(zhì)應(yīng)用創(chuàng)新和整機(jī)硬件創(chuàng)新，實(shí)現(xiàn)小于1Watt/TB的存儲(chǔ)能效和1PB/U的存儲(chǔ)密度；
數(shù)據(jù)編織：基于存儲(chǔ)元數(shù)據(jù)管理及檢索能力，實(shí)現(xiàn)全局?jǐn)?shù)據(jù)可視、可管，并支持10倍的數(shù)據(jù)流動(dòng)效率提升。
基于以上創(chuàng)新，華為推出全新A系列高性能存儲(chǔ)OceanStor A800，專為AI而生，可有效提升AI集群可用度30%。性能方面，OceanStor A800帶寬是友商同類產(chǎn)品的4倍，IOPS達(dá)友商的8倍；支持EB級(jí)容量擴(kuò)展，最大支持?jǐn)U容至4096張算力卡，512個(gè)存儲(chǔ)控制器；從空間能耗來(lái)看，密度高達(dá)1PB/U，能耗低至0.7Watt/TB；結(jié)合向量化索引、張量格式數(shù)據(jù)、RAG知識(shí)庫(kù)，使能全新數(shù)據(jù)范式；數(shù)據(jù)韌性方面，勒索攻擊偵測(cè)準(zhǔn)確率從99.9%提升至99.99%；通過(guò)數(shù)據(jù)編織能力，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)管理。
此外，存儲(chǔ)介質(zhì)創(chuàng)新助力可持續(xù)發(fā)展。華為新推出128TB大容量SSD盤(pán)，相比業(yè)界友商，每PB節(jié)約88%空間，節(jié)省92%能耗，相同空間實(shí)現(xiàn)10倍容量提升，進(jìn)一步降低數(shù)據(jù)中心能耗。
同樣，AI-Ready的前提是Data-Ready。DME內(nèi)置的Omni-Dataverse全局文件系統(tǒng)實(shí)現(xiàn)企業(yè)全域數(shù)據(jù)資產(chǎn)可視、可管、可流動(dòng)，構(gòu)筑AI數(shù)據(jù)湖存儲(chǔ)底座。
最后，周躍峰表示，華為將聚焦數(shù)據(jù)覺(jué)醒時(shí)代客戶面臨的挑戰(zhàn)和需求，重新定義數(shù)據(jù)存儲(chǔ)，構(gòu)筑AI-Ready的領(lǐng)先數(shù)據(jù)基礎(chǔ)設(shè)施，為客戶創(chuàng)造價(jià)值。
