畢業(yè)季和招生季里的一次次“官宣”,讓華為“天才少年”徹底出圈,也展現(xiàn)出了華為“兇猛”的技術人才進擊態(tài)勢。
大家在關注百萬年薪的同時,可別忘記與頂級薪酬相匹配的頂級挑戰(zhàn)。拿到高檔 offer 的“天才少年少女”,都選擇加入的華為存儲相關領域,是十分值得關注的領域。
存儲究竟有多重要?隨著各行各業(yè)智能化的深入,數(shù)據(jù)基礎設施自然也需要跟上節(jié)奏。越來越多的企業(yè)需要高效的數(shù)據(jù)存儲與管理系統(tǒng),來實現(xiàn)海量的數(shù)據(jù)管理與保護,為業(yè)務發(fā)展與經(jīng)濟增長提供保障。
而 2019 年,華為曾以“奧林帕斯獎”為名,鼓勵科研人員積極創(chuàng)新,解決數(shù)據(jù)基礎設施領域的技術難題。而火星的奧林帕斯山,是太陽系已知最高的火山,是珠穆朗瑪峰的三倍,以此來類比,難度可想而知。
攀爬“太陽系之最”的技術高峰,自然需要專業(yè)且頂級的精英人才。所以,我們不妨暫時放下金光閃閃的高薪標簽,來看看這些攀登者們是如何征服存儲這座“奧林帕斯山”的。
遠眺,萬物智能的數(shù)據(jù)風景
拒絕騰訊、阿里和美國存儲巨頭西部數(shù)據(jù)的邀請,在四份 offer 中直奔華為的“天才少女”,選擇與自己在校研究方向——新型存儲介質(NVM,SMR)、數(shù)據(jù)庫和鍵值存儲系統(tǒng)——相契合的華為存儲相關工作。
而天才少年也在接受采訪中表示,最終選擇加入華為,是希望能夠和一群志同道合的人做有意義的事,懷抱理想讓世界刮目相看。
存儲如同圣杯,正在成為今天和未來的數(shù)據(jù)狂潮中全社會新的避難所,也吸引了眾多年輕的有志之士為之奮斗。
目前看來,我們正在經(jīng)歷數(shù)據(jù)三變:
量級變大:數(shù)字化、智能化產(chǎn)業(yè)趨勢的興起,IoT 設備逐漸變得無處不在,5G 即將產(chǎn)生的超級聯(lián)接,都讓傳統(tǒng)的 IT 基礎設施面臨著數(shù)據(jù)浪潮沖擊;
價值變大:數(shù)據(jù)的存儲與融通,已經(jīng)從互聯(lián)網(wǎng)產(chǎn)業(yè)的剛需,變成了各個行業(yè)未來業(yè)務增長的生產(chǎn)資料,5G+AI+云時代的新一代存儲商業(yè)空間已經(jīng)清晰;
產(chǎn)業(yè)之變:數(shù)據(jù)存儲從底層承載平臺,開始向數(shù)據(jù)流動、分析、利用的計算產(chǎn)業(yè)環(huán)節(jié)延伸,對硬件創(chuàng)新和軟件迭代提出了全新挑戰(zhàn)。
人類的智能時代已經(jīng)篤定,新一代存儲就成了必須翻越的山脈。
規(guī)劃,向山頂邁進
在新一代存儲設施的宏大挑戰(zhàn)中,NVMe 成了所有攀登者必須抵達的一座山峰。
2010 年,NVMe(Non-Volatile Memory Express 非易失性內存標準)標準接口協(xié)議誕生,就注定了會讓挑戰(zhàn)者高山仰止:
傳統(tǒng)存儲中連接固態(tài)閃存 SSD 的最典型方式 SAS,吞吐量有限,隨著存儲介質性能百倍級以上的提升,已經(jīng)成為限制硬件性能釋放的天花板。
而 NVMe 則革命性地用簡潔、直接的輕量級技術能力,釋放了新的產(chǎn)業(yè)機會。
NVMe 協(xié)議替代了原有的 AHCI 規(guī)范,并且軟件層面的處理命令進行了重新定義,得以規(guī)范固態(tài)硬盤訪問接口,去掉了 SAS 系統(tǒng)中的 IO Scheduler 和 SCSI 等復雜的協(xié)議層,利用多核處理器,降低協(xié)議交互時延。
與單隊列 SAS 協(xié)議相比,NVMe 協(xié)議可支持多達 64K 個隊列,實現(xiàn)更高的并發(fā)處理。此外,通過 PCIe 直連,讓 CPU 和 NVMe SSD 直接通信,比傳統(tǒng) SAS 架構更精簡。有數(shù)據(jù)顯示,如果采用 SAS 后端的 SCSI 協(xié)議,一次完整的主機數(shù)據(jù)寫入請求需要通過 4 次協(xié)議交互,而華為 NVMe 全閃存只需要 2 次協(xié)議交互,處理寫請求的效率比 SAS 全閃存高 1 倍,顯著提高了固態(tài)硬盤的讀寫性能。
用一個類比來說,就是將原本草木叢生、人車畜共行的林間小道鏟平了,修建一個更寬、更平坦的高速公路,數(shù)據(jù)自然能在上面快速流暢地通行。
根據(jù) Gartner 預測,2022 年 NVMe SSD 在存儲中占比將達到 52%。
聽起來,似乎只要將這個新協(xié)議用起來就好了,有什么難的?攀登者在前往大本營之前,都會提前進行線路規(guī)劃、了解即將面對的地形和可能的風險,而對于 NVMe 技術的落地,其存在的挑戰(zhàn)就在于,想要一路給 SSD“開綠燈”,并不容易。
首先,新技術從實驗室落地市場,需要達到規(guī)?;瘧玫母吣苄П?。NVMe SSD 全閃存陣列在合理成本上發(fā)揮出它的性能極限,從單純的注重性能發(fā)展到真實降低單位比特成本,才能吸引客戶買單;
其次,需要完整的產(chǎn)業(yè)鏈支持,比如當時的全閃存陣列控制器架構都是為了適應機械硬盤而設計的,NVMe 面臨著軟硬件適配、運維管理的重重阻礙。
另外,只有 NVMe 產(chǎn)品能夠在企業(yè)業(yè)務中可以釋放出真正的商業(yè)價值,特別是在分秒必爭的企業(yè)場景,這就需要產(chǎn)品力的加持。
這些,都推動著攀登者們全面理解、步步為營、持續(xù)發(fā)力。
攀登,華為存儲的三把“神兵”
在存儲領域,傳統(tǒng)的技術話語權柄一直被美國、日本等大國巨頭廠商所把持。但變局在 NVMe 上發(fā)生了。
2018 年,華為在中國存儲與數(shù)據(jù)峰會上,發(fā)布了華為 OceanStor 存儲 Dorado 系列,率先實現(xiàn)了全系列支持 NVMe 架構。
在達到這一成績之前,華為也早已拿下了不少小的技術“據(jù)點”,比如發(fā)布了業(yè)內唯一端到端 NVMe SSD 盤、NVMe 閃存控制器和 NVMe 全閃存操作系統(tǒng)等等。
智能存儲的產(chǎn)業(yè)階段,華為 NVMe 全閃存陣列,錘煉出了三把披荊斬棘、無往不利的“神兵利器”:
- 全面覆蓋,化繁為簡,指數(shù)級性能增長
華為更進一步,從網(wǎng)絡、服務器、存儲全部采用 NVMe Over RoCE 全 IP 組網(wǎng)設計,使用 TCP/IP 和 RoCE 來部署 NVMe 閃存存儲平臺,讓以往需要在多種協(xié)議(FC/IP/IB/PCIe/SAS)中復雜交互的局面,用 NVMe 一種協(xié)議完成了整個網(wǎng)的管理。
這樣從前端網(wǎng)絡連接、后端硬盤框連接、scale-out 的控制器互聯(lián)均采用同一種網(wǎng)絡協(xié)議,其優(yōu)勢也顯而易見:極大降低了存儲時延,極致時延可達 0.1ms;避免復雜的網(wǎng)絡協(xié)議和規(guī)劃,簡化了數(shù)據(jù)中心和企業(yè)網(wǎng)絡的部署和維護成本。
- 全面創(chuàng)新,端到端整體護航高可靠性
作為業(yè)界率先實現(xiàn)全系列端到端 NVMe 全閃存的廠商,華為自然也搶先交付出了一整套的產(chǎn)業(yè)價值。
以新一代 OceanStor 分布式存儲、OceanStor 全閃存、FusionData 智能數(shù)據(jù)湖解決方案等為例,就基于智能無損網(wǎng)絡和硬件,實現(xiàn)了數(shù)據(jù)在“采、存、算、管、用”整個生命周期的端到端整合和優(yōu)化,將新一代存儲技術更全面地融入數(shù)據(jù)基礎設施。
為此,華為應用了一系列創(chuàng)新技術。
比如針對商用 NVMeSSD 盤必須快速在線更換的需求,避免暴力熱插拔(PCIe surprise hot plug)可能導致的系統(tǒng)異常、業(yè)務中斷,華為打造了智能無損網(wǎng)絡和 OceanStor 全閃存聯(lián)合 NOF+增強方案,采用前端共享大卡在系統(tǒng)內實現(xiàn)故障自動巡檢、即時感知、主動修復,鏈路故障感知時間只有 1 秒,端到端時延僅為 75μs。與之相比,業(yè)內通用的 NOF 故障感知時間長達 15 秒,后者顯然對于極大提升系統(tǒng)可靠性,保障端到端的穩(wěn)定時延,起到了關鍵作用。
再比如,存儲單點的可靠性往往需要采用雙控冗余技術保障,但大部分廠商會放棄技術上較難的原生雙 PCIe 端口,而選擇另辟捷徑,導致系統(tǒng)可靠性的降低。
而華為的解決方法是十年磨一劍,攻破了雙端口技術,兩個 PCIe 3.0X2 端口獨立,互相不影響,為系統(tǒng)修復和異常處理提供了硬件基礎,保證了系統(tǒng)雙控冗余性,提升系統(tǒng)的可靠性。
為了解決硬盤重構時間增長,傳統(tǒng) RAID 技術無法保障系統(tǒng)可靠性,容易導致盤故障、數(shù)據(jù)丟失的問題,華為采用創(chuàng)新的 RAID-TP 軟件技術,基于 Erasure Code 算法,將校驗位做到支持 1、2、3 位可調,容忍同一個 RAID 組內 1-3 塊盤同時失效,在 3 塊盤同時失效的情況下能夠容忍數(shù)據(jù)不丟失,業(yè)務不中斷。這是目前美國戴爾、IBM 等廠商都做不到的。
?
(華為支持 NVMe Over Fabric 的端到端方案)
- 軟硬件結合,從工作流程、工具鏈、產(chǎn)品化的全面升級
要讓數(shù)據(jù)在整個生命周期內都能滿足時代訴求,面對的挑戰(zhàn)還有很多。所以除了僅在硬件產(chǎn)品優(yōu)化上做文章之外,華為也從底層出發(fā),從工作流程、工具鏈到產(chǎn)品進行了全方位使能。
舉個例子,華為率先在 NVMe 全閃存領域實現(xiàn)免網(wǎng)關雙活方案,基于閃存的硬件和軟件優(yōu)化,雙活時延達到 1 毫秒,性能業(yè)界最高,保障業(yè)務 7*24 高可用,并支持從雙活方案平滑升級到 3DC 方案。
華為 OceanStor 存儲 Dorado 系列還開發(fā)一系列自動化部署工具,把運維工程師從復雜繁瑣的網(wǎng)絡部署工具中解放出來,全面提升從網(wǎng)絡規(guī)劃到實施的易用性。加上人工智能技術智能預測故障、定位問題、實時健康度分析、分析性能和容量趨勢等等應用,大大降低存儲系統(tǒng)運行風險和運維成本,將存儲管理效率提升 5 倍以上。
通過這一系列組合拳,華為正在將 NVMe 技術不斷融入到存儲陣列之中,在數(shù)字化升級的時代浪潮中,讓各行業(yè)都能直觀地感受前沿技術帶來的體驗質變。
沖頂,全球存儲,中國時刻
不出意外,華為的技術攀登者們成功在一個個大本營勝利會師、安營扎寨。
在技術分析機構 DCIG 的《DCIG 2020 年 -2021 年全閃存陣列購買指南》中,華為 OceanStor 存儲 Dorado 系列占據(jù) C 位,位列最佳推薦榜首,超越其他所有競爭對手。
全球權威機構 Gartner 公布的最新數(shù)據(jù)顯示,2019 年華為存儲全球增速第一,成為市場中后勁最足的廠商。
在 2020 年第一季度全球存儲供應商普遍出現(xiàn)營收下滑的背景下,華為存儲逆勢保持 24.7%的高速增長,其中華為全閃存增長率高達 45.1%,遠高于市場平均增長率和其他競爭對手。
從 2002 年起步至今,華為存儲從零創(chuàng)業(yè),到如今拿下 NVMe 的技術高地,加速向全球市場沖鋒,后勁都來自哪些要素?或許可以將其總結為華為存儲的“四大能量”:
1. 技術信念。華為在存儲和硬盤領域鉆研多年,是目前業(yè)界唯一自研存儲控制器、SSD 盤和存儲芯片的廠商,充分了解數(shù)據(jù)存儲的全流程,將這些經(jīng)驗應用在 NVMe 系統(tǒng)中,增長迭變速度越來越快;
2. 創(chuàng)新意識。不斷將新的技術、理念、工具融入到存儲領域當中,全棧采用 NVMe、芯片級端到端加速、SCM+分級 / 緩存技術、智能 AI 算法 FlashLink 等等,每一次創(chuàng)新都轉化為向上攀登的強勁動能;
3. 尊重市場。無論是人工智能、大數(shù)據(jù)、自動駕駛、區(qū)塊鏈等先進領域,還是在醫(yī)療、制造、金融等傳統(tǒng)行業(yè),華為存儲對各行業(yè)的數(shù)據(jù)困境都十分尊重,全系列 NVMe 的產(chǎn)品陣列,降低了用戶使用領先存儲技術的門檻,提供了更靈活、經(jīng)濟的選擇,幫助更多企業(yè)快速推進數(shù)字化轉型。
4. 重視人才。華為在優(yōu)秀人才的吸納上從來都不遺余力,在科研上的投入甚至超過了當年的凈利潤。而從任正非的只言片語中我們知道,華為至少有 700 多名數(shù)學家,800 多名物理學家,120 多名化學家,六七千名的基礎研究專家,6 萬多名各級高級工程師。華為華為 18 萬員工中,有將近 45%的人在從事基礎研究工作。
從這個角度看,華為存儲在全球市場的沖鋒,看似是一場短跑沖刺,其實是一場綿延將近 20 年、砥礪前行的馬拉松。
人類不斷向火星發(fā)起探索,是用夢想自我定義能力上限的過程。而華為存儲的一次次技術上探,其實是源于一個偉大夢想的無限延伸。