如果說未來不需要硬盤了,你會不會感到驚訝?
編者按:本文來自微信公眾號“極客公園”(ID:geekpark),作者:在野,36氪經(jīng)授權(quán)發(fā)布。
你看不見的技術(shù)仍在演進。在這樣的深海領(lǐng)域,一旦出現(xiàn)顛覆性創(chuàng)新,就將帶來新一輪浪潮。
「十年之前如果誰說,以后 PC 里不會有硬盤,可能沒有人會相信。但事實上現(xiàn)在的 PC 很多都沒有硬盤,而是 SSD。我認為五年之后 PC 里可能連 SSD 都沒有了,全部會變成內(nèi)存?!?/p>
「大內(nèi)存」軟件公司 MemVerge 的 CEO 范承工這樣預(yù)測,這家公司于今年 5 月宣布新一輪戰(zhàn)略融資,投資方包括英特爾、思科等行業(yè)巨頭級公司,融資金額 1900 萬美元。
范承工口中的「大內(nèi)存」對于很多人來說可能會有些陌生,但它卻與每個人都息息相關(guān)。它是 MemVerge 提出的一個概念,關(guān)于將要到來的一個計算新時代。
大內(nèi)存是什么?要了解大內(nèi)存,首先要理解計算機的體系架構(gòu)。簡而言之,數(shù)據(jù)在計算機內(nèi)的存儲是分等級的,經(jīng)常用的數(shù)據(jù)被放在比較貴的內(nèi)存里,不經(jīng)常用的數(shù)據(jù)被放在硬盤、SSD 等更便宜的硬件設(shè)備里(這些設(shè)備被專業(yè)人士統(tǒng)稱為「存儲」,與內(nèi)存對應(yīng))。原因很簡單,無非是「讓計算更經(jīng)濟」。
內(nèi)存貴,是因為它存取速度快,適合放在靠近 CPU 的位置,供 CPU 讀寫經(jīng)常用的數(shù)據(jù)。但制造內(nèi)存的介質(zhì)斷電易失,所以不能作為永久的數(shù)據(jù)儲存硬件。存儲雖然存取速度慢,但它便宜,能永久保存數(shù)據(jù)。因此,適合存放不經(jīng)常用到的數(shù)據(jù)。當(dāng) CPU 想要訪問存儲中的數(shù)據(jù)時,存儲把數(shù)據(jù)交給內(nèi)存,內(nèi)存再交給 CPU。
大內(nèi)存的源頭是一種名為 PMem(Persistent memory)的內(nèi)存介質(zhì)的誕生,用這種介質(zhì)制造的硬件能夠很好地融合內(nèi)存及存儲的優(yōu)點,低延遲快速存取、斷電不易失,且相較于內(nèi)存而言儲存同樣大小的數(shù)據(jù)價錢更低。這樣一來,PMem 硬件就能既完成計算的作用,也肩負存儲的責(zé)任。
可以預(yù)計的是,在未來的存儲架構(gòu)中,PMem 介質(zhì)硬件將會替代內(nèi)存,并擠壓存儲的存在價值,MemVerge 稱之為大內(nèi)存時代。范承工預(yù)計,未來,應(yīng)用程序?qū)⑷窟\行在大內(nèi)存之上,存儲可能將會被很少用到。
英特爾是在 PMem 方面的先行者,早在 20 年前就開始實驗,并于 2019 年推出基于 PMem 的硬件「傲騰」。英特爾并非孤獨的嘗鮮者,除英特爾外,美光、海力士等其他硬件公司也在加緊布局。出于競爭條款限制或研發(fā)周期的原因,目前市場上只有英特爾一個玩家,但預(yù)計 2 年后 PMem 硬件市場將會迎來一輪爆發(fā)。
MemVerge 的軟件就是服務(wù)于這一爆發(fā)趨勢的。更精確地說,MemVerge 提供的是針對 PMem 數(shù)據(jù)中心的企業(yè)級解決方案,讓現(xiàn)有的軟件更好地運行在即將來到的新的內(nèi)存架構(gòu)之上。
范承工介紹,首先,新的硬件需要新的編程模式,但對于現(xiàn)有的企業(yè)級軟件來說,重新編寫帶來的成本是巨大的,因此需要中間層的遷移工具;其次,盡管目前 PMem 介質(zhì)已經(jīng)能夠提供較大的容量,但要完全勝任儲存大規(guī)模數(shù)據(jù),還是需要跨機聯(lián)動,因此需要軟件將硬件池化;另外,基于存儲產(chǎn)生的數(shù)據(jù)服務(wù)一直是存儲行業(yè)的重要組成部分,它也構(gòu)成了新架構(gòu)的一大重要需求。
對標上述三種需求,MemVerge 發(fā)布了一款名為 Memory Machine 的產(chǎn)品,基于英特爾傲騰硬件為企業(yè)提供軟件服務(wù)。目前,Memory Machine 已經(jīng)被一些金融、AI 領(lǐng)域客戶使用。
誰在吃螃蟹對于企業(yè)來說,嘗試新技術(shù)的動力往往源于實際業(yè)務(wù)中的痛點,在大內(nèi)存這樣一個新的架構(gòu)上更是如此。MemVerge 的客戶中,有一家位于華爾街的投資銀行最為典型。
每日股市盤中,這家投資銀行以平均每秒五萬筆交易的頻率進行股票買賣,這些交易數(shù)據(jù)需要被實時地分發(fā)到兩百多個賬戶。這些賬戶有些是交易相關(guān),比如對沖基金、銀行、其他交易員,有些是系統(tǒng)相關(guān),比如合法化管理、風(fēng)險評估等。
在投行的這項業(yè)務(wù)中,系統(tǒng)延遲影響的是真金白銀的得失,因此在降低延遲這件事情上,他們不遺余力。在傲騰出現(xiàn)之前,銀行系統(tǒng)內(nèi)有一個非常成熟的解決方案,名為「發(fā)布/訂閱」(Pub/Sub),通過 SSD 加傳統(tǒng)網(wǎng)絡(luò)的解決方案,延遲在幾百微秒的量級。MemVerge 為這家銀行構(gòu)建了傲騰加 RDMA 的解決方案,配合 Memory Machine 的軟件技術(shù),能夠?qū)⒀舆t降低至 3 微秒左右。
同樣在金融領(lǐng)域,數(shù)據(jù)中心的宕機恢復(fù)一直是一個比較頭疼的問題。由于實時高并發(fā)的特性,目前而言,在交易過程中,數(shù)據(jù)難以被實時儲存到非易失的存儲中,也就是俗稱的難以「落盤」,而是被暫存在內(nèi)存里,等交易日結(jié)束后再統(tǒng)一落盤。
出于安全因素考慮,在交易過程中落盤的只有一個日志。這樣一來,如果在交易中系統(tǒng)宕機,內(nèi)存中的數(shù)據(jù)丟失,要想恢復(fù)就需要根據(jù)日志從上一次「落盤」的時間節(jié)點開始回滾,也就是前一天晚上。這樣的宕機恢復(fù)往往在小時級,而交易卻在分秒進行。
PMem 介質(zhì)的存儲能有效解決這一問題,因為所有的數(shù)據(jù)都被儲存在大內(nèi)存中,斷電不易失,因此不存在落盤這一動作。通過高頻快照快速回滾,分鐘級解決宕機帶來的數(shù)據(jù)恢復(fù)問題。
另外,在近年來大熱的 AI 領(lǐng)域,大內(nèi)存也能發(fā)揮作用。范承工介紹,在深度學(xué)習(xí)的模型訓(xùn)練中,當(dāng)模型的大小大于內(nèi)存的大小時,AI 模型的訓(xùn)練速度會被數(shù)據(jù)的傳輸速度掣肘。影視動畫、游戲等行業(yè)同理,也會遇到這樣的問題,大內(nèi)存的應(yīng)用能夠有效解決。
大內(nèi)存改變了什么?目前,在 MemVerge 的客戶中,除金融機構(gòu)外,還有 LinkedIn、騰訊云等互聯(lián)網(wǎng)公司,以及一些 AI 公司。這些對計算的效率及可靠性有要求的公司,成了大內(nèi)存時代的嘗鮮者。
在存儲架構(gòu)的升級所帶來的變化中,MemVerge 所做的業(yè)務(wù)只是其中一個很小的部分。基于新架構(gòu)的數(shù)據(jù)服務(wù)、網(wǎng)絡(luò)服務(wù)目前還處于藍海階段。另外,存儲架構(gòu)的升級也為應(yīng)用層面提供了更多的想象。比如更快的游戲體驗是否能催生新的游戲品類;AI 計算速度的提高帶來了成本的降低,是否有助于 AI 技術(shù)在行業(yè)中的普及。
像內(nèi)存介質(zhì)這樣普通消費者看不見的技術(shù)仍在演進。在這樣的深海領(lǐng)域,一旦出現(xiàn)顛覆性創(chuàng)新,就將帶來新一輪浪潮。就像移動互聯(lián)網(wǎng)的催生來自電容屏的發(fā)明,AI 的廣泛應(yīng)用得益于對馮·諾依曼架構(gòu)瓶頸的突破,PMem 介質(zhì)內(nèi)存帶來的驚喜還未被揭開,這其中隱藏的機會也正等待被開啟。