<strike id="zl9n9"></strike>

    <form id="zl9n9"><nobr id="zl9n9"></nobr></form>

                中國數據存儲服務平臺

                大科研工程海量數據挑戰,浪潮分布式存儲強勢破局!

                先來看看那些高端大氣上檔次、光鮮亮麗的頂級科研項目背后有什么鮮為人知的痛楚。

                中國天眼(FAST)是當今世界上口徑最大、靈敏度最高的射電望遠鏡,具有強大的脈沖星搜尋能力。截止2021年3月,FAST共計新發現了201顆脈沖星,對后續探測來自遙遠星系的引力波、建立脈沖星時間和空間基準有重要價值。

                中國天眼(FAST)

                2018年,清華大學研制出新型超寬視場高分辨率實時顯微成像儀器(RUSH)實現了重大突破,將活體動物腦神經觀測數據通量由1000萬像素/秒提升至50億像素/秒,數據通量是全球第二大高通量顯微儀器2p-RAM的500多倍,對提升人類認知水平、腦疾病診治和人工智能技術發展具有重大戰略意義。

                清華大學新型超寬視場高分辨率實時顯微成像儀拍攝的大腦照片

                FAST和RUSH面臨一個共同的問題:海量數據的爆炸式增長。以中國天眼為例,每秒采集的數據量高達38GB,每年新增數據量達到數十PB。

                所幸,他們都遇到了浪潮存儲、化解了PB級存儲困擾——繼2019年采用了浪潮存儲的高性能和高密度兩種分布式存儲節點之后,2021年中國天眼再次采用浪潮存儲分布式存儲高密度節點,采用業界首個“多合一”極簡架構,在4U空間內承載最高1PB數據,可靈活、在線擴展容量和性能,最高可擴展至5120節點,滿足中國天眼未來幾年乃至十幾年的天文大數據存儲和處理需求;而中標清華大學高分辨率計算攝像儀器高通量在線采集存儲系統采購項目后,浪潮存儲也為這一最新研制成功的光學顯微儀器提供40個節點的存儲服務,應用于控制28臺高靈敏度相機進行高通量數據的并發采集和存儲,滿足了用戶每臺相機每秒30張,每張1200萬像素,最長拍攝72小時的連續拍攝需求。

                這背后,浪潮的分布式存儲平臺AS13000發揮了極大的作用。

                為什么不約而同選擇了浪潮存儲AS13000?

                AS13000是浪潮存儲推出的一款面向超大數據中心級打造的分布式存儲平臺,擁有低中高端多種機型,所有機型均適配英特爾最新的Purley平臺,兼容Cascade Lake新一代CPU,可滿足人工智能與超算融合的新應用在不同場景的數據需求。目前AS13000已經發展到了第五代產品AS13000 G5。

                在硬件層面,AS13000以一個架構支持 5 種不同形態(機架、高密、多節點、異構、機柜)和多種硬件配置(即以“5+X”架構),適配客戶多種數據存儲需求,從材料到整機全棧硬件能力,讓存儲更加穩定、安全、可靠。

                在軟件層面,AS13000一套架構支持文件、塊、對象、大數據、數據庫5 種協議,同時聯合合作伙伴打造多種融合解決方案,提供契合客戶業務需求的存儲服務。AS13000G5對性能指標進行了全面優化,實現了小文件性能、空間利用率、單設備帶寬、智能運維等指標的翻倍升級,最大化挖掘、共享和管理數據,實現數據的全生命化管理和價值最大化。

                可以說,AS13000是軟件結合、軟件定義存儲的佼佼者,也是浪潮存儲極致特征的代表作。

                上述說法都是來自浪潮存儲官方。這些優勢如何驗證?如何讓市場和用戶信服?

                以下這組數據具備足夠的說服力:

                美國時間6月25日,存儲性能委員會(Storage Performance Council,簡稱SPC)公布了最新的SPC-1基準評測報告,浪潮分布式存儲AS13000G5獲得6,300,529 IOPS(每秒讀寫操作次數)、0.781ms時延的評測值,刷新了分布式存儲性能全球最高成績。至此,浪潮存儲五年五次霸榜,成為全球唯一在分布式存儲和集中式全閃兩大賽道領跑的存儲廠商。

                為什么一致青睞SPC的SPC-1?

                SPC是1999年成立的存儲專業評測機構,是業界最活躍、最有影響力的國際存儲性能評測,堪稱存儲性能界的“奧林匹克”。

                20多年來,SPC定期發布性能基準測試與廠商報告,吸引Dell EMC、Fujitsu、HPE、浪潮、HDS、IBM、NetApp等全球主流存儲廠商積極參與。同時SPC定期更新存儲規范和測試工具,分區并發IO流全程數據一致性,5階段數據處理全場景模擬。SPC還建立了嚴格的審核機制,不僅會進行多輪測試,而且測試過程全球公開,讓存儲界的技術開發者、用戶監督,并運用先進技術對現場實勘結果與測試日志進行自動分析,是公認的權威、專業的測試組織。

                SPC-1從2001年初發布了第一版負載的模擬測試工具等,到2014年緩慢升級到3.0版本。之后增加了一致性校驗、單點故障、驗證流程等可靠性測試,2018年刷新到3.6版本,最新的是2020年11月份出版的3.1版,豐富了數據服務測試指標,包括重刪、壓縮、快照、節能等。

                SPC-1基準評測涵蓋矩陣(metrics)、重復性(repeat)、耐久性(persistence)三大標準評測流程,能夠對存儲系統處理復雜請求和大規模數據的能力進行精準評估,部分I/O規格指標包括IOPS、滿負載響應時間、多負載均方差響應時間、每GB美元、每KIOPS美元、價格以及不同負載下小于5%的IOPS浮動范圍、5%的響應時間、兩個9到五個9的尾延遲等等。

                相對而言,金融、通信、AI領域對IT基礎設施的需求規模和應用較大較嚴格,浪潮存儲對比發現,無論是基準模型、彈性能力還是數據服務疊加方面,SPEC-1所提供的指標都滿足對這些行業頂級客戶的標準,尤其是基準模型方面的表現更加系統、完整,因此,滿足SPEC-1技術和測試規范的產品更受青睞。

                為了做好第五次測試,浪潮存儲做了充分的準備,前后花費了兩年半的時間,提供了30個設備節點再加一臺機柜。浪潮存儲首席架構師孫斌在梳理SPC-1測試20多年的演進歷程和回顧五次參與測試過程時說。

                “打榜只是為了給市場和用戶提供一個量化的指標?!贬槍θ蚴杖肱琶傲械拇鎯S商的產品性能都在不斷提升、但不是所有廠商都選擇在SPC-1上進行測試這一現象,孫斌回應說,只要公司常設架構師團隊,持續不斷加強研發,提供滿足客戶不斷攀升的應用需求,就足夠了。不過,如果浪潮存儲持續第六次打榜成功,想必不是一件令人意外的事情。

                浪潮存儲產品家族

                什么技術能讓浪潮存儲一次接一次打榜?

                此次打榜SPC-1,AS13000不同于全閃盤陣的三項技術創新脫穎而出:

                一是在二次寫數據和寫產生原數據兩個維度實現了本地化,極大地降低了網絡以及節點計算方面的資源占用;

                二是面向多個CPU核以及NVMeSSD這兩個特征增強并發,對讀寫放大進行了優化控制,并針對集群中的節點及SSD之間做到低損、采用metric這樣自研的多流技術從全局進行數據分流,讓SSD效能具備更好的表現;

                三是與傳統掛榜友商采用光纖通道的方式不同,AS13000采用的突破了網口跟不同CPU Core的綁定、從中斷到允許,對IP包拆解、識別和組包等軟硬件協同技術后的百G以太網,構筑起一個高性能表現環境。

                實際上,登頂SPC-1,與浪潮存儲的智能加速引擎iTurbo技術也密不可分。iTurbo是浪潮存儲2019年面向新一代G5存儲平臺研發的一項硬核技術,是I/O軟件棧的一套完整的智能加速算法,目前已經升級到了2.0版。

                iTurbo智能引擎為浪潮存儲系統提供前端應用自適應和調配不同數據處理策略,實現了智能的IO感知、路徑選擇、數據組織和資源調度,為浪潮存儲在性能上贏得業界的認可帶來創新的存儲加速方案,在同等控制器配置、同等IT建設成本下支撐更多的數據并發訪問。

                以智能IO感知技術為例,iTurbo通過自適應緩存預讀算法對歷史數據I/O模式進行分析、判斷識別,對其提前讀取到緩存,從而達到緩存最高命中率:當緩存寫滿時,通過獨特的替換算法淘汰使用率最低的數據,使緩存發揮出最大的價值,與此同時,通過特征數據識別和逐字節的比較,在確保數據安全的前提下減少數據落盤,提高存儲性能及空間使用率。

                浪潮存儲產品線總經理李輝道出了關鍵:浪潮存儲的技術優勢,在于長期的投入。據悉,從2015年到現在,累計研發投入接近30億元,研發人數的規模也在逐年增長。

                登榜之后,浪潮存儲還要面對哪些挑戰?

                AS13000的性能已經雄踞市場之首,但是,作為分布式存儲解決方案的代表作,浪潮還在不斷努力,以應對市場和客戶的需求。

                一方面,SPC-1指標還在不斷完善和升級,如最新的測試版本增加了能耗方面的測評指標。

                對此,浪潮存儲除了在產品研發層面積極應對,還致力于參加相關政府和機構組織的“綠色存儲企業領跑者標準”的制訂工作,通過量化的指標規范存儲產品的能耗確保產品永遠立于領導者地位。

                在今年9月將要頒布、由國內主流廠商參與的一項領跑者標準的驗測標準中,浪潮存儲是重要的貢獻者之一。

                另一方面,技術在不斷升級,雖然浪潮存儲在產品和技術層面持續發力,包括近期將加強對極致安全方面以及在平臺化和極致云化方面展開更多工作,但要在基礎研究層面繼續做到七大極致,浪潮存儲也在密切關注中。李輝告訴記者,存儲技術的突破性領域集中在介質、期間和協議層面。雖然當前技術研究不一定會取得重大的突破、也未必對未來兩三年帶來重大的影響,但確實到了考慮問題的時候。例如,雖然硅介質在存儲領域還將繼續主導市場很長一段時間,社會各界已經開始關注光全息化學材料和激光結合、乃至在玻璃上存儲展開深入探索,浪潮存儲也拉開了與清華大學在光介質層面技術交流的步伐。

                那么,如何有效拓展市場?在企業級存儲打拼了20年的孫斌表示,浪潮存儲將從3個維度發力:一是讓更多的企業客戶加強基于公有云的應用,二是提升存儲解決方案的智能化能力,讓客戶實時掌握系統運行的狀態,并將潛在的事故隱患提前消滅在萌芽狀態,三是防止單點失敗,確保核心業務健康運行。

                未經允許不得轉載:存儲在線 » 大科研工程海量數據挑戰,浪潮分布式存儲強勢破局!
                分享到: 更多 (0)
                好紧紧的小嫩嫩,50i岁熟妇大白屁股真爽,女教师 裕美の放课后前篇
                <strike id="zl9n9"></strike>

                  <form id="zl9n9"><nobr id="zl9n9"></nobr></form>