<form id="hxjhd"><dl id="hxjhd"></dl></form>
<address id="hxjhd"><listing id="hxjhd"><meter id="hxjhd"></meter></listing></address><noframes id="hxjhd">
<form id="hxjhd"></form><address id="hxjhd"></address>
<address id="hxjhd"><listing id="hxjhd"></listing></address>

    <form id="hxjhd"></form>

    <address id="hxjhd"></address><form id="hxjhd"><nobr id="hxjhd"><progress id="hxjhd"></progress></nobr></form>
    <address id="hxjhd"><nobr id="hxjhd"></nobr></address>

    <noframes id="hxjhd">

    <address id="hxjhd"><listing id="hxjhd"><meter id="hxjhd"></meter></listing></address>
    <address id="hxjhd"></address>
    中國數據存儲服務平臺

    XGFS支持文件、對象和大數據協議三通,助力企業降本增效

    近年來,隨著云計算、大數據、人工智能等技術的飛速發展,同以往單一的結構化存儲相比,非結構化文件存儲和對象存儲能存儲豐富多樣的數據類型。同時,由于各種非結構化數據利用技術的進步,傳統的數據處理過程正在被重構,一次數據處理會涉及到文件、對象、大數據等多種格式的數據。同時,企業存儲從數據處理成本和效率上,也希望能借助實現文件格式的數據、大數據格式的數據和對象格式的數據的互通,即文件、大數據、對象協議互通通過數據零拷貝并減少數據冗余,實現真正意義上的降本增效。

    協議互通典型場景舉例:自動駕駛

    協議互通使用場景廣泛, 以自動駕駛場景為例,路測返回的原始數據是文件格式,需要先轉換為HDFS格式,才能利用大數據集群做預處理。預處理后的數據載轉換為文件格式,導入到AI訓練集群和驗證仿真集群進行訓練和驗證。最后再將驗證結果數據轉換為HDFS格式,導入到大數據集群做結果分析。通過分析結果去對自動駕駛算法并進行部署,過程中涉及到多種數據格式的轉換和多集群之間的數據導入導出。

    其他泛制造行業數據處理存在類似的數據格式轉換和數據導入導出的需求。通過協議互通,可以有效地降低數據格式轉換的工作,并減少導入導出,降低數據冗余度,實現真正意義上的降本提效。

    什么是協議互通

    ● 統一資源模型:統一硬件資源池 + 統一命名空間,文件、對象、大數據使用統一的資源模型;

    ● 統一命名空間:針對同一份數據,可以同時支持應用使用文件、對象、大數據協議訪問的能力。

    XGFS 協議互通

    XGFS(XSKY星辰天合文件存儲,簡稱XGFS) 基于文件語義之上實現 NFS、S3 和 HDFS 等協議,使不同生態的計算應用真正可以運行在一套存儲集群之上,并且數據層面可實現 “零拷貝”,并且所有協議都可以同時寫同一個目錄。

    XGFS協議三通實現原理

    分布式全協議存儲系統 XGFS,支持單一命名空間百 PB 容量、百億文件數,同時可以做到多協議互通。XGFS 通過自研分布式網關集群,除了支持 POSIX、SMB/CIFS、FTP 和 NFS 協議以外,還新增了對 S3 協議和原生 HDFS 協議的支持。利用 XGFS 全協議互通能力,可以面向新型互聯網業務、大數據業務和 AI 業務等復雜、復合型業務場景,構建“生產和發布基于一個數據集”的全新工作流。

    如上圖所示,XGFS 對上層將提供統一的元數據管理模塊和數據存儲池,通過分布式網關集群,統一對上層提供各種協議服務和XGFS的其他高級特性。在分布式網關集群中,統一語義層將提供統一的用戶、權限、命名空間和 XCACHE 讀緩存。網關集群將 NFS、HDFS、S3 協議操作經過轉換,在統一語義層進行用戶認證和鑒權,最終,不同協議共享同一套用戶、權限、命名空間和統一的讀加速緩存,實現協議互通。

    例如,在 XGFS 界面創建一個本地用戶后,可以配置開啟S3協議訪問權限,也可將同一文件目錄通過不同的文件協議共享出去供不同的上層應用訪問,且每個協議均可訪問其他協議上傳的文件。例如在 S3Browser 上可以看到桶中由 HDFS、CIFS 或 NFS 協議寫入的文件。

    XCACHE ——多協議共享讀緩存加速

    XGFS支持對文件系統中任意目錄開啟讀緩存加速,讀緩存將緩存文件的數據和元數據,支持在文件網關或專用客戶端上開啟讀緩存加速。數據讀緩存支持多種預讀策略自適應:順序、跨步。數據讀緩存支持基于高低水位的回收策略。用戶可根據實際需求進行調整,同時支持目錄預取策略(全預取、基于filename、mtime)。

    如通過在統一語義層增加XCache內存緩存,能夠緩存訪問過的文件元數據和數據,前端協議下發讀操作時如命中緩存可直接返回客戶端,無需再訪問后端元數據集群和數據集群。支持目錄樹緩存,針對客戶端的路徑讀取請求,能提前并批量的將文件列表加載到XCache目錄樹緩存中,加速客戶端的目錄文件list操作。例如,當 NFS 協議操作訪問過某一文件的數據后,該文件的元數據、數據、文件目錄將會保存到統一語義層的內存緩存中,后續其他協議類的操作需要讀取該文件數據時,可直接命中緩存返回,無需再訪問元數據集群和數據集群,減少訪問路徑,提高數據讀取效率,為不同協議的數據讀取操作提速。

    協議三通帶來的客戶價值

    ● 簡化數據管理

    XGFS 分布式存儲系將提供統一命名空間,支持百 PB 容量,百億文件數。簡化存儲的規劃、配置、運維,運維管理團隊不需要為不同的應用維護各種協議的存儲系統,降低運維工作量。

    ● 加速數據流動

    針對不同的協議應用,提供統一的數據存儲池,多樣性數據就地分析,數據零拷貝,數據分析效率將大幅度提升。

    另外,XGFS 在統一語義層實現了XCACHE緩存加速技術,不同協議使用相同的緩存,將有效提升數據讀處理的性能。

    ● 節省存儲資源

    通過共用硬件資源池,提升存儲資源利用率,同時,避免數據拷貝產生的冗余副本,提高磁盤使用率,實現端到端地節省存儲資源。

    ● 更好的支持信創場景

    XGFS 通過全用戶態網關架構的實現,可以更好的兼容信創場景。

    小結

    在計算應用生態越來越多樣化的今天,對存儲產品的協議互通能力有了越來越高的要求。XGFS作為一款真正實現多協議互通的存儲產品,不同協議之間的語義轉換更加完善,而且支持多協議同時寫入,應用場景更加廣泛。

    XGFS不僅可以幫助客戶應多復雜多變的業務場景,還能通過數據跨協議 “零拷貝” 實現降本增效的目標,從容應對數據爆炸帶來的挑戰。

    未經允許不得轉載:存儲在線 » XGFS支持文件、對象和大數據協議三通,助力企業降本增效
    分享到: 更多 (0)
    97无码免费人妻超级碰碰碰碰
    <form id="hxjhd"><dl id="hxjhd"></dl></form>
    <address id="hxjhd"><listing id="hxjhd"><meter id="hxjhd"></meter></listing></address><noframes id="hxjhd">
    <form id="hxjhd"></form><address id="hxjhd"></address>
    <address id="hxjhd"><listing id="hxjhd"></listing></address>
    
    
      <form id="hxjhd"></form>

      <address id="hxjhd"></address><form id="hxjhd"><nobr id="hxjhd"><progress id="hxjhd"></progress></nobr></form>
      <address id="hxjhd"><nobr id="hxjhd"></nobr></address>

      <noframes id="hxjhd">

      <address id="hxjhd"><listing id="hxjhd"><meter id="hxjhd"></meter></listing></address>
      <address id="hxjhd"></address>