普東科(kē)技(jì )-科(kē)技(jì )的踐行者

分(fēn)布式統一存儲系統

關注次數:

商(shāng)品類型:硬件産(chǎn)品

上架時間:2020-09-09

産(chǎn)品描述:一、概述UUS是我公(gōng)司自主研發的分(fēn)布式統一存儲,采用(yòng)對稱式架構、基于scale-out的橫向擴展設計,可(kě)以基于通用(yòng)硬件構建出大規模分(fēn)布式存儲集群。UUS采用(yòng)底層硬盤管理(lǐ)和上層資源管理(lǐ)兩層虛拟化管理(lǐ)模式...

咨詢電(diàn)話:010-82917136(周一至周五:9:00-17:30)

一、概述

UUS是我公(gōng)司自主研發的分(fēn)布式統一存儲,采用(yòng)對稱式架構、基于scale-out的橫向擴展設計,可(kě)以基于通用(yòng)硬件構建出大規模分(fēn)布式存儲集群。UUS采用(yòng)底層硬盤管理(lǐ)和上層資源管理(lǐ)兩層虛拟化管理(lǐ)模式,在系統内部把硬盤劃分(fēn)成更小(xiǎo)粒度的數據塊,邏輯磁盤不再是由節點内固定的某些硬盤組成,而是構建在不同設備上不同硬盤中(zhōng)的數據塊之上。與傳統RAID、副本等數據保護技(jì )術各自優點、短闆明顯的技(jì )術特性不同,UUS兼具(jù)各種傳統數據保護技(jì )術的優點,在可(kě)靠性、性能(néng)、空間利用(yòng)率、TCO等各方面均衡。UUS同時提供塊、文(wén)件和對象等多(duō)種數據接口,可(kě)同時适用(yòng)于不同的業務(wù)應用(yòng)場景。UUS數據保護級别靈活,空間利用(yòng)率高,支持存儲系統的快速重構、快速擴容和容量自動均衡,支持大RAID(幾十乃至上百塊盤組成的RAID),系統部署維護簡單。同時UUS作(zuò)為(wèi)海量存儲系統,在系統運維方面也加入了很(hěn)多(duō)特性,更适合雲環境和大規模數據中(zhōng)心部署,為(wèi)用(yòng)戶帶來維護的便利和運維成本的降低。


二、UUS技(jì )術原理(lǐ)

UUS采用(yòng)自主研發的URAID糾删碼數據保護技(jì )術,建立在分(fēn)布式、節點間數據冗餘校驗的基礎上。數據進入系統之後,首先被切分(fēn)成N個數據塊,然後計算出M個冗餘塊,并最終保存在N+M個不同的節點中(zhōng)。


由于同一條帶的數據保存在不同節點中(zhōng),所以UUS不僅能(néng)支持硬盤級的故障,而且能(néng)夠支持節點級的故障,保證數據不丢失。隻要系統中(zhōng)同時故障的節點數不超過M,系統就可(kě)以持續提供服務(wù)。通過數據重構過程,系統可(kě)以恢複出損壞的數據,恢複整系統的數據可(kě)靠性。


另外,UUS系統還提供一種N+M:K的數據保護方式,可(kě)以支持M個硬盤故障或者K個節點故障。這種保護方式在節點數量少于N+M的小(xiǎo)容量系統中(zhōng)非常有(yǒu)效。


分(fēn)布式統一存儲系統(圖1)

UUS原理(lǐ)示意圖


UUS系統能(néng)夠提供更加靈活的數據保護級别:N+M或者N+M:K,不同的N、M和K的值能(néng)夠通過不同的冗餘配比實現不同的系統安(ān)全級别,用(yòng)戶可(kě)以根據業務(wù)需求進行配置。用(yòng)戶甚至可(kě)以針對不同的數據通過不同的冗餘比采用(yòng)不同的安(ān)全級别,這意味着用(yòng)戶可(kě)以靈活多(duō)變地根據自己的實際需求來設置最适合的可(kě)靠性。

産(chǎn)品特點:

全局數據校驗,節點級故障容錯


UUS系統内部把硬盤劃分(fēn)成更小(xiǎo)粒度的數據塊進行全局化統一管理(lǐ),組成URAID的是橫跨不同設備的不同硬盤中(zhōng)的數據塊,而非同一台設備中(zhōng)預先指定的某些硬盤整體(tǐ)。在UUS系統中(zhōng)不但特定數量氛圍内的硬盤故障不影響系統正常運行,而且整機設備故障也依然能(néng)夠保證系統的安(ān)全,提供了跨存儲節點的數據保護能(néng)力。


數據保護靈活,空間利用(yòng)率高


傳統數據保護方式僅能(néng)容許一塊或兩塊硬盤同時失效,UUS在數據保護級别方面更加靈活,可(kě)以容許系統内更多(duō)的硬盤同時故障而不影響在線(xiàn)應用(yòng)。用(yòng)戶不但可(kě)以根據實際需求自行設定,而且可(kě)以根據不同數據設定不同的安(ān)全等級。在提供高可(kě)靠的同時,UUS系統同時實現了高空間利用(yòng)率(見空間利用(yòng)率計算表格),使得在同樣數據量的情況下,實際部署的硬件數量最小(xiǎo)化,大幅降低機房空間、系統功耗、制冷能(néng)耗等需求。


高速重構,系統高可(kě)用(yòng)


硬盤容量已經從幾十GB、幾百GB增長(cháng)到了6TB,這使得傳統RAID的重構延長(cháng)到了幾十個小(xiǎo)時。在重構過程中(zhōng),傳統RAID處于非冗餘的降級狀态,并且此時的業務(wù)和重構雙重壓力導緻硬盤故障率上升,意味着極大的數據丢失風險。

基于底層塊級精(jīng)細化虛拟化統一管理(lǐ)的URAID使數據均勻分(fēn)布在所有(yǒu)硬盤上,重構時把需要重構的數據均勻寫到所有(yǒu)硬盤上,克服了傳統RAID重構時重構數據向單個硬盤(熱備盤)寫入的性能(néng)瓶頸,消除重構熱點,重構速度由以天計變為(wèi)分(fēn)鍾級,降低了整個RAID失效概率,提升了存儲系統的可(kě)靠性,降低數據丢失風險。


故障自修複,系統更可(kě)靠


URAID技(jì )術面向硬盤進行了多(duō)重可(kě)靠性設計,包括:硬盤自動巡檢、故障告警、故障自動修複等多(duō)種可(kě)靠性保障。磁盤巡檢中(zhōng)發現的警告盤(即将故障的硬盤),可(kě)自動進行數據遷移,等到有(yǒu)一定數量的故障盤後,批量進行處理(lǐ)維護。

針對不可(kě)修複的硬盤局部故障,URAID可(kě)以隻針對硬盤的故障數據塊進行重構,進一步縮短重構時間,降低數據丢失風險。


優化IO路徑,性能(néng)出衆


UUS采用(yòng)全内核設計,數據進入UUS存儲集群後不再反複在内核和用(yòng)戶态之間拷貝,直接從内核寫入磁盤,簡化IO路徑,提升存儲效率。UUS還提供自動慢盤檢測功能(néng),對影響集群性能(néng)的磁盤進行離線(xiàn)檢測,該檢測不影響業務(wù)運行。


人性化運維,保證系統持續運行


UUS作(zuò)為(wèi)經常大規模部署在數據中(zhōng)心的海量存儲集群,為(wèi)保證運維的簡便性,降低運維過程可(kě)能(néng)出現的風險提供了很(hěn)多(duō)特性。UUS允許在符合槽位或者型号的規則時自動将磁盤加入存儲池;支持磁盤被誤拔後不會第一時間觸發全局重構,而是給出告警延時重構;設計節點維護狀态,保證節點在計劃内維護時離線(xiàn)不會導緻系統重構或崩潰;允許在系統故障超過冗餘限制時仍能(néng)進行讀寫操作(zuò)等。


靈活易用(yòng),簡化應用(yòng)對接


Scale-out設計,存儲系統性能(néng)和容量可(kě)以随節點數量增長(cháng)達到線(xiàn)性的擴充。全系統使用(yòng)基于x86架構的服務(wù)器,基于自身I/O路徑優化,UUS對計算資源使用(yòng)率極低,使得存儲節點可(kě)以承載更多(duō)類型的業務(wù)。多(duō)數基于Linux的應用(yòng),都可(kě)以方便的嵌入到UUS系統中(zhōng),降低了用(yòng)戶IT系統的硬件需求,簡化了網絡部署,同時,由于應用(yòng)于存儲系統合一,也降低了數據I/O性能(néng)對網絡的依賴。

産(chǎn)品規格:

分(fēn)布式統一存儲系統(圖2)


上一篇:沒有(yǒu)了
下一篇:國(guó)産(chǎn)存儲系統