上海騰閃分布式存儲(chǔ)系統(tǒng)采用全分布式設(shè)計(jì)與先進(jìn)的存儲(chǔ)虛擬化技術(shù)相結(jié)合，由多個(gè)獨(dú)立的x86服務(wù)器作為存儲(chǔ)節(jié)點(diǎn)，實(shí)現(xiàn)統(tǒng)一資源調(diào)度、縱向橫向無(wú)縫擴(kuò)展，以滿足海量數(shù)據(jù)的存儲(chǔ)需求。

技術(shù)路線

1.分布式存儲(chǔ)軟件架構(gòu)

上海騰閃分布式存儲(chǔ)系統(tǒng)主要由存儲(chǔ)層、服務(wù)支撐層、接口層三層架構(gòu)組成，如下圖所示。

上海騰閃分布式存儲(chǔ)支持基于國(guó)產(chǎn)CPU架構(gòu)和X86架構(gòu)的異構(gòu)部署，支持基于固態(tài)硬盤和機(jī)械硬盤創(chuàng)建存儲(chǔ)池，支持異構(gòu)存儲(chǔ)的納管與優(yōu)化。

2.分布式存儲(chǔ)技術(shù)特點(diǎn)

上海騰閃分布式存儲(chǔ)系統(tǒng)通過(guò)納管大量的存儲(chǔ)物理資源，構(gòu)成一個(gè)或者多個(gè)分布式的虛擬化存儲(chǔ)池，可提供高性能、高穩(wěn)定、高安全的塊存儲(chǔ)、文件存儲(chǔ)、對(duì)象存儲(chǔ)等統(tǒng)一存儲(chǔ)服務(wù)，并通過(guò)接口層為前端應(yīng)用提供多樣化的存儲(chǔ)協(xié)議對(duì)接。
上海騰閃分布式存儲(chǔ)系統(tǒng)采用全分布式冗余總體架構(gòu)，運(yùn)用先進(jìn)的存儲(chǔ)虛擬化技術(shù)，對(duì)整個(gè)系統(tǒng)存儲(chǔ)資源實(shí)現(xiàn)統(tǒng)一調(diào)度和管理，可以無(wú)縫、無(wú)感地平衡擴(kuò)容至上千個(gè)存儲(chǔ)節(jié)點(diǎn)，支持PB級(jí)別，甚至數(shù)百PB級(jí)別海量數(shù)據(jù)的高速存取。上海騰閃分布式存儲(chǔ)提供多種存儲(chǔ)服務(wù)，包含F(xiàn)C、iSCSI、塊、對(duì)象、文件存儲(chǔ)等，對(duì)傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)、非結(jié)構(gòu)化海量數(shù)據(jù)、云計(jì)算、大數(shù)據(jù)等不同應(yīng)用場(chǎng)景提供統(tǒng)一存儲(chǔ)支撐。

3.分布式存儲(chǔ)系統(tǒng)技術(shù)優(yōu)勢(shì)

a．業(yè)務(wù)更敏捷、資源交付更彈性
在傳統(tǒng)的IT架構(gòu)下，為滿足業(yè)務(wù)系統(tǒng)的資源需求，用戶需要獨(dú)立采購(gòu)軟件和硬件設(shè)備；一般需要經(jīng)歷：預(yù)算-測(cè)試-招標(biāo)-采購(gòu)-部署-應(yīng)用上線等流程，整個(gè)過(guò)程復(fù)雜、耗時(shí)，很難達(dá)到業(yè)務(wù)快速上線的目標(biāo)。由于IT基礎(chǔ)架構(gòu)資源往往是基于某個(gè)業(yè)務(wù)系統(tǒng)上線而建立，與業(yè)務(wù)系統(tǒng)有比較強(qiáng)的耦合關(guān)系，資源之間無(wú)法流動(dòng)，容易造成信息孤島以及資源利用率較低等問(wèn)題。此外，基于資源建設(shè)缺乏通盤的考慮，導(dǎo)致運(yùn)維管理與擴(kuò)展成本比較高。
上海騰閃分布式存儲(chǔ)的顯著優(yōu)勢(shì)之一就是業(yè)務(wù)更敏捷、資源交付更彈性。用戶可通過(guò)Openstack、VMware虛擬化平臺(tái)，K8s容器，或物理機(jī)，迅捷地上線業(yè)務(wù)，提高資源利用率。通過(guò)Web管理界面，將集群所有CPU、內(nèi)存、網(wǎng)絡(luò)、及存儲(chǔ)等資源進(jìn)行統(tǒng)一納管，建設(shè)統(tǒng)一資源池，實(shí)現(xiàn)更靈活的資源劃分與交付；上述資源具備“彈性伸縮”特性，可對(duì)資源進(jìn)行生命周期管理，既可迅速擴(kuò)展資源規(guī)模，也可及時(shí)回收“閑置”資源進(jìn)行重分配。

b. 性能突出的統(tǒng)一數(shù)據(jù)存儲(chǔ)平臺(tái)
上海騰閃分布式存儲(chǔ)采用分布式兩級(jí)緩存加速技術(shù)，實(shí)現(xiàn)性能加速。一級(jí)緩存為延遲低的DRAM，二級(jí)緩存為大容量固體硬盤，最熱的數(shù)據(jù)保存在一級(jí)緩存中，次熱的數(shù)據(jù)保存在二級(jí)緩存中。采用自適應(yīng)算法管理緩存中的數(shù)據(jù)，能自動(dòng)適應(yīng)復(fù)雜業(yè)務(wù)工作流的變化，智能識(shí)別業(yè)務(wù)中最近使用的數(shù)據(jù)和頻繁使用的數(shù)據(jù)，將其保存在緩存中。每個(gè)節(jié)點(diǎn)可單獨(dú)增加一級(jí)緩存容量，和二級(jí)緩存容量，也可通過(guò)增加節(jié)點(diǎn)來(lái)增加總緩存容量。上海騰閃分布式存儲(chǔ)可管理的總緩存容量，可高達(dá)數(shù)百TB，是名副其實(shí)的分布式存儲(chǔ)“緩存之王”，能滿足用戶對(duì)存儲(chǔ)性能彈性、可擴(kuò)展的需求。

c. 加密存儲(chǔ)技術(shù)
從安全的角度來(lái)看，對(duì)敏感數(shù)據(jù)進(jìn)行加密以保護(hù)其免受窺探和黑客的攻擊是很重要的。
上海騰閃分布式存儲(chǔ)支持AES256加密、國(guó)密SM4 加密，支持指定秘鑰加密。我們采用的存儲(chǔ)加密技術(shù)是一種基于Device Mapper機(jī)制的加密方案；將磁盤格式化成特定分區(qū)，映射時(shí)需要輸入解密密碼方可掛載。簡(jiǎn)言之，將OSD的緩存盤和數(shù)據(jù)盤都進(jìn)行加密，建立一種設(shè)備的映射關(guān)系，兩個(gè)磁盤設(shè)備被加密映射成另外兩個(gè)設(shè)備，然后對(duì)這兩個(gè)新的設(shè)備進(jìn)行操作，這樣就不會(huì)使我們的原設(shè)備直接被使用，從而達(dá)到安全的效果；密鑰可隨機(jī)生成，也可由用戶指定，保存至特定的數(shù)據(jù)庫(kù)，交互時(shí)實(shí)時(shí)獲取解密；保證了磁盤的絕對(duì)安全性。
具體實(shí)現(xiàn)方式是：上海騰閃將磁盤加密的秘鑰存到MON中，在新建OSD時(shí)，通過(guò)向MON請(qǐng)求秘鑰，加密磁盤；因?yàn)樯虾ｒv閃分布式存儲(chǔ)架構(gòu)存在多活的MON，保證OSD啟動(dòng)時(shí)，能準(zhǔn)確獲取到秘鑰。因?yàn)槊罔€無(wú)需一直讀取，只在OSD新建和重啟的時(shí)候才需要，上海騰閃每次新建OSD同時(shí)創(chuàng)建一個(gè)lock用戶，該用戶只可以獲取當(dāng)前OSD秘鑰。
MON負(fù)責(zé)維護(hù)各種map之外，保存了每個(gè)OSD加密的秘鑰，如果用戶沒(méi)有指定秘鑰，系統(tǒng)會(huì)隨機(jī)生成128位字符作為秘鑰，對(duì)OSD進(jìn)行加密。

d. 數(shù)據(jù)壓縮與去重技術(shù)
分布式OSD存儲(chǔ)服務(wù)由分布在各個(gè)存儲(chǔ)節(jié)點(diǎn)上的OSD構(gòu)成，通過(guò)分布式CRUSH算法，通過(guò)高可靠、高擴(kuò)展、易管理存儲(chǔ)服務(wù)。在每個(gè)存儲(chǔ)節(jié)點(diǎn)上，通常會(huì)有多個(gè)OSD存在，數(shù)量通常為10到60個(gè)之間。上海騰閃在每個(gè)存儲(chǔ)節(jié)點(diǎn)內(nèi)，對(duì)該節(jié)點(diǎn)上的OSD數(shù)據(jù)進(jìn)行統(tǒng)一管理，提供數(shù)據(jù)壓縮與去重服務(wù)，提升存儲(chǔ)效率。
上海騰閃分布式存儲(chǔ)支持?jǐn)?shù)據(jù)在線壓縮，可支持LZJB、LZ4、ZLE、和GZIP等4種壓縮算法，虛擬化場(chǎng)景下，壓縮比可達(dá)到2倍以上。
另一方面，上海騰閃分布式存儲(chǔ)可在線檢測(cè)該節(jié)點(diǎn)上的所有OSD的數(shù)據(jù)，如果發(fā)現(xiàn)有相同的數(shù)據(jù)塊，則在該節(jié)點(diǎn)上僅保留一個(gè)原始的數(shù)據(jù)拷貝，相同數(shù)據(jù)塊通過(guò)指針指向該數(shù)據(jù)塊，而無(wú)需重復(fù)保存。在虛擬化運(yùn)用場(chǎng)景中，大量的虛擬機(jī)具有很多相同的數(shù)據(jù)塊，數(shù)據(jù)去重可提升存儲(chǔ)使用效率3倍到10倍。數(shù)據(jù)去重服務(wù)包含兩個(gè)重要模塊，一個(gè)是數(shù)據(jù)去重Index，用與管理數(shù)據(jù)去重的元數(shù)據(jù)服務(wù)，提供各個(gè)數(shù)據(jù)塊的Fingerprint和快速查詢，通過(guò)通過(guò)計(jì)算各個(gè)數(shù)據(jù)塊的Fingerprint，來(lái)快速檢測(cè)該數(shù)據(jù)塊是否已經(jīng)存在；如果不存在，則需要寫入該數(shù)據(jù)塊；否則，只需記錄一個(gè)指針地址即可。數(shù)據(jù)去重Data用于保存唯一的數(shù)據(jù)塊，即去重后的數(shù)據(jù)。

e. 故障隔離與自動(dòng)化運(yùn)維能力強(qiáng)
在傳統(tǒng)架構(gòu)下，隨著IT規(guī)模增大，數(shù)據(jù)中心將引入更多不同的設(shè)備以及技術(shù)，這無(wú)疑增大了運(yùn)維的復(fù)雜性，使得企業(yè)的 IT 人員經(jīng)常上演“消防員”角色，即便是這樣也難以達(dá)到“不間斷”運(yùn)行的目標(biāo)。功能強(qiáng)大的Web管理頁(yè)面具有專門的自動(dòng)化故障診斷模塊，通過(guò)圖形可視化收到實(shí)現(xiàn)監(jiān)控各種運(yùn)行狀態(tài)，包括CPU、內(nèi)存、網(wǎng)絡(luò)、IOPS與帶寬指標(biāo)，同時(shí)具備對(duì)磁盤監(jiān)控狀態(tài)、網(wǎng)絡(luò)、電源、主板等硬件的故障監(jiān)控、報(bào)警、及自動(dòng)化診斷功能，使得整個(gè)系統(tǒng)的運(yùn)維與管理變得簡(jiǎn)潔直觀。

架構(gòu)圖

合作伙伴