本發(fā)明涉及數(shù)據(jù)存儲(chǔ)，具體是一種用于極端場(chǎng)景的抗毀存儲(chǔ)系統(tǒng)及方法。
背景技術(shù)：
1、傳統(tǒng)存儲(chǔ)領(lǐng)域中的異地容災(zāi)技術(shù)方案通常采用同城雙活與異地同步，在此基礎(chǔ)上演化為兩地三中心或三地五中心等，能解決常規(guī)的自然損壞的場(chǎng)景，但對(duì)于全方位的惡意攻擊不具備抵抗能力。
2、現(xiàn)有技術(shù)的缺陷，主要有以下幾個(gè)方面：
3、（1）容災(zāi)方面，少量節(jié)點(diǎn)的中心化存儲(chǔ)系統(tǒng)無(wú)法面對(duì)極端毀滅的場(chǎng)景，如果引入大量節(jié)點(diǎn)，因?yàn)閏ap定理描述的不可能原則，又會(huì)帶來(lái)管理成本的急劇攀升及性能的急劇下降。
4、（2）數(shù)據(jù)安全方面，傳統(tǒng)的存儲(chǔ)系統(tǒng)底層不包含數(shù)據(jù)安全機(jī)制，是在應(yīng)用層、文件系統(tǒng)層面、網(wǎng)絡(luò)層面或者物理層面進(jìn)行安全處理，很難排除存儲(chǔ)擁有者（非數(shù)據(jù)擁有者）篡改及獲取用戶數(shù)據(jù)。
5、（3）性能方面，傳統(tǒng)的存儲(chǔ)可能會(huì)因?yàn)榫W(wǎng)絡(luò)抖動(dòng)、資源競(jìng)爭(zhēng)、負(fù)荷急劇變化、軟硬件故障等導(dǎo)致響應(yīng)時(shí)間延遲的長(zhǎng)尾問(wèn)題；同時(shí)異地間的恢復(fù)指標(biāo)rto、rpo嚴(yán)重依賴于部署環(huán)境及硬件成本，極端場(chǎng)景下無(wú)法滿足需求。
技術(shù)實(shí)現(xiàn)思路
1、為了解決上述問(wèn)題，本發(fā)明提出了一種能夠?qū)崿F(xiàn)極端場(chǎng)景下的抗毀的存儲(chǔ)系統(tǒng)及方法，利用海量節(jié)點(diǎn)的地理分散、隨機(jī)分布的特性，將數(shù)據(jù)節(jié)點(diǎn)、邊緣節(jié)點(diǎn)、超級(jí)節(jié)點(diǎn)以及中繼服務(wù)器共同組成半去中心化系統(tǒng)，支持在損毀一半節(jié)點(diǎn)的場(chǎng)景下依然可以正常工作并且沒(méi)有明顯的性能差異。
2、為了達(dá)到上述目的，本發(fā)明是通過(guò)以下技術(shù)方案來(lái)實(shí)現(xiàn)的：
3、本發(fā)明的一種用于極端場(chǎng)景的抗毀存儲(chǔ)系統(tǒng)，包括：
4、超級(jí)節(jié)點(diǎn)集群，用于跨地域存儲(chǔ)分庫(kù)分表后的元數(shù)據(jù)，管理數(shù)據(jù)節(jié)點(diǎn)、邊緣節(jié)點(diǎn)、用戶及密鑰，并具有后臺(tái)同步服務(wù)；
5、數(shù)據(jù)節(jié)點(diǎn)集群，用于跨地域存儲(chǔ)加密的用戶數(shù)據(jù)，提供上傳下載功能，接收超級(jí)節(jié)點(diǎn)的任務(wù)調(diào)度；
6、邊緣節(jié)點(diǎn)，用于在用戶端上運(yùn)行，對(duì)外提供用戶、密鑰管理及s3后端服務(wù)的接口，并本地保存用戶的元數(shù)據(jù)；
7、中繼服務(wù)器，用于在超級(jí)節(jié)點(diǎn)、數(shù)據(jù)節(jié)點(diǎn)和邊緣節(jié)點(diǎn)無(wú)法直接進(jìn)行通訊的情況下，根據(jù)邊緣節(jié)點(diǎn)的p2p連接請(qǐng)求，建立超級(jí)節(jié)點(diǎn)、數(shù)據(jù)節(jié)點(diǎn)和邊緣節(jié)點(diǎn)間的p2p通訊；
8、本發(fā)明的進(jìn)一步改進(jìn)在于：超級(jí)節(jié)點(diǎn)、數(shù)據(jù)節(jié)點(diǎn)和邊緣節(jié)點(diǎn)之間采用grpc、restapi進(jìn)行直接通訊和數(shù)據(jù)傳輸。
9、本發(fā)明的進(jìn)一步改進(jìn)在于：元數(shù)據(jù)以元數(shù)據(jù)庫(kù)的形式存儲(chǔ)于超級(jí)節(jié)點(diǎn)上，元數(shù)據(jù)庫(kù)分為節(jié)點(diǎn)子庫(kù)、用戶子庫(kù)、全局元數(shù)據(jù)子庫(kù)、用戶元數(shù)據(jù)子庫(kù)，其中：
10、節(jié)點(diǎn)子庫(kù)用于存儲(chǔ)包括超級(jí)節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)的id、公鑰列表、狀態(tài)；
11、用戶子庫(kù)用于存儲(chǔ)包括用戶的id、密鑰密文、狀態(tài)；
12、全局元數(shù)據(jù)子庫(kù)用于存儲(chǔ)用來(lái)描述加密后的存儲(chǔ)對(duì)象信息，包括文件對(duì)象、數(shù)據(jù)塊、數(shù)據(jù)分片的信息；
13、用戶元數(shù)據(jù)子庫(kù)用于存儲(chǔ)包括描述文件的名稱、日期、大小、權(quán)限、隨機(jī)密鑰的密文、分片信息，包含三張表：存儲(chǔ)桶、文件、文件對(duì)象；
14、節(jié)點(diǎn)子庫(kù)、用戶子庫(kù)均為獨(dú)立子庫(kù)，存儲(chǔ)于所有超級(jí)節(jié)點(diǎn)上，并在超級(jí)節(jié)點(diǎn)運(yùn)行時(shí)進(jìn)行后臺(tái)同步；
15、全局元數(shù)據(jù)子庫(kù)根據(jù)與超級(jí)節(jié)點(diǎn)對(duì)應(yīng)的虛擬超級(jí)節(jié)點(diǎn)的id進(jìn)行分表；
16、用戶元數(shù)據(jù)子庫(kù)根據(jù)與超級(jí)節(jié)點(diǎn)對(duì)應(yīng)的虛擬超級(jí)節(jié)點(diǎn)的id進(jìn)行分庫(kù)。
17、本發(fā)明的進(jìn)一步改進(jìn)在于：每個(gè)超級(jí)節(jié)點(diǎn)由位于本地的主從系統(tǒng)的集群構(gòu)成。
18、本發(fā)明的進(jìn)一步改進(jìn)在于：任務(wù)調(diào)度包括數(shù)據(jù)重建任務(wù)，數(shù)據(jù)節(jié)點(diǎn)定時(shí)向超級(jí)節(jié)點(diǎn)發(fā)送狀態(tài)，超時(shí)未向超級(jí)節(jié)點(diǎn)發(fā)送狀態(tài)的數(shù)據(jù)節(jié)點(diǎn)被標(biāo)記為警告狀態(tài)，當(dāng)警告狀態(tài)的數(shù)據(jù)節(jié)點(diǎn)達(dá)到設(shè)定閾值時(shí)，則觸發(fā)數(shù)據(jù)重建任務(wù)，當(dāng)數(shù)據(jù)重建任務(wù)開始時(shí)，對(duì)應(yīng)數(shù)據(jù)節(jié)點(diǎn)被標(biāo)記為損毀狀態(tài)。
19、本發(fā)明的進(jìn)一步改進(jìn)在于：用戶數(shù)據(jù)在邊緣節(jié)點(diǎn)上經(jīng)過(guò)壓縮、加密、分片、ulrc編碼后分散存儲(chǔ)于數(shù)據(jù)節(jié)點(diǎn)上。
20、本發(fā)明的一種用于極端場(chǎng)景的抗毀存儲(chǔ)方法，包括：
21、邊緣節(jié)點(diǎn)對(duì)用戶數(shù)據(jù)進(jìn)行分片，經(jīng)過(guò)糾刪碼計(jì)算出校驗(yàn)分片后，分散保存到跨地區(qū)的數(shù)據(jù)節(jié)點(diǎn)上；
22、采用讀寫分離的多活架構(gòu)，將元數(shù)據(jù)以元數(shù)據(jù)庫(kù)的形式分散保存在跨地區(qū)的超級(jí)節(jié)點(diǎn)上，邊緣節(jié)點(diǎn)在本地保存自身的元數(shù)據(jù)作為快速索引；
23、超級(jí)節(jié)點(diǎn)對(duì)數(shù)據(jù)節(jié)點(diǎn)和邊緣節(jié)點(diǎn)進(jìn)行管理，進(jìn)行任務(wù)調(diào)度，包括數(shù)據(jù)重建。
24、本發(fā)明的進(jìn)一步改進(jìn)在于：用戶數(shù)據(jù)的存儲(chǔ)具體包括：
25、在邊緣節(jié)點(diǎn)上計(jì)算文件內(nèi)容的哈希值，向?qū)?yīng)的超級(jí)節(jié)點(diǎn)發(fā)送查看請(qǐng)求，查看是否已經(jīng)存在對(duì)應(yīng)哈希值的文件，若已存在，則進(jìn)行文件去重；
26、壓縮用戶數(shù)據(jù)并切分成若干個(gè)數(shù)據(jù)塊，依次計(jì)算數(shù)據(jù)塊的哈希值以及重刪密鑰ddk，向超級(jí)節(jié)點(diǎn)發(fā)送判斷請(qǐng)求，判斷是否存在重復(fù)的數(shù)據(jù)塊，若存在，則去重，若不存在，則生成隨機(jī)密鑰dek，利用隨機(jī)密鑰dek對(duì)數(shù)據(jù)塊進(jìn)行加密；
27、對(duì)加密后的數(shù)據(jù)塊進(jìn)行分片，并利用ulrc編碼計(jì)算出校驗(yàn)分片；
28、將數(shù)據(jù)塊分片和對(duì)應(yīng)的校驗(yàn)分片分散存儲(chǔ)于對(duì)應(yīng)的數(shù)據(jù)節(jié)點(diǎn)中。
29、本發(fā)明的有益效果是：本發(fā)明具有以下優(yōu)點(diǎn)：
30、1、極端抗毀：在一半數(shù)量的數(shù)據(jù)節(jié)點(diǎn)被損毀的情況下，系統(tǒng)依然能正常工作，不丟失數(shù)據(jù)；
31、2、數(shù)據(jù)防篡改：本發(fā)明利用用戶數(shù)據(jù)存儲(chǔ)的特性構(gòu)造具備worm（一次寫入，多次讀?。┬再|(zhì)的數(shù)據(jù)庫(kù)，有效防止被篡改；
32、3、空間利用率高：底層存儲(chǔ)采用先進(jìn)的糾刪碼技術(shù)，實(shí)現(xiàn)密文重刪，和傳統(tǒng)副本方式相比，存儲(chǔ)資源利用率高；
33、4、數(shù)據(jù)防泄露：高安全加密機(jī)制，整個(gè)存儲(chǔ)網(wǎng)絡(luò)沒(méi)有明文數(shù)據(jù)，重要數(shù)據(jù)無(wú)泄露風(fēng)險(xiǎn)，隱私保護(hù)能力強(qiáng)；
34、5、擴(kuò)展性強(qiáng)：存儲(chǔ)擴(kuò)展理論沒(méi)有限制且不影響性能，不會(huì)因?yàn)榇鎯?chǔ)規(guī)模的擴(kuò)大導(dǎo)致管理成本急劇增加。
1.一種用于極端場(chǎng)景的抗毀存儲(chǔ)系統(tǒng)，其特征在于：包括：
2.根據(jù)權(quán)利要求1所述的一種用于極端場(chǎng)景的抗毀存儲(chǔ)系統(tǒng)，其特征在于：超級(jí)節(jié)點(diǎn)、數(shù)據(jù)節(jié)點(diǎn)和邊緣節(jié)點(diǎn)之間采用grpc、rest?api進(jìn)行直接通訊和數(shù)據(jù)傳輸。
3.根據(jù)權(quán)利要求1所述的一種用于極端場(chǎng)景的抗毀存儲(chǔ)系統(tǒng)，其特征在于：元數(shù)據(jù)以元數(shù)據(jù)庫(kù)的形式存儲(chǔ)于超級(jí)節(jié)點(diǎn)上，元數(shù)據(jù)庫(kù)分為節(jié)點(diǎn)子庫(kù)、用戶子庫(kù)、全局元數(shù)據(jù)子庫(kù)、用戶元數(shù)據(jù)子庫(kù)，其中：
4.根據(jù)權(quán)利要求3所述的一種用于極端場(chǎng)景的抗毀存儲(chǔ)系統(tǒng)，其特征在于：每個(gè)超級(jí)節(jié)點(diǎn)由位于本地的主從系統(tǒng)的集群構(gòu)成。
5.根據(jù)權(quán)利要求1所述的一種用于極端場(chǎng)景的抗毀存儲(chǔ)系統(tǒng)，其特征在于：任務(wù)調(diào)度包括數(shù)據(jù)重建任務(wù)，數(shù)據(jù)節(jié)點(diǎn)定時(shí)向超級(jí)節(jié)點(diǎn)發(fā)送狀態(tài)，超時(shí)未向超級(jí)節(jié)點(diǎn)發(fā)送狀態(tài)的數(shù)據(jù)節(jié)點(diǎn)被標(biāo)記為警告狀態(tài)，當(dāng)警告狀態(tài)的數(shù)據(jù)節(jié)點(diǎn)達(dá)到設(shè)定閾值時(shí)，則觸發(fā)數(shù)據(jù)重建任務(wù)，當(dāng)數(shù)據(jù)重建任務(wù)開始時(shí)，對(duì)應(yīng)數(shù)據(jù)節(jié)點(diǎn)被標(biāo)記為損毀狀態(tài)。
6.根據(jù)權(quán)利要求1所述的一種用于極端場(chǎng)景的抗毀存儲(chǔ)系統(tǒng)，其特征在于：用戶數(shù)據(jù)在邊緣節(jié)點(diǎn)上經(jīng)過(guò)壓縮、加密、分片、ulrc編碼后分散存儲(chǔ)于數(shù)據(jù)節(jié)點(diǎn)上。
7.一種基于權(quán)利要求1至6任意一項(xiàng)所述系統(tǒng)的用于極端場(chǎng)景的抗毀存儲(chǔ)方法，其特征在于：包括：
8.根據(jù)權(quán)利要求7所述的用于極端場(chǎng)景的抗毀存儲(chǔ)方法，其特征在于：用戶數(shù)據(jù)的存儲(chǔ)具體包括：