簡述:1、背景在各類存儲介質(zhì)中,機械磁盤由于采用了電機驅(qū)動,故障率最高,平均無故障時間(MTBF)指標(biāo)也最低,因此磁盤的數(shù)據(jù)保護技術(shù)至關(guān)重要。加利福尼亞大學(xué)伯克利分校(UniversityofCalifornia-Berkeley)在1988年,
1、背景
在各種存儲介質(zhì)中,機械磁盤由電機驅(qū)動,故障率最高,平均無故障時間(MTBF)磁盤的數(shù)據(jù)保護技術(shù)也是最低的指標(biāo)。
伯克利,加利福尼亞大學(xué)(UniversityofCalifornia-Berkeley)在1988年,發(fā)表的文章:“ACaseforRedundantArraysofInexpensiveDisks”。文章中提到了RAID并定義了這個詞RAID的5層級。自1989年以來,RAID(獨立磁盤冗余陣列)技術(shù)一直是磁盤系統(tǒng)數(shù)據(jù)保護的標(biāo)準(zhǔn)和最常用的方法。在大多數(shù)用戶眼里,RAID它是一種成熟可靠的解決方案,也被視為數(shù)據(jù)存儲的基本技術(shù)。那些基本的RAID概念多年來從未改變,至今仍很流行,用戶眾多。但實際上,傳統(tǒng)的RAID一些新技術(shù)正在逐漸取代技術(shù)。
2、傳統(tǒng)RAID技術(shù)的主要瓶頸
當(dāng)發(fā)生故障時,根據(jù)用戶使用RAID類型,(一個或多個)故障磁盤上的數(shù)據(jù)將通過驗證值計算或從鏡像盤復(fù)制來重生原始數(shù)據(jù)。
(1)傳統(tǒng)RAID在數(shù)據(jù)重建方面,性能相對較差。過去,由于單塊磁盤容量較小,當(dāng)磁盤出現(xiàn)故障時,大多數(shù)用戶可以接受數(shù)據(jù)重建所需的時間。然而,隨著數(shù)據(jù)量的增加,單塊磁盤容量在許多應(yīng)用環(huán)境中為4TB或者,數(shù)據(jù)重建可能需要十幾個小時甚至幾十個小時來恢復(fù)故障盤中的數(shù)據(jù)。這是一個大問題。重建時間越長,二次損壞的概率越大。一旦發(fā)生二次損壞,很可能導(dǎo)致所有數(shù)據(jù)丟失,無法恢復(fù);
(2)比如當(dāng)RAID組中某塊磁盤出現(xiàn)故障后,在同一個磁盤中RAID組中的其他磁盤將有大量的讀取操作來獲取條帶數(shù)據(jù),然后在故障磁盤上生成數(shù)據(jù),最后寫入熱備磁盤,這是一個完整的數(shù)據(jù)重建過程。讀取操作會導(dǎo)致多個磁盤,寫作操作會導(dǎo)致一個磁盤。很容易發(fā)現(xiàn)熱備盤是寫作操作性能的瓶頸點,同時RAID組中的其他磁盤是讀取操作性能的瓶頸點,傳統(tǒng)的大容量磁盤RAID這是技術(shù)最大的挑戰(zhàn)。
此外,在數(shù)據(jù)重建過程中,上層文件系統(tǒng)的性能也會受到很大影響。并且在應(yīng)用數(shù)據(jù)壓力下重建數(shù)據(jù)I/O和應(yīng)用的I/O交錯導(dǎo)致惡性循環(huán),使數(shù)據(jù)重建和應(yīng)用I/O性能差;
(3)RAID系統(tǒng)需要為故障磁盤記錄一系列相關(guān)信息,包括跟蹤故障磁盤的位置、相關(guān)數(shù)據(jù)、數(shù)據(jù)位置、數(shù)據(jù)生成時間等信息的痕跡。這個時間周期從故障磁盤被拔出的那一刻開始,直到RAID組被修復(fù)(或RAID該組被摧毀)。這是一個漫長而無聊的過程,如果是加密磁盤,則需要復(fù)雜的手動操作。
既然傳統(tǒng)RAID技術(shù)有上述瓶頸,是否使用?SSD硬盤能完全解決嗎?毫無疑問,如果你不關(guān)心成本因素,你肯定可以解決一些問題,但不能完全解決,這源于機制的作用,因為傳統(tǒng)RAID技術(shù)機制已經(jīng)非常固化。混合機制可廣泛應(yīng)用于后期的許多應(yīng)用場景中,如SSD當(dāng)高速硬盤用于存儲熱點數(shù)據(jù)時,需要長期保留的大容量數(shù)據(jù)使用大容量普通硬盤,但仍需要進行數(shù)據(jù)保護。
3、新的技術(shù)
近年來,該行業(yè)出現(xiàn)了許多新技術(shù)。就我個人而言,我認(rèn)為它的主要想法是將數(shù)據(jù)分為多個不能直接讀取的等長數(shù)據(jù)塊,并在每個數(shù)據(jù)塊上添加元數(shù)據(jù)信息。一個完整的數(shù)據(jù)可以通過所有數(shù)據(jù)塊中的一些子集來恢復(fù),也就是說,只要有一些數(shù)據(jù)塊,數(shù)據(jù)就不會丟失。這些數(shù)據(jù)塊可以分布在不同的存儲位置,可以是數(shù)據(jù)中心,甚至可以跨越城市、一個地區(qū),或者在世界上任何其他地方形成一個邏輯資源池。數(shù)據(jù)重建時,數(shù)據(jù)寫入操作不再局限于磁盤,而是在邏輯存儲池中任意布局,重建所需的數(shù)據(jù)塊讀取操作不再局限于一個RAID組中,根本不需要復(fù)制數(shù)據(jù)。面對自然災(zāi)害和技術(shù)錯誤,它具有很強的生存適應(yīng)性,因為只要有一些數(shù)據(jù)塊,完整的原始數(shù)據(jù)就可以恢復(fù)。事實上,即使客戶端、服務(wù)器、存儲單元、磁盤驅(qū)動器或網(wǎng)絡(luò)同時出現(xiàn)多個故障,我們?nèi)匀豢梢詫崟r訪問數(shù)據(jù)。與傳統(tǒng)RAID存儲機制完全不同,可以完全消除和彌補傳統(tǒng)RAID缺乏技術(shù)。
此外,這種機制自然具有數(shù)據(jù)的隱私性,因為每個獨立數(shù)據(jù)塊中包含的信息量不足以揭示原始數(shù)據(jù)集的全貌。為了恢復(fù)完整的數(shù)據(jù),必須有足夠數(shù)量的數(shù)據(jù)塊(可能來自不同的存儲節(jié)點設(shè)備),這是由附加在每個數(shù)據(jù)塊上的元數(shù)據(jù)信息量決定的。附加元數(shù)據(jù)信息越多,恢復(fù)所需的數(shù)據(jù)塊就越少。
當(dāng)然,也許隨著技術(shù)的發(fā)展,會有更好的解決方案,讓我們拭目以待吧!
騰佑科技(www.mubashirfilms.com)成立于2009年,總部位于河南鄭州,是一家集互聯(lián)網(wǎng)基礎(chǔ)設(shè)施及軟硬件于一體化的高新技術(shù)企業(yè),具有IDC/ISP/ICP/云牌照、雙軟等資質(zhì),并擁有多個國家版權(quán)局認(rèn)證。公司自成立以來,一直致力于發(fā)展互聯(lián)網(wǎng)IDC數(shù)據(jù)中心DataCenter、云計算Cloud、大數(shù)據(jù)BigDate、人工智能AI、內(nèi)容加速CDN、互聯(lián)網(wǎng)安全、軟件定制開發(fā)等產(chǎn)品服務(wù)及行業(yè)客戶技術(shù)一體化智能解決方案;2018年成為百度智能云AI河南服務(wù)中心。
售前咨詢熱線:400-996-8756
備案提交:0371-89913068
售后客服:0371-89913000
搜索詞
熱門產(chǎn)品推薦