重復(fù)數(shù)據(jù)刪除 釋放企業(yè)備份資源

隨著數(shù)據(jù)的重要性深入人心，數(shù)據(jù)備份成為企業(yè)營(yíng)運(yùn)發(fā)展的“必需品”，大多數(shù)企業(yè)都會(huì)通過(guò)定期備份來(lái)預(yù)防意外宕機(jī)、數(shù)據(jù)受損等“天災(zāi)人禍”。但數(shù)據(jù)存儲(chǔ)規(guī)模每12到18個(gè)月就會(huì)翻一番，這就造成了虛擬服務(wù)器的占地空間、虛擬機(jī)密度與吞吐量的持續(xù)增長(zhǎng)。

因此，數(shù)據(jù)保護(hù)基礎(chǔ)設(shè)施的花費(fèi)、性能和效率成為了每個(gè)企業(yè)所關(guān)心的問(wèn)題。正是因?yàn)閭浞莺突謴?fù)已經(jīng)成為了企業(yè)的基礎(chǔ)措施，它的數(shù)據(jù)量就更值得重視。數(shù)據(jù)量越大，數(shù)據(jù)保護(hù)處理所花費(fèi)的時(shí)間和資源就越多。

研究表明，如果備份中僅傳輸和存儲(chǔ)唯一數(shù)據(jù)，則企業(yè)最多能夠?qū)⑵浯鎯?chǔ)容量和網(wǎng)絡(luò)需求降低50倍。如果同一數(shù)據(jù)多次存儲(chǔ)和傳輸?shù)酵淮鎯?chǔ)設(shè)備，就是對(duì)時(shí)間和資源的浪費(fèi)，而人工去查驗(yàn)這些重復(fù)數(shù)據(jù)將耗費(fèi)大量的時(shí)間和人力。基于這種需求，數(shù)據(jù)備份保護(hù)過(guò)程中的重復(fù)數(shù)據(jù)刪除技術(shù)應(yīng)運(yùn)而生。

什么是重復(fù)數(shù)據(jù)刪除？

重復(fù)數(shù)據(jù)刪除（data deduplication）是一種通過(guò)檢測(cè)數(shù)據(jù)重復(fù)并將同一數(shù)據(jù)僅存儲(chǔ)一次來(lái)最大程度地減少存儲(chǔ)空間的技術(shù)。本質(zhì)上講，重復(fù)數(shù)據(jù)刪除就是消除數(shù)據(jù)集中的非唯一數(shù)據(jù)段。從這個(gè)定義來(lái)看，重復(fù)數(shù)據(jù)刪除似乎與壓縮功能并無(wú)二致。不過(guò)，它們真正區(qū)別在于，重復(fù)數(shù)據(jù)刪除還可以縮減歷史數(shù)據(jù)的大小，從而節(jié)省大量存儲(chǔ)成本，并防止未來(lái)從多個(gè)來(lái)源復(fù)制類似數(shù)據(jù)。

重復(fù)數(shù)據(jù)刪除的邏輯

重復(fù)數(shù)據(jù)刪除可優(yōu)化冗余，而不會(huì)損壞數(shù)據(jù)保真度或完整性。啟用重復(fù)數(shù)據(jù)刪除后，它可以對(duì)數(shù)據(jù)進(jìn)行分段，對(duì)照之前已寫入的數(shù)據(jù)矩陣進(jìn)行檢查。最終的結(jié)果是，它保證發(fā)送到存儲(chǔ)的數(shù)據(jù)段都是獨(dú)一無(wú)二的，而重復(fù)的部分則引用類似數(shù)據(jù)段的唯一實(shí)例。

除此之外，重復(fù)數(shù)據(jù)刪除還能夠在文件級(jí)、子文件級(jí)（文件片段）或塊級(jí)運(yùn)行，通常可以與備份解決方案支持的所有操作系統(tǒng)一起使用。

重復(fù)數(shù)據(jù)刪除的工作原理

簡(jiǎn)而言之，重復(fù)數(shù)據(jù)刪除首先會(huì)將待刪除重復(fù)內(nèi)容的數(shù)據(jù)集分割成數(shù)據(jù)塊。一個(gè)數(shù)據(jù)塊包含一個(gè)或多個(gè)連續(xù)的數(shù)據(jù)片段。一旦流程開始創(chuàng)建數(shù)據(jù)塊，它就會(huì)將數(shù)據(jù)塊與重復(fù)數(shù)據(jù)刪除系統(tǒng)之前已經(jīng)創(chuàng)建和發(fā)現(xiàn)的全部數(shù)據(jù)塊進(jìn)行對(duì)比。

系統(tǒng)將會(huì)通過(guò)運(yùn)行確定性加密哈希（Hash）算法來(lái)比較各個(gè)數(shù)據(jù)塊。如果兩個(gè)不同數(shù)據(jù)塊的哈希相匹配，則系統(tǒng)會(huì)認(rèn)為它們完全一致，因?yàn)槟呐率亲罴?xì)微的更改，數(shù)據(jù)塊的哈希也會(huì)發(fā)生更改。

重復(fù)數(shù)據(jù)刪除流程可消除重復(fù)的數(shù)據(jù)塊，僅存儲(chǔ)獨(dú)一無(wú)二的數(shù)據(jù)塊。它依靠指紋 — 數(shù)據(jù)塊獨(dú)特的數(shù)字化簽名來(lái)識(shí)別數(shù)據(jù)塊。因此，內(nèi)聯(lián)重復(fù)數(shù)據(jù)刪除會(huì)在系統(tǒng)寫入數(shù)據(jù)（內(nèi)存數(shù)據(jù)結(jié)構(gòu)）時(shí)，檢查傳入的數(shù)據(jù)塊，為每個(gè)數(shù)據(jù)塊制定一個(gè)指紋，并存儲(chǔ)在哈希存儲(chǔ)中。

計(jì)算指紋后，該流程在哈希存儲(chǔ)中進(jìn)行查詢。然后檢查數(shù)據(jù)塊是否與緩存中的指紋（供體數(shù)據(jù)塊）有重復(fù)。如果在哈希存儲(chǔ)中找到匹配項(xiàng)，則會(huì)出現(xiàn)如下兩種情況：

如果存在匹配，它會(huì)將新的數(shù)據(jù)塊（接收數(shù)據(jù)塊）和供體數(shù)據(jù)塊進(jìn)行比較，這類似于一種驗(yàn)證。系統(tǒng)會(huì)在兩個(gè)數(shù)據(jù)塊間驗(yàn)證數(shù)據(jù)，但不會(huì)將接收數(shù)據(jù)塊寫入磁盤。然后更新元數(shù)據(jù)以跟蹤相同部分的細(xì)節(jié)。

如果緩存中沒(méi)有供體數(shù)據(jù)塊，則系統(tǒng)會(huì)預(yù)先從磁盤中提取，然后將其與緩存中的接收數(shù)據(jù)塊進(jìn)行逐個(gè)字節(jié)的比較。如果完全匹配，則系統(tǒng)會(huì)將接收數(shù)據(jù)塊標(biāo)記為重復(fù)，不寫入磁盤，但會(huì)更新元數(shù)據(jù)以跟蹤相同部分的細(xì)節(jié)。

后臺(tái)復(fù)制引擎的工作原理基本相同。它以批量方式搜索所有數(shù)據(jù)塊，然后比較指紋，并進(jìn)行逐個(gè)字節(jié)的比較，消除誤報(bào)，刪除重復(fù)內(nèi)容。該流程不會(huì)丟失任何數(shù)據(jù)。

鴻翼備份重復(fù)數(shù)據(jù)刪除技術(shù)

鴻翼備份的重復(fù)數(shù)據(jù)刪除技術(shù)能夠在備份過(guò)程中識(shí)別并消除重復(fù)的數(shù)據(jù)塊，對(duì)Windows、Linux等系統(tǒng)中的所有數(shù)據(jù)類型實(shí)現(xiàn)重復(fù)數(shù)據(jù)刪除，從而減少所需的備份存儲(chǔ)空間。采用源端去重技術(shù)，同時(shí)極大程度地節(jié)省數(shù)據(jù)傳輸帶寬和傳輸時(shí)間。

鴻翼內(nèi)容保護(hù)重刪方案的處理流程

同時(shí)，鴻翼備份能夠保障即使在長(zhǎng)距離或網(wǎng)絡(luò)帶寬很低的情況下，遠(yuǎn)程站點(diǎn)的備份文件在經(jīng)過(guò)去重和壓縮后，也能被高效地傳輸。以往遠(yuǎn)程分支機(jī)構(gòu)的備份需要數(shù)小時(shí)，通過(guò)充分利用中央備份系統(tǒng)的架構(gòu)，如今已經(jīng)能夠縮短至幾分鐘。

隨著業(yè)務(wù)的擴(kuò)張，每天都有海量數(shù)據(jù)等待著企業(yè)的管理和利用。只有合理地對(duì)企業(yè)內(nèi)的數(shù)據(jù)進(jìn)行管理，做好備份容災(zāi)，才能保障企業(yè)運(yùn)行的長(zhǎng)治久安。鴻翼備份的重復(fù)數(shù)據(jù)刪除能力能夠支持企業(yè)以自動(dòng)、高效的方式處理大量數(shù)據(jù)，保證數(shù)據(jù)安全與迅速恢復(fù)，助力企業(yè)降本增效。