一種混合云存儲數據遷移方法及系統與流程

本發明涉及云存儲技術，特別涉及一種混合云存儲數據遷移方法及系統。

背景技術：

近年來，隨著云存儲技術的不斷發展和普及，企業或者個人都開始利用云存儲進行數據的存儲。

目前的云存儲分為三種模式：公有云存儲、私有云存儲以及混合云存儲。公有云存儲一般由第三方存儲空間提供商進行數據存儲和管理，因此維護成本低，但是存儲數據的保密性低，而且數據訪問效率低。私有云存儲上的數據是完全可控的，數據訪問效率高，保密性良好，但是維護的成本很大。

混合云存儲則是將公有云存儲和私有云存儲進行結合后的一種云存儲方式，囊括了以上兩種云存儲的優點，也就是說使用混合云存儲可以滿足大量數據存儲的需求，降低用戶存儲成本，還可以保障數據存儲的安全性。

但是混合存儲也面臨一個極大的缺點，就是存儲的效率不高。由于混合存儲的公有云和私有云端存儲數據時沒有很好的進行規劃，導致用戶頻繁訪問的數據有可能存儲在公有云端，導致訪問效率低，而用戶幾乎不訪問的數據有可能存儲在私有云端，導致私有云端的存儲空間利用率低，總體上導致混合云存儲的數據訪問效率低以及存儲空間利用率低。

技術實現要素：

有鑒于此，本發明的目的在于提供一種混合云存儲數據遷移方法及系統，以提高混合云存儲的數據訪問效率以及存儲空間利用率。其具體方案如下：

一種混合云存儲數據遷移方法，包括：

根據數據被訪問頻率分別標記出私有云和公有云上的熱數據以及冷數據；

將所述私有云中未被標記為高安全級別的冷數據遷移至所述公有云；

將所述公有云中的熱數據以及被標記為高安全級別的冷數據遷移至所述私有云。

優選地，所述根據數據被訪問頻率分別標記出私有云和公有云上的熱數據以及冷數據的過程，包括：

當所述公有云上任一數據的被訪問頻率高于th，則將該數據標記為熱數據；

當所述私有云上任一數據的被訪問頻率低于tc，則將該數據標記為冷數據；

其中，所述th和tc為預先設定的閾值，并且tc<th。

優選地，所述將所述公有云中的熱數據以及被標記為高安全級別的冷數據遷移至所述私有云的過程之前，還包括：

對所述私有云進行分層，得到第一層私有云和第二層私有云；

其中，所述第一層私有云對應的存儲介質的讀寫性能優于所述第二層私有云對應的存儲介質的讀寫性能。

優選地，所述將所述公有云中被標記為高安全級別的冷數據遷移至所述私有云的過程，包括：

將所述公有云中被標記為高安全級別的冷數據遷移至所述第二層私有云。

優選地，所述將所述公有云中的熱數據遷移至所述私有云的過程，包括：

判斷所述公有云中任一熱數據的被訪問頻率是否高于th1，如果是，則遷移該熱數據至所述第一層私有云，如果否，則遷移該熱數據至所述第二層私有云；

其中，所述th1為預先設定的閾值。

優選地，其特征在于，還包括：

將所述第一層私有云中被標記為高安全級別的冷數據遷移至所述第二層私有云；

將所述第二層私有云中被標記為高安全級別的熱數據遷移至所述第一層私有云。

本申請還公開了一種混合云存儲數據遷移系統，包括：

冷熱數據標記模塊，用于根據數據被訪問頻率分別標記出私有云和公有云上的熱數據以及冷數據；

私有云數據遷移模塊，用于將所述私有云中未被標記為高安全級別的冷數據遷移至所述公有云；

公有云數據遷移模塊，用于將所述公有云中的熱數據以及被標記為高安全級別的冷數據遷移至所述私有云。

優選地，所述冷熱數據標記模塊，包括：

熱數據標記單元，用于當所述公有云上任一數據的被訪問頻率高于th，則將該數據標記為熱數據；

冷數據標記單元，用于當所述私有云上任一數據的被訪問頻率低于tc，則將該數據標記為冷數據；

其中，所述th和tc為預先設定的閾值，并且tc<th。

優選地，還包括：

私有云分層模塊，用于對所述私有云進行分層，得到第一層私有云和第二層私有云；

其中，所述第一層私有云對應的存儲介質的讀寫性能優于所述第二層私有云對應的存儲介質的讀寫性能。

優選地，所述公有云數據遷移模塊，包括：

熱數據遷移單元，用于判斷所述公有云中任一熱數據的被訪問頻率是否高于th1，如果是，則遷移該熱數據至所述第一層私有云，如果否，則遷移該熱數據至所述第二層私有云；

其中，所述th1為預先設定的閾值。

本申請中，混合云存儲數據遷移方法包括：根據數據被訪問頻率分別標記出私有云和公有云上的熱數據以及冷數據；將私有云中未被標記為高安全級別的冷數據遷移至公有云；將公有云中的熱數據以及被標記為高安全級別的冷數據遷移至私有云。可見本申請將混合云存儲中的數據按照被訪問頻率分為熱數據和冷數據，將私有云的冷數據遷移至公有云，提高了存儲空間的利用率，將公有云中的熱數據遷移至私有云，提高了數據的訪問效率。而將公有云中被標記為高安全級別的冷數據遷移至私有云還能保證特殊數據的存儲安全性。總的來說，利用本申請所提供的混合云存儲數據遷移方法，能提高混合云存儲數據的訪問率以及存儲空間的利用率。

附圖說明

為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據提供的附圖獲得其他的附圖。

圖1為本申請實施例公開的一種混合云存儲數據遷移方法流程圖；

圖2為本申請實施例公開的一種具體的混合云存儲數據遷移方法流程圖；

圖3為本申請實施例公開的另一種混合云存儲數據遷移方法流程圖；

圖4為私有云分層后混合云的整體結構示意圖；

圖5為本申請實施例公開的一種混合云存儲數據遷移系統結構圖；

圖6為本申請實施例公開的一種混合云存儲數據遷移系統中冷熱數據標記模塊結構圖；

圖7為本申請實施例公開的一種具體的混合云存儲數據遷移系統結構圖。

具體實施方式

下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基于本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。

本申請實施例公開了一種混合云存儲數據遷移方法，參見圖1所示，該方法包括：

步驟11：根據數據被訪問頻率分別標記出私有云和公有云上的熱數據以及冷數據。

本實施例中，上述數據為用戶利用混合云存儲進行存儲的數據，包括一些普通的文件，例如圖片、視頻和文檔等，也可能是一些需要保密性極高的文件，用戶需要利用混合云存儲進行數據的備份，以避免數據丟失。

而數據的訪問頻率的獲取可以利用統計的方法獲得，例如在混合云中搭載有數據訪問次數統計程序，在用戶選取打開或者下載混合云存儲中的數據時進行統計，設置一個時間周期結合時間周期內數據的訪問次數，最終計算出數據的被訪問頻率。為了能夠準確的計算出數據的被訪問頻率，可以適當的調整時間周期的長度，例如設定為一周，這里不做要求。

在分別標記出私有云和公有云上的熱數據以及冷數據的過程，為了避免對用戶存儲的數據進行不必要的改動，可以對對數據存儲的目錄位置進行標記，例如，記錄混合云上熱數據存儲的目標位置，生成一個熱數據地址鏈表，由混合云的云計算進行管理，以方便對數據的查找以及移動。當然，也可以對數據本身的信息進行增加，例如在數據的命名后面加上后綴，以表明數據是熱數據或冷數據，在進行遷移后進行后綴的刪除即可，只要能進行熱數據和冷數據的標記即可，這里不做限定。

步驟12：將私有云中未被標記為高安全級別的冷數據遷移至公有云。

本申請施例中，高安全級別的數據是由混合云存儲用戶主動篩選出來并標記的。在混合云存儲用戶進行一些特殊或者非常重要且要保密的數據存儲時，可以選擇對數據進行高安全級別存儲。用戶也可以在進行大量的數據存儲后，對數據進行篩選，并在混合云存儲上標記出高安全級別的數據。這里標記的方法可以在混合云存儲管理系統中建立一個高安全級別數據的地址鏈表，以便管理系統進行管理。標記為高安全級別的數據都存儲在私有云中。

另外，需要說明的是，本實施例中混合云存儲的私有云，可以是根據用戶的需求而構建的一個存儲空間，這個存儲空間是用戶獨享的一個空間，可以為本地存儲空間，沒有經用戶授權的訪問者是無法進入私有云并改動里面的文件。而混合云存儲的公有云一般是第三方存儲資源商提供的一個存儲空間，相對于私有云，公有云存儲空間大，但不能獨享空間。

將上述私有云中未被標記為高安全級別的冷數據遷移至公有云前，首先根據數據上的標記進行數據的查找定位，例如對冷數據進行標記時用的是建立數據地址鏈表的方法，則利用相應的冷數據地址鏈表，查找冷數據地址鏈表中未被用戶標記為高安全級別數據的地址，通過地址找到數據然后進行遷移。而遷移的過程，則是直接將查找得到的數據，利用傳輸數據的方法，從私有云中傳輸至公有云，然后由公有云進行存儲，此時的私有云上，經過數據傳輸后就沒有未被標記為高安全級別的冷數據，大大提高了私有云存儲空間的利用率。

步驟13：將公有云中的熱數據以及被標記為高安全級別的冷數據遷移至私有云。

本實施例中，將共有云中的熱數據以及被標記為高安全級別的冷數據遷移至私有云前，首先根據數據上的標記進行數據的查找定位，例如對熱數據進行標記時用的是建立數據地址鏈表的方法，則利用相應的熱數據地址鏈表，通過地址找到公有云中的熱數據，然后進行遷移。遷移的過程則是直接將查找得到的熱數據，從公有云傳輸至私有云，由私有云進行存儲，此時混合云上的熱數據都存儲在私有云中，大大提高數據的訪問效率。

本發明實施例公開了一種具體的混合云存儲數據遷移方法，參見圖2所示，相對于上一實施例，本實施例對技術方案作了進一步的說明和優化。具體的：

上一實施例步驟11中，根據數據被訪問頻率分別標記出私有云和公有云上的熱數據以及冷數據的過程，具體包括：

步驟21：當公有云上任一數據的被訪問頻率高于th，則將該數據標記為熱數據。

本申請實施例中，混合云存儲的公有云存儲空間可以由第三方存儲資源商提供，存儲空間足夠大，是一個共享的存儲空間，由供應商進行管理，適合訪問頻率不高，以及安全性比較低的數據進行存儲，因此在公有云進行數據標記時，只需要標記公有云中不適合存儲的熱數據。

數據的訪問頻率的獲取可以利用統計的方法獲得，例如在公有云中搭載有數據訪問次數統計程序，在用戶選取打開或者下載混合云存儲中的數據時進行統計，設置一個時間周期結合時間周期內數據的訪問次數，最終計算出數據的被訪問頻率。為了能夠準確的計算出數據的被訪問頻率，可以適當的調整時間周期的長度，例如設定為一周，這里不做要求。

而th是一個預先設定的閾值，如果公有云中某個數據的訪問頻率超過了這個閾值，則可標記這個數據為熱數據。th可以是一個詳細的數值，例如根據上述的訪問次數統計方法，可以為100，單位為(次/周)。

步驟22：當私有云上任一數據的被訪問頻率低于tc，則將該數據標記為冷數據。

本申請實施例中，混合云存儲的私有云存儲空間可以根據用戶的需求而構建的一個存儲空間，這個存儲空間是用戶獨享的一個空間，可以為本地存儲空間，沒有經用戶授權的訪問者是無法進入私有云并改動里面的文件，適合存儲一些訪問頻率較高，以及安全性較高的數據，因此在私有云進行數據標記時，只需標記私有云中的冷數據。

而tc是一個預先設定的閾值，且tc<th，如果私有云中某個數據的訪問頻率低于這個閾值，則可標記這個數據為冷數據。tc可以是一個詳細的數值，例如根據上述的訪問次數統計方法，可以為10，單位為(次/周)。

對于公有云和私有云中，訪問頻率在(tc，th)之間的數據，不進行標記。

本申請實施例公開了另一種混合云存儲數據遷移方法，參見圖3所示，相對于上述兩個實施例，本實施例對的技術方案做了進一步增加。具體的：

在上述步驟13之前，進一步包括：

步驟31：對私有云進行分層，得到第一層私有云和第二層私有云。

參見圖4所示，為私有云分層后混合云的整體結構示意圖。

其中，第一層私有云對應的存儲介質的讀寫性能優于第二層私有云對應的存儲介質的讀寫性能。

本實施例中，私有云的存儲空間結構可以根據用戶的需求來進行構建，這里進行二分層的結構，并且第一層的存儲介質讀寫性能優于第二層，可以讓用戶有更好的云存儲體驗，例如，用戶可以把經常要進行訪問的重要數據儲存在第一層私有云中，方便快速對數據進行讀寫，而不需要經常訪問，僅僅是出于備份需求的一些重要數據則可以存儲在第二層私有云中，這樣既可以滿足用戶訪問數據的要求，還可以降低私有云的成本。

對于私有云的分層，并不一定只分為兩層，還可以分為三層、四層等多層結構，是根據用戶的存儲需求以及私有云的性能決定的。在多層結構的私有云中，可以根據數據被訪問的頻率，由高到低對應私有云的高層到底層進行存儲，相應的設置私有云各層存儲介質的讀寫性能。

而在本實施例中，將公有云中被標記為高安全級別的冷數據遷移至所述私有云的過程，包括：

將公有云中被標記為高安全級別的冷數據遷移至第二層私有云。

高安全級別的冷數據，也就是一些被用戶標記為高安全級別，但是用戶并沒有進行頻繁訪問的數據，例如一些重要文件的混合云存儲備份，遷移至第二層私有云，有利于私有云存儲空間的利用率。當然，在私有云進行更多分層結構時，這些不經常訪問的數據是可以存儲在私有云讀寫性能較低的底層的。

將公有云中的熱數據遷移至所述私有云的過程，包括：

判斷公有云中任一熱數據的被訪問頻率是否高于th1，如果是，則遷移該熱數據至第一層私有云，如果否，則遷移該熱數據至第二層私有云；

其中，所述th1為預先設定的閾值。

相對于前述的實施例，本實施例對公有云上熱數據的遷移做出了優化的方案，在熱數據遷移至私有云后，還會判斷該熱數據被訪問頻率是否高于預先設定的一個閾值th1，如果高于則存儲在第一層私有云，如果在(th，th1)之間則存儲在第二層私有云中。這里的閾值th1可以是一個詳細的數值，例如根據上述的訪問次數統計方法，可以為110，單位為(次/周)。

當然，在私有云進行更多的分層時，可以預先設置更多的閾值，將熱數據有規律的存儲在私有云的分層中，例如分為三層私有云時，第一層私有云存儲被訪問頻率超過th2的熱數據，第二層私有云存儲被訪問頻率在(th1，th2)之間的熱數據，第三層私有云存儲被訪問頻率在(th，th1)之間的熱數據。

在上述步驟13之后，進一步包括：

步驟32：將第一層私有云中被標記為高安全級別的冷數據遷移至第二層私有云。

步驟33：將第二層私有云中被標記為高安全級別的熱數據遷移至第一層私有云。

上面兩個步驟為私有云內部數據的遷移，冷熱數據的判斷并標記過程以及數據遷移的過程可以參考前述實施例中的說明，這里不再贅述。私有云內部數據遷移的目的主要是把高安全級別的熱數據遷移至第一層私有云，提高私有云數據訪問的效率，把高安全級別的冷數據遷移至第二層私有云，提高私有云存儲空間的利用率，降低使用成本。

本申請實施例還公開了一種混合云存儲數據遷移系統，參見圖5所示，該系統包括：

冷熱數據標記模塊51，用于根據數據被訪問頻率分別標記出私有云和公有云上的熱數據以及冷數據；

私有云數據遷移模塊52，用于將私有云中未被標記為高安全級別的冷數據遷移至公有云；

公有云數據遷移模塊53，用于將公有云中的熱數據以及被標記為高安全級別的冷數據遷移至私有云。

具體的，參考圖6所示，上述冷熱數據標記模塊，包括：

熱數據標記單元61，用于當公有云上任一數據的被訪問頻率高于th，則將該數據標記為熱數據；

冷數據標記單元62，用于當私有云上任一數據的被訪問頻率低于tc，則將該數據標記為冷數據；

其中，所述th和tc為預先設定的閾值，并且tc<th。

關于上述各個模塊以及各個單元更加詳細的工作過程可以參考前述實施例中公開的相應內容，在此不再贅述。

本申請實施例還公開了另一種混合云存儲數據遷移系統，參見圖7所示，該系統包括：

私有云分層模塊54，用于對私有云進行分層，得到第一層私有云和第二層私有云；

其中，所述第一層私有云對應的存儲介質的讀寫性能優于所述第二層私有云對應的存儲介質的讀寫性能。

具體的，上述公有云數據遷移模塊，包括：

熱數據遷移單元71，用于判斷公有云中任一熱數據的被訪問頻率是否高于th1，如果是，則遷移該熱數據至第一層私有云，如果否，則遷移該熱數據至第二層私有云；

其中，所述th1為預先設定的閾值。

關于上述各個模塊以及各個單元更加詳細的工作過程可以參考前述實施例中公開的相應內容，在此不再贅述。

最后，還需要說明的是，在本文中，諸如第一和第二等之類的關系術語僅僅用來將一個實體或者操作與另一個實體或操作區分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關系或者順序。而且，術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，并不排除在包括所述要素的過程、方法、物品或者設備中還存在另外的相同要素。

以上對本發明所提供的一種混合云存儲數據遷移方法及系統進行了詳細介紹，本文中應用了具體個例對本發明的原理及實施方式進行了闡述，以上實施例的說明只是用于幫助理解本發明的方法及其核心思想；同時，對于本領域的一般技術人員，依據本發明的思想，在具體實施方式及應用范圍上均會有改變之處，綜上所述，本說明書內容不應理解為對本發明的限制。