一種提升元數據集群性能的方法
【技術領域】
[0001]本發明涉及計算機應用技術領域，適用于文件系統支持元數據集群的情況，能夠在元數據集群范圍內平衡負載，提高元數據集群處理數據的效率，具體地說，特別涉及一種提升元數據集群性能的方法。
【背景技術】
[0002]集群(cluster)技術是一種較新的技術，通過集群技術，可以在付出較低成本的情況下獲得在性能、可靠性、靈活性方面的相對較高的收益，其任務調度則是集群系統中的核心技術。
[0003]集群技術分別為科學集群，負載均衡集群和高可用性集群三類。其中，負載均衡集群為企業需求提供了更實用的系統。負載均衡集群使負載可以在計算機集群中盡可能平均地分攤處理。負載通常包括應用程序處理負載和網絡流量負載。這樣的系統非常適合向使用同一組應用程序的大量用戶提供服務。每個節點都可以承擔一定的處理負載，并且可以實現處理負載在節點之間的動態分配，以實現負載均衡。對于網絡流量負載，當網絡服務程序接受了高入網流量，以致無法迅速處理。這時，網絡流量就會發送給在其它節點上運行的網絡服務程序。同時，還可以根據每個節點上不同的可用資源或網絡的特殊環境來進行優化。與科學計算集群一樣，負載均衡集群也在多節點之間分發計算處理負載。它們之間的最大區別在于缺少跨節點運行的單并行程序。大多數情況下，負載均衡集群中的每個節點都是運行單獨軟件的獨立系統。
[0004]分布式文件系統(Distributed File System)是指文件系統管理的物理存儲資源不一定直接連接在本地節點上，而是通過計算機網絡與節點相連。現有的分布式文件系統主要分為兩大部分:元數據管理和數據管理。其中，元數據的請求占文件系統所有請求的50%以上，所以提升元數據請求的處理性能，可以有效提升整個文件系統的性能。
[0005]在多個元數據節點的系統里，每個元數據節點都有自己負責的目錄結構。如果某個元數據下面的目錄內容訪問量加大，構成熱點數據，此元數據節點負載壓力將增加。這時，如果多個用戶同時訪問此元數據節點，會造成負載不平衡的情況。如果可以把該元數據節點下部分目錄分給其他元數據節點，在元數據集群范圍內平衡負載，將有效提升元數據集群處理數據的效率，進而提升整個文件系統的性能。
[0006]針對以上問題，本發明提出了一種通過手動轉移元數據集群負載壓力以提升整個文件系統處理性能的方式。用戶可以在某個元數據負載壓力較大時，手動將它負責的部分目錄分給其他元數據。
【發明內容】
[0007]本發明為了彌補現有技術的缺陷，提供了一種能夠提高集群處理數據效率的提升元數據集群性能的方法。
[0008]本發明是通過如下技術方案實現的: 一種提升元數據集群性能的方法，其特征在于:該方法體系包括導出端、導入端和旁觀者三部分，該方法通過在所述導出端手動執行命令方式，將負載較大的元數據節點下的熱點目錄轉移到導入端，并更新旁觀者的目錄授權信息。
[0009]所述導出端負責驅動整個導出過程，所述導入端負責配合導出端完成目錄迀移，所述旁觀者為待導出目錄的副本的擁有者。
[0010]本大明提升元數據集群性能的方法，其特征在于包括以下步驟:
(1)將導出端的元數據中待導出的目錄分片保存到導出端的導出隊列，將導出端的元數據通過手動執行export命令觸發導出隊列，進入導出流程；
(2)將本地待導出目錄凍結，并發送消息到導入端，將待迀移目錄加載到導入端的緩存；
(3 )導入端將待迀移目錄加載至本地后，將待迀移目錄標記為授權爭議并凍結，隨后向導出端回復確認字符ACK ；
(4)導出端接收到導入端回復的確認字符ACK后，向旁觀者發送通告，告知副本此目錄進入導出流程，待旁觀者回復確認字符ACK后，更新日志信息；
(5)導出端將待導出目錄的狀態設為“正在導出”，并授權待導出目錄為授權爭議，調整本地負載，減去待導出目錄負載后，向導入端發送消息；
(6)導入端處理導出端發送來的消息，記錄日志并打開相關會話，向導出端回復確認字符 ACK ；
(7)導出端調整待導出目錄的授權并寫日志后，向旁觀者廣播此目錄授權信息已變更，等待旁觀者回復確認字符ACK后，向導入端發送導出結束消息；
(8)導入端收到導出結束消息后，完成目錄導入，目錄迀移完成。
[0011]本發明的有益效果是:該提升元數據集群性能的方法，適用于支持多個元數據節點的分布式集群文件系統，在分布式集群文件系統的某個元數據負載較大時，能夠在元數據集群范圍內平衡負載，提高元數據集群處理數據的效率，進而有效提升系統性能。
【附圖說明】
[0012]附圖1為發明導出端、導入端以及旁觀者三者的流程關系示意圖。
【具體實施方式】
[0013]下面結合附圖對本發明進行詳細的說明。
[0014]該提升元數據集群性能的方法體系包括導出端、導入端和旁觀者三部分，所述導出端負責驅動整個導出過程，所述導入端負責配合導出端完成目錄迀移，所述旁觀者為待導出目錄的副本的擁有者。
[0015]該提升元數據集群性能的方法通過在所述導出端手動執行命令方式，將負載較大的元數據節點下的熱點目錄轉移到導入端，并更新旁觀者的目錄授權信息。
[0016]該提升元數據集群性能的方法，包括以下具體步驟:
(1)將導出端的元數據中待導出的目錄分片保存到導出端的導出隊列，將導出端的元數據通過手動執行export命令觸發導出隊列，進入導出流程；
(2)將本地待導出目錄凍結，并發送消息到導入端，將待迀移目錄加載到導入端的緩存；
(3 )導入端將待迀移目錄加載至本地后，將待迀移目錄標記為授權爭議并凍結，隨后向導出端回復確認字符ACK ；
(4)導出端接收到導入端回復的確認字符ACK后，向旁觀者發送通告，告知副本此目錄進入導出流程，待旁觀者回復確認字符ACK后，更新日志信息；
(5)導出端將待導出目錄的狀態設為“正在導出”，并授權待導出目錄為授權爭議，調整本地負載，減去待導出目錄負載后，向導入端發送消息；
(6)導入端處理導出端發送來的消息，記錄日志并打開相關會話，向導出端回復確認字符 ACK ；
(7)導出端調整待導出目錄的授權并寫日志后，向旁觀者廣播此目錄授權信息已變更，等待旁觀者回復確認字符ACK后，向導入端發送導出結束消息；
(8)導入端收到導出結束消息后，完成目錄導入，目錄迀移完成。
【主權項】
1.一種提升元數據集群性能的方法，其特征在于:該方法體系包括導出端、導入端和旁觀者三部分，該方法通過在所述導出端手動執行命令方式，將負載較大的元數據節點下的熱點目錄轉移到導入端，并更新旁觀者的目錄授權信息。
2.根據權利要求1所述的提升元數據集群性能的方法，其特征在于:所述導出端負責驅動整個導出過程，所述導入端負責配合導出端完成目錄迀移，所述旁觀者為待導出目錄的副本的擁有者。
3.根據權利要求1或2所述的提升元數據集群性能的方法，其特征在于包括以下步驟: (1)將導出端的元數據中待導出的目錄分片保存到導出端的導出隊列，將導出端的元數據通過手動執行export命令觸發導出隊列，進入導出流程； (2)將本地待導出目錄凍結，并發送消息到導入端，將待迀移目錄加載到導入端的緩存； (3 )導入端將待迀移目錄加載至本地后，將待迀移目錄標記為授權爭議并凍結，隨后向導出端回復確認字符ACK ； (4)導出端接收到導入端回復的確認字符ACK后，向旁觀者發送通告，告知副本此目錄進入導出流程，待旁觀者回復確認字符ACK后，更新日志信息； (5)導出端將待導出目錄的狀態設為“正在導出”，并授權待導出目錄為授權爭議，調整本地負載，減去待導出目錄負載后，向導入端發送消息； (6)導入端處理導出端發送來的消息，記錄日志并打開相關會話，向導出端回復確認字符 ACK ； (7)導出端調整待導出目錄的授權并寫日志后，向旁觀者廣播此目錄授權信息已變更，等待旁觀者回復確認字符ACK后，向導入端發送導出結束消息； (8)導入端收到導出結束消息后，完成目錄導入，目錄迀移完成。
【專利摘要】本發明特別涉及一種提升元數據集群性能的方法。該提升元數據集群性能的方法體系包括導出端、導入端和旁觀者三部分，所述導出端負責驅動整個導出過程，所述導入端負責配合導出端完成目錄遷移，所述旁觀者為待導出目錄的副本的擁有者；該方法通過在所述導出端手動執行命令方式，將負載較大的元數據節點下的熱點目錄轉移到導入端，并更新旁觀者的目錄授權信息。該提升元數據集群性能的方法，適用于支持多個元數據節點的分布式集群文件系統，在分布式集群文件系統的某個元數據負載較大時，能夠在元數據集群范圍內平衡負載，提高元數據集群處理數據的效率，進而有效提升系統性能。
【IPC分類】H04L29-08
【公開號】CN104580471
【申請號】CN201510013603
【發明人】程瑤
【申請人】浪潮電子信息產業股份有限公司
【公開日】2015年4月29日
【申請日】2015年1月12日