數據同步處理方法及裝置與流程

本公開涉及數據同步技術領域，尤其涉及一種數據同步處理方法及數據同步處理裝置。

背景技術：

隨著信息化技術的飛速發展，企業信息化建設日益普及。一些企業各部門或者分公司紛紛搭建自己的信息化系統。這樣，在這些不同的系統中實現數據的共享、整合時，數據(如在職人員數據和離職人員數據等)的雙向同步是一種經常碰到且非常重要的需求。

相關技術中，目前對大數據量的數據進行同步時主要有兩種方式：一是全量數據同步方式，二是增量數據同步方式。全量數據同步方式要求雙方系統有較強的數據讀取能力及穩定的網絡，該方式耗時長且對雙方系統壓力大。而增量數據同步方式則要求數據源系統準確記錄各數據的如更新時間等變更信息，并實現邏輯刪除。但是當數據量過大而無法采用全量數據同步方式，同時數據源系統又無法準確記錄各數據的變更信息時，會導致數據同步效率低下，這對大數據量的數據同步提出了新的要求。另外，同步后的數據在目的系統中使用時，如何提高大數據量的數據的讀取效率，需要與之適應的數據讀取方案，相關技術中目前缺乏相應的解決方案。

因此，有必要提供一種新的技術方案改善上述方案中存在的一個或者多個問題。

需要說明的是，在上述背景技術部分公開的信息僅用于加強對本公開的背景的理解，因此可以包括不構成對本領域普通技術人員已知的現有技術的信息。

技術實現要素：

本公開的目的在于提供一種數據同步處理方法及數據同步處理裝置，進而至少在一定程度上克服由于相關技術的限制和缺陷而導致的一個或者多個問題。

本公開的其他特性和優點將通過下面的詳細描述變得顯然，或部分地通過本公開的實踐而習得。

根據本公開實施例的第一方面，提供一種數據同步處理方法，應用于一第一服務器，所述方法包括：

向一第二服務器發送一數據定時同步請求，接收所述第二服務器響應所述數據定時同步請求后根據數據更新時間信息在所述第二服務器上查找到并發送來的一個或多個第一數據；其中，所述定時同步請求攜帶所述數據更新時間信息；

根據一預設數據請求向所述第二服務器發送數據實時同步請求，接收所述第二服務器響應所述數據實時同步請求后在所述第二服務器上查找到并發送來的一個或多個第二數據。

本公開的一種示例性實施例中，所述第一服務器上設有第一數據存儲表和第二數據存儲表；所述方法還包括：

查詢所述第二數據是否在所述第一數據存儲表中，當所述第二數據在所述第一數據存儲表中時，更新所述第一數據存儲表中的所述第二數據；

當所述第二數據不在所述第一數據存儲表中時，查詢所述第二數據是否在所述第二數據存儲表中，當所述第二數據在所述第二數據存儲表中時，更新所述第二數據存儲表中的所述第二數據；

當所述第二數據不在所述第二數據存儲表中時，添加所述第二數據到所述第二數據存儲表。

本公開的一種示例性實施例中，所述更新所述第一數據存儲表中的所述第二數據之后，所述方法還包括：

判斷所述第二數據所表征的對象是否存在，若不存在，則將所述第二數據從所述第一數據存儲表轉移到所述第二數據存儲表；若存在，則不移動數據。

本公開的一種示例性實施例中，所述更新所述第二數據存儲表中之前存儲的所述第二數據之后，所述方法還包括：

判斷所述第二數據所表征的對象是否存在，若存在，則將所述第二數據從所述第二數據存儲表轉移到所述第一數據存儲表；若不存在，則不移動數據。

本公開的一種示例性實施例中，所述第一服務器上設有第一數據存儲表和第二數據存儲表；所述方法還包括：

將所述第一數據存儲到所述第一數據存儲表中，并檢查所述第一數據存儲表中是否存在使用頻率低于預設值的第三數據，若存在，則將所述第三數據移動至所述第二數據存儲表中。

根據本公開實施例的第二方面，提供一種數據同步處理裝置，應用于一第一服務器，所述裝置包括：

數據定時同步模塊，用于向一第二服務器發送一數據定時同步請求，接收所述第二服務器響應所述數據定時同步請求后根據數據更新時間信息在所述第二服務器上查找到并發送來的一個或多個第一數據；其中，所述定時同步請求攜帶所述數據更新時間信息；

數據實時同步模塊，用于根據一預設數據請求向所述第二服務器發送數據實時同步請求，接收所述第二服務器響應所述數據實時同步請求后在所述第二服務器上查找到并發送來的一個或多個第二數據。

本公開的一種示例性實施例中，所述第一服務器上設有第一數據存儲表和第二數據存儲表；所述裝置還包括：

第一查詢更新模塊，用于查詢所述第二數據是否在所述第一數據存儲表中，當所述第二數據在所述第一數據存儲表中時，更新所述第一數據存儲表中的所述第二數據；

第二查詢更新模塊，用于當所述第二數據不在所述第一數據存儲表中時，查詢所述第二數據是否在所述第二數據存儲表中，當所述第二數據在所述第二數據存儲表中時，更新所述第二數據存儲表中的所述第二數據；

數據添加模塊，用于當所述第二數據不在所述第二數據存儲表中時，添加所述第二數據到所述第二數據存儲表。

本公開的一種示例性實施例中，所述裝置還包括：

第一判斷轉移模塊，用于在所述更新所述第一數據存儲表中的所述第二數據之后，判斷所述第二數據所表征的對象是否存在，若不存在，則將所述第二數據從所述第一數據存儲表轉移到所述第二數據存儲表；若存在，則不移動數據。

本公開的一種示例性實施例中，所述裝置還包括：

第二判斷轉移模塊，用于在所述更新所述第二數據存儲表中之前存儲的所述第二數據之后，判斷所述第二數據所表征的對象是否存在，若存在，則將所述第二數據從所述第二數據存儲表轉移到所述第一數據存儲表；若不存在，則不移動數據。

本公開的一種示例性實施例中，所述第一服務器上設有第一數據存儲表和第二數據存儲表；所述裝置還包括：

第三判斷轉移模塊，用于將所述第一數據存儲到所述第一數據存儲表中，并檢查所述第一數據存儲表中是否存在使用頻率低于預設值的第三數據，若存在，則將所述第三數據移動至所述第二數據存儲表中。

本公開的實施例提供的技術方案可以包括以下有益效果：

本公開的一種實施例中，通過上述數據同步處理方法及裝置，將數據定時同步和數據實時同步相結合，對于數據源中準確記錄變更時間的數據采用定時批量同步數據，對于數據源中沒有準確記錄變更時間的數據采用實時同步；這樣，一方面，當數據量過大而無法采用全量同步，同時數據源中又無法準確記錄變更時間時，解決大數據量的數據同步問題，在一定程度上提高數據同步效率；另一方面，由于不用完全采用實時同步方式，在一定程度上減少了對雙方系統的通信網絡的要求，降低了對雙方系統的壓力。

應當理解的是，以上的一般描述和后文的細節描述僅是示例性和解釋性的，并不能限制本公開。

附圖說明

此處的附圖被并入說明書中并構成本說明書的一部分，示出了符合本公開的實施例，并與說明書一起用于解釋本公開的原理。顯而易見地，下面描述中的附圖僅僅是本公開的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。

圖1示意性示出本公開示例性實施例中第一數據同步處理方法流程圖；

圖2示意性示出本公開示例性實施例中第二數據同步處理方法流程圖；

圖3示意性示出本公開示例性實施例中第三數據同步處理方法流程圖；

圖4示意性示出本公開示例性實施例中數據同步處理應用場景示意圖；

圖5示意性示出本公開示例性實施例中第一數據同步處理裝置示意圖；

圖6示意性示出本公開示例性實施例中第二數據同步處理裝置示意圖；

圖7示意性示出本公開示例性實施例中第三數據同步處理裝置示意圖；

圖8示意性示出本公開示例性實施例中另一數據同步處理裝置示意圖。

具體實施方式

現在將參考附圖更全面地描述示例實施方式。然而，示例實施方式能夠以多種形式實施，且不應被理解為限于在此闡述的范例；相反，提供這些實施方式使得本公開將更加全面和完整，并將示例實施方式的構思全面地傳達給本領域的技術人員。所描述的特征、結構或特性可以以任何合適的方式結合在一個或更多實施方式中。

此外，附圖僅為本公開的示意性圖解，并非一定是按比例繪制。圖中相同的附圖標記表示相同或類似的部分，因而將省略對它們的重復描述。附圖中所示的一些方框圖是功能實體，不一定必須與物理或邏輯上獨立的實體相對應。可以采用軟件形式來實現這些功能實體，或在一個或多個硬件模塊或集成電路中實現這些功能實體，或在不同網絡和/或處理器裝置和/或微控制器裝置中實現這些功能實體。

本示例實施方式中首先提供了一種數據同步處理方法，該方法可以應用于一第一服務器上，所述第一服務器例如可以是運行目的系統的服務器。參考圖1中所示，該數據同步處理方法可以包括：

步驟S101：向一第二服務器發送一數據定時同步請求，接收所述第二服務器響應所述數據定時同步請求后根據數據更新時間信息在所述第二服務器上查找到并發送來的一個或多個第一數據；其中，所述定時同步請求攜帶所述數據更新時間信息。

步驟S102：根據一預設數據請求向所述第二服務器發送數據實時同步請求，接收所述第二服務器響應所述數據實時同步請求后在所述第二服務器上查找到并發送來的一個或多個第二數據。

通過上述數據同步處理方法，當數據量過大而無法采用全量同步，同時數據源中又無法準確記錄變更時間時，解決大數據量的數據同步問題，在一定程度上提高數據同步效率；另一方面，由于不用完全采用實時同步方式，在一定程度上減少了對雙方系統的通信網絡的要求，降低了對雙方系統的壓力。

下面，將參考圖1至圖4對本示例實施方式中的上述方法的各個步驟進行更詳細的說明。

在步驟S101中，向一第二服務器發送一數據定時同步請求，接收所述第二服務器響應所述數據定時同步請求后根據數據更新時間信息在所述第二服務器上查找到并發送來的一個或多個第一數據；其中，所述定時同步請求攜帶所述數據更新時間信息。

本示例實施方式中，所述第二服務器可以是運行一源系統的服務器，所述源系統例如可以是一分公司平臺系統，該分公司平臺系統例如可以存儲記錄代理人信息(如姓名或者工號等)。而所述第一服務器上運行的所述目的系統例如可以是一個險培訓管理系統。

示例性的，該個險培訓管理系統需要從所述源系統同步獲取代理人信息。由于源系統中信息記錄更新可能存在不及時的情況，那么代理人的信息有些是準確記錄了數據的更新時間的，有些則沒有準確記錄數據更新時間。對于準確記錄了數據的更新時間的這部分數據，所述個險培訓管理系統可以向所述源系統發送一定時同步請求，所述定時同步請求可以攜帶所要請求的數據的時間范圍條件，例如距離當前時間的前3天內的數據。所述目的系統接收到所述定時同步請求后，解析獲取所述時間范圍條件，根據所述時間范圍條件比對查找符合該條件的代理人信息并批量返回給所述源系統。

在步驟S102中，根據一預設數據請求向所述第二服務器發送數據實時同步請求，接收所述第二服務器響應所述數據實時同步請求后在所述第二服務器上查找到并發送來的一個或多個第二數據。

示例性的，對于沒有準確記錄數據更新時間的部分數據，可以通過所述目的系統向所述源系統發起實時同步請求以獲取一條或多條數據，

本示例實施方式中，數據的同步采用定時增量同步和實時同步相結合的方式來實現。對于源系統中準確記錄了變更時間的數據，通過比對更新時間來定時批量同步數據；對于源系統中更新時間不準確的數據，則通過目的系統發起同步請求，同步具體的一條或多條數據。這樣，當數據量過大而無法采用全量同步，同時數據源中又無法準確記錄變更時間時，解決了大數據量的數據同步問題，在一定程度上提高了數據同步的效率。

參考圖2所示，在一示例性實施例中，數據同步至所述目的系統后，為了提高所述目的系統中數據的查詢效率。所述第一服務器上可以設有第一數據存儲表和第二數據存儲表。例如，所述第一數據存儲表可以是所述目的系統中的常用數據表A，所述第二數據存儲表可以是所述目的系統中的不常用數據表B。所述方法還可以包括步驟S103～步驟S105。其中：

步驟S103：查詢所述第二數據是否在所述第一數據存儲表中，當所述第二數據在所述第一數據存儲表中時，更新所述第一數據存儲表中的所述第二數據。

在一示例性實施例中，所述更新所述第一數據存儲表中的所述第二數據之后，所述方法還可以包括：判斷所述第二數據所表征的對象是否存在，若不存在，則將所述第二數據從所述第一數據存儲表轉移到所述第二數據存儲表；若存在，則不移動數據。

示例性的，所述第二數據可以是代理人數據，所述第二數據所表征的對象即代理人。舉例來說，所述目的系統向源系統發起實時同步請求，并將源系統中的某條或多條數據同步至目的系統中。之后所述目的系統查詢所同步的數據是否存在于常用數據表A中，若存在，則在常用數據表A中更新數據。更新后，目的系統根據分表屬性明確該數據是否屬于常用數據，若不屬于，則將該數據從常用數據表A移動至不常用數據表B中；若屬于，不移動數據。例如，同步代理人數據至目的系統后，目的系統根據該代理人數據所代表的代理人是否在職的屬性信息判斷該代理人數據是否屬于常用數據，若不在職，則將該代理人數據從常用數據表A移動至不常用數據表B中；若在職，則不移動數據。

步驟S104：當所述第二數據不在所述第一數據存儲表中時，查詢所述第二數據是否在所述第二數據存儲表中，當所述第二數據在所述第二數據存儲表中時，更新所述第二數據存儲表中的所述第二數據。

示例性的，繼續以上述舉例說明。所述目的系統查詢所同步的數據是否存在于常用數據表A中，若同步的數據不存在于常用數據表A中，則檢查是存在于不常用數據表B中。若存在，則更新不常用數據表B中的數據。

在一示例性實施例中，所述更新所述第二數據存儲表中的所述第二數據之后，所述方法還可以包括：判斷所述第二數據所表征的對象是否存在，若存在，則將所述第二數據從所述第二數據存儲表轉移到所述第一數據存儲表；若不存在，則不移動數據。

示例性的，更新不常用數據表B中的數據后，目的系統根據分表屬性明確該數據是否屬于常用數據，若屬于，則將數據從不常用數據表B中移動至常用數據表A中；若不屬于，則不移動數據。例如，更新不常用數據表B中的代理人數據后，所述目的系統根據該代理人數據所代表的代理人是否在職的屬性信息判斷該代理人數據是否屬于常用數據，若在職，則將該代理人數據從不常用數據表B移動至常用數據表A中；若不在職，則不移動數據。

步驟S105：當所述第二數據不在所述第二數據存儲表中時，添加所述第二數據到所述第二數據存儲表。

示例性的，上述檢查同步的數據是否存在于不常用數據表B中時，若不存在，則添加該同步的數據至不常用數據表B中。

本示例實施方式中，同步后的數據在目的系統中使用分表存儲更新，常用數據和不常用數據定時或實時轉換。大數據量的數據讀取上同時可以采用索引和分表方式，按照數據的某一屬性進行分表存儲，以提高后續在目的系統中進行數據查詢的效率。本示例實施方式提高了目的系統中大數據量的數據讀取效率。

參考圖3所示，在一示例性實施例中，在上述實施例的基礎上，所述第一服務器上可以設有第一數據存儲表和第二數據存儲表。所述第一數據存儲表可以是目的系統中的常用數據表A，所述第二數據存儲表可以是所述目的系統中的不常用數據表B。所述方法還可以包括：

步驟S1011：將所述第一數據存儲到所述第一數據存儲表中，并檢查所述第一數據存儲表中是否存在使用頻率低于預設值的第三數據，若存在，則將所述第三數據移動至所述第二數據存儲表中。

示例性的，所述使用頻率低于預設值的第三數據即不常用數據，所述預設值可以根據具體情況設置，對此不做限制。定時同步數據時，每次定時同步根據源系統中數據的更新時間將滿足時間要求的數據增量同步到目的系統的常用表A中。之后目的系統根據分表屬性字段檢查常用表A中是否存在不常用數據，即使用頻率低于預設值的數據，若存在，則將這部分不常用數據移動至不常用表B。這樣可以根據同步的數據的屬性將數據分表存儲，同時也可以實現常用數據和不常用數據的實時或定期轉換，便于后期查詢數據時提高查詢效率。

下面結合圖4所示的本示例實施方式的一應用場景示意圖對本示例實施方式作出進一步的說明。

本應用場景中以個險培訓管理系統NTMS系統(目的系統)向分公司信息平臺BIP系統(源系統)請求同步代理人數據為例，來具體闡述本示例實施方式中上述方法的流程。所述NTMS系統中的代理人信息需要從BIP系統獲取，BIP系統中的代理人信息表數據量巨大，且部分信息的調整未記錄更新時間。NTMS系統中的代理人表根據人員狀態分為離職表(對應不常用表B)和在職表(對應常用表A)。下面對代理人數據定時同步和實時同步的流程進行說明。

一、數據定時同步：

步驟1)：NTMS系統每天定時向BIP系統發起定時同步請求。例如同步請求更新日期為最近3天的數據。

步驟2)：BIP系統查詢更新日期為最近3天的數據，若沒有，則無需同步。若有，BIP系統將滿足條件的數據同步更新到NTMS系統的在職表中。

步驟3)：NTMS系統判斷更新后的代理人是否在職，將不在職的代理人轉移到離職表中。

二、數據實時同步：

步驟1)：用戶在NTMS系統中輸入代理人工號，請求同步該代理人的信息。

步驟2)：BIP系統查找到該代理人信息并返回同步到NTMS系統。

步驟3)：NTMS系統查詢所同步的代理人是否存在于在職表，若存在，則更新在職表中該代理人的信息。

步驟4)：步驟3)中更新在職表中該代理人的信息后，判斷更新后的代理人是否在職，若不在職，則將該代理人信息從在職表轉移到離職表；若在職，不移動數據。

步驟5)：步驟3)中，若同步的代理人不存在于在職表中，則檢查離職表。若存在于離職表，則更新離職表中該代理人的信息；若不存在，則添加該代理人的信息至離職表。

步驟6)：步驟5)中更新離職表中該代理人的信息后，NTMS系統判斷更新后的代理人是否在職，若在職，則將該代理人從離職表轉移到在職表；若不在職，不移動數據。

本示例實施方式中通過數據定時同步和實時同步方式相結合以提高數據同步效率，數據同步至目的系統后進行數據分表存儲，以提高后續在目的系統中查找數據的便利性和查找效率。本示例實施方式兼顧了數據讀取效率及數據同步的準確性以及同步效率。

需要說明的是，盡管在附圖中以特定順序描述了本公開中方法的各個步驟，但是，這并非要求或者暗示必須按照該特定順序來執行這些步驟，或是必須執行全部所示的步驟才能實現期望的結果。附加的或備選的，可以省略某些步驟，將多個步驟合并為一個步驟執行，以及/或者將一個步驟分解為多個步驟執行等。另外，也易于理解的是，這些步驟可以是例如在多個模塊/進程/線程中同步或異步執行。

進一步的，本示例實施方式中，還提供了一種數據同步處理裝置。該裝置可以應用于一第一服務器，所述第一服務器例如可以是運行目的系統的服務器。參考圖5中所示，裝置100可以包括數據定時同步模塊101和數據實時同步模塊102。其中：

所述數據定時同步模塊101，用于向一第二服務器發送一數據定時同步請求，接收所述第二服務器響應所述數據定時同步請求后根據數據更新時間信息在所述第二服務器上查找到并發送來的一個或多個第一數據；其中，所述定時同步請求攜帶所述數據更新時間信息；

所述數據實時同步模塊102，用于根據一預設數據請求向所述第二服務器發送數據實時同步請求，接收所述第二服務器響應所述數據實時同步請求后在所述第二服務器上查找到并發送來的一個或多個第二數據。

參考圖6所示，本示例性實施例中，所述第一服務器上可以設有第一數據存儲表和第二數據存儲表；所述裝置100還可以包括第一查詢更新模塊103、第二查詢更新模塊104和數據添加模塊105。其中：

所述第一查詢更新模塊103，用于查詢所述第二數據是否在所述第一數據存儲表中，當所述第二數據在所述第一數據存儲表中時，更新所述第一數據存儲表中的所述第二數據。

所述第二查詢更新模塊104，用于當所述第二數據不在所述第一數據存儲表中時，查詢所述第二數據是否在所述第二數據存儲表中，當所述第二數據在所述第二數據存儲表中時，更新所述第二數據存儲表中的所述第二數據。

所述數據添加模塊105，用于當所述第二數據不在所述第二數據存儲表中時，添加所述第二數據到所述第二數據存儲表。

參考圖7所示，本示例性實施例中，所述裝置100還可以包括第一判斷轉移模塊106，用于在所述更新所述第一數據存儲表中的所述第二數據之后，判斷所述第二數據所表征的對象是否存在，若不存在，則將所述第二數據從所述第一數據存儲表轉移到所述第二數據存儲表；若存在，則不移動數據。

參考圖7所示，本示例性實施例中，所述裝置100還可以包括第二判斷轉移模塊107，用于在所述更新所述第二數據存儲表中之前存儲的所述第二數據之后，判斷所述第二數據所表征的對象是否存在，若存在，則將所述第二數據從所述第二數據存儲表轉移到所述第一數據存儲表；若不存在，則不移動數據。

參考圖7所示，本示例性實施例中，所述第一服務器上可以設有第一數據存儲表和第二數據存儲表；所述裝置100還可以包括第三判斷轉移模塊108，用于將所述第一數據存儲到所述第一數據存儲表中，并檢查所述第一數據存儲表中是否存在使用頻率低于預設值的第三數據，若存在，則將所述第三數據移動至所述第二數據存儲表中。

關于上述實施例中的裝置，其中各個模塊執行操作的具體方式已經在有關該方法的實施例中進行了詳細描述，此處將不做詳細闡述說明。

應當注意，盡管在上文詳細描述中提及了用于動作執行的設備的若干模塊或者單元，但是這種劃分并非強制性的。實際上，根據本公開的實施方式，上文描述的兩個或更多模塊或者單元的特征和功能可以在一個模塊或者單元中具體化。反之，上文描述的一個模塊或者單元的特征和功能可以進一步劃分為由多個模塊或者單元來具體化。作為模塊或單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個網絡單元上。可以根據實際的需要選擇其中的部分或者全部模塊來實現木公開方案的目的。本領域普通技術人員在不付出創造性勞動的情況下，即可以理解并實施。

通過以上的實施方式的描述，本領域的技術人員易于理解，這里描述的示例實施方式可以通過軟件實現，也可以通過軟件結合必要的硬件的方式來實現。因此，根據本公開實施方式的技術方案可以以軟件產品的形式體現出來，該軟件產品可以存儲在一個非易失性存儲介質(可以是CD-ROM，U盤，移動硬盤等)中或網絡上，包括若干指令以使得一臺計算設備(可以是個人計算機、服務器、或者網絡設備等)執行根據本公開實施方式的方法。

圖8示出根據本公開示例實施方式中一種數據同步處理裝置400的示意圖。例如，裝置400可以被提供為一服務器。參照圖8，裝置400包括處理組件422，其進一步包括一個或多個處理器，以及由存儲器432所代表的存儲器資源，用于存儲可由處理組件422的執行的指令，例如應用程序。存儲器432中存儲的應用程序可以包括一個或一個以上的每一個對應于一組指令的模塊。此外，處理組件422被配置為執行指令，以執行上述方法。

裝置400還可以包括一個電源組件426被配置為執行裝置400的電源管理，一個有線或無線網絡接口450被配置為將裝置400連接到網絡，和一個輸入輸出(I/O)接口458。裝置400可以操作基于存儲在存儲器432的操作系統，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或類似。

本領域技術人員在考慮說明書及實踐這里公開的發明后，將容易想到本公開的其它實施方案。本申請旨在涵蓋本公開的任何變型、用途或者適應性變化，這些變型、用途或者適應性變化遵循本公開的一般性原理并包括本公開未公開的本技術領域中的公知常識或慣用技術手段。說明書和實施例僅被視為示例性的，本公開的真正范圍和精神由所附的權利要求指出。