一種流數據存儲方法及裝置與流程

本發明涉及流數據存儲技術領域，特別涉及一種流數據存儲方法及裝置。

背景技術：

伴隨著工業4.0的浪潮，制造業的信息化水平越來越高，在工業自動化生產過程中會相應的產生海量的實時數據，這些數據即是流數據。流數據的持續產生，海量，實時的特性，使得這類數據的存儲以及查詢異常困難。采用本地化的關系型數據進行處理，會大大延遲數據查詢的速度以及存儲的數據量。針對此問題，國內外開始了大量的研究。比較傳統的做法是在本地采用實時數據庫或者實時數據庫與關系型數據庫集成的做法解決此問題。但是在工業互聯網時代顯然本地的數據無法發揮其數據的真正價值。另外一種做法是以單獨的流數據處理系統對數據文件進行管理從而達到流數據實時處理的效果。

這種方法大部分用在消費級互聯網領域，而且需要強大的服務器體系做支撐，在工業領域，數據的產生會量遠遠超過消費級的數據量，而且數據一般只有在某一段時間內算是實時數據，超過這一時間段即是歷史數據，而且目前尚未出現巨大的服務器體系。因此采用一種將實時數據與歷史數據進行區分存儲處理，可以在滿足用戶查詢歷史數據的基礎上，大大減小流數據處理系統的壓力。

技術實現要素：

本發明實施例的目的在于提供一種流數據存儲方法及裝置，以解決流數據的實時查詢問題，以及本地存儲量有限的問題，而且將流數據中實時數據與歷史數據進行區分，可以有效的對數據進行存儲以及處理，既可以減小服務器體系的成本，又可以達到實時數據快速查詢的效果。

為達到上述目的，本發明實施例公開了一種流數據存儲方法及裝置，技術方案如下：

一種流數據存儲方法，其特征在于，應用于服務器，包括物聯網層，云端，網關、數據采集器，所述物聯網層與云端物理連接，所述方法包括：

所述物聯網固定時間間隔的采集用戶提交的數據查詢請求；

分析所述查詢請求，包括所述查詢請求的時間屬性及特征屬性；

根據所述時間屬性和所述特征屬性，選定分段的數量和分段的端點，并根據劃分的分段中待查詢數據的存儲量選定待寫入的緩存區的大小；

根據所述時間屬性、所述特征屬性、所述待查詢數據的存儲量、分段的端點和待寫入的緩存區的大小生成配置文件，并將配置文件存儲于文件服務器上；

數據采集器接收網絡流數據，并將網絡流數據轉發給文件服務器，所述服務器上的接收進程接收轉發來的網絡流數據；

所述服務器讀取配置文件，按照配置文件存儲接收到的網絡流數據。

優選的，所述云端包括：

流數據處理系統、控制器和關系型數據庫，所述云端中的流數據處理系統存儲接收到的流數據，并存儲為歷史數據；所述控制器查詢流數據處理系統中的歷史數據將其存儲到關系型數據庫，并且從流數據庫中將這些數據刪除。

優選的，所述時間屬性的時間跨度及每個特征屬性的出現頻率，根據每個特征屬性的出現頻率，選擇超出預設出現頻率的閾值的特征屬性進行確定。

優選的，所述流數據處理系統采用HDFS分布式文件存儲系統與Impala平臺相結合的數據處理系統。

優選的，所述方法還包括：

采用窗口顯示類顯示實時流數據；

接收客戶端的應用層通過服務端發送數據查詢請求；

所述控制器根據不同的查詢的請求從數據庫中查詢不同的數據；

所述控制器將查詢到的數據發送給數據查詢類；

數據查詢類將數據傳送至數據類；

數據類根據用戶的動作顯示實時數據或者歷史數據。

優選的，所述方法還包括：

所述服務器上的數據接收進程將網絡流數據轉發給數據存儲進程，數據存儲進程按照配置文件將網絡流數據分配到對應的一級緩存區中進行存儲；

每個一級緩存區分別對分配過來的網絡流數據進行排序和壓縮；

將排序和壓縮后的網絡流數據寫入二級緩存區，當二級緩存區達到預定的大小時，采用追加寫的方式將壓縮后的數據文件寫入到相應的存儲文件中。

一種流數據存儲裝置，應用于服務器，包括物聯網層，云端，網關、數據采集器，所述物聯網層與云端物理連接，所述裝置包括：

采集單元，用于所述物聯網固定時間間隔的采集用戶提交的數據查詢請求；

分析單元，用于分析所述查詢請求，包括所述查詢請求的時間屬性及特征屬性；

選定單元，用于根據所述時間屬性和所述特征屬性，選定分段的數量和分段的端點，并根據劃分的分段中待查詢數據的存儲量選定待寫入的緩存區的大小；

生成單元，用于根據所述時間屬性、所述特征屬性、所述待查詢數據的存儲量、分段的端點和待寫入的緩存區的大小生成配置文件，并將配置文件存儲于文件服務器上；

第一轉發單元，用于數據采集器接收網絡流數據，并將網絡流數據轉發給文件服務器，所述服務器上的接收進程接收轉發來的網絡流數據；

存儲單元，用于所述服務器讀取配置文件，按照配置文件存儲接收到的網絡流數據。

優選的，所述裝置還包括：

第二轉發單元，用于所述服務器上的數據接收進程將網絡流數據轉發給數據存儲進程，數據存儲進程按照配置文件將網絡流數據分配到對應的一級緩存區中進行存儲；

排序單元，用于將每個一級緩存區分別對分配過來的網絡流數據進行排序和壓縮；

寫入單元，用于將排序和壓縮后的網絡流數據寫入二級緩存區，當二級緩存區達到預定的大小時，采用追加寫的方式將壓縮后的數據文件寫入到相應的存儲文件中。

優選的，所述云端包括：

流數據處理系統、控制器和關系型數據庫，所述云端中的流數據處理系統存儲接收到的流數據，并存儲為歷史數據；所述控制器查詢流數據處理系統中的歷史數據將其存儲到關系型數據庫，并且從流數據庫中將這些數據刪除。

優選的，所述裝置還包括：

第一顯示單元，用于采用窗口顯示類顯示實時流數據；

第一發送單元，用于接收客戶端的應用層通過服務端發送數據查詢請求；

查詢單元，用于所述控制器根據不同的查詢的請求從數據庫中查詢不同的數據；

第二發送單元，用于所述控制器將查詢到的數據發送給數據查詢類；

傳送單元，用于數據查詢類將數據傳送至數據類；

第二顯示單元，用于數據類根據用戶的動作顯示實時數據或者歷史數據。

附圖說明

為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。

圖1為一種流數據存儲方法的流程圖。

圖2為另一種流數據存儲方法的流程圖。

圖3為一種流數據存儲裝置的結構圖。

具體實施方式

下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基于本發明中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。

圖1為一種流數據存儲方法的流程圖，應用于服務器，包括物聯網層，云端，網關、數據采集器，物聯網層與云端物理連接，所述方法包括如下步驟：

A、物聯網固定時間間隔的采集用戶提交的數據查詢請求；

B、分析查詢請求，包括查詢請求的時間屬性及特征屬性；

C、根據時間屬性和特征屬性，選定分段的數量和分段的端點，并根據劃分的分段中待查詢數據的存儲量選定待寫入的緩存區的大小；

D、根據時間屬性、特征屬性、待查詢數據的存儲量、分段的端點和待寫入的緩存區的大小生成配置文件，并將配置文件存儲于文件服務器上；

E、數據采集器接收網絡流數據，并將網絡流數據轉發給文件服務器，服務器上的接收進程接收轉發來的網絡流數據；

F、服務器讀取配置文件，按照配置文件存儲接收到的網絡流數據。

進一步的，云端包括：流數據處理系統、控制器和關系型數據庫，云端中的流數據處理系統存儲接收到的流數據，并存儲為歷史數據；控制器查詢流數據處理系統中的歷史數據將其存儲到關系型數據庫，并且從流數據庫中將這些數據刪除。

進一步的，時間屬性的時間跨度及每個特征屬性的出現頻率，根據每個特征屬性的出現頻率，選擇超出預設出現頻率的閾值的特征屬性進行確定。

進一步的，流數據處理系統采用HDFS分布式文件存儲系統與Impala平臺相結合的數據處理系統。

圖2為另一種流數據存儲方法的流程圖，在圖1的基礎上，方法還包括如下步驟：

G、采用窗口顯示類顯示實時流數據；

H、接收客戶端的應用層通過服務端發送數據查詢請求；

I、控制器根據不同的查詢的請求從數據庫中查詢不同的數據；

J、控制器將查詢到的數據發送給數據查詢類；

K、數據查詢類將數據傳送至數據類；

L、數據類根據用戶的動作顯示實時數據或者歷史數據。

進一步的，方法還包括：

服務器上的數據接收進程將網絡流數據轉發給數據存儲進程，數據存儲進程按照配置文件將網絡流數據分配到對應的一級緩存區中進行存儲；

每個一級緩存區分別對分配過來的網絡流數據進行排序和壓縮；

將排序和壓縮后的網絡流數據寫入二級緩存區，當二級緩存區達到預定的大小時，采用追加寫的方式將壓縮后的數據文件寫入到相應的存儲文件中。

圖3為一種流數據存儲裝置的結構圖，所述裝置包括：

采集單元a，用于物聯網固定時間間隔的采集用戶提交的數據查詢請求；

分析單元b，用于分析查詢請求，包括查詢請求的時間屬性及特征屬性；

選定單元c，用于根據時間屬性和特征屬性，選定分段的數量和分段的端點，并根據劃分的分段中待查詢數據的存儲量選定待寫入的緩存區的大小；

生成單元d，用于根據時間屬性、特征屬性、待查詢數據的存儲量、分段的端點和待寫入的緩存區的大小生成配置文件，并將配置文件存儲于文件服務器上；

第一轉發單元e，用于數據采集器接收網絡流數據，并將網絡流數據轉發給文件服務器，服務器上的接收進程接收轉發來的網絡流數據；

存儲單元f，用于服務器讀取配置文件，按照配置文件存儲接收到的網絡流數據。

進一步的，裝置還包括：

第二轉發單元，用于服務器上的數據接收進程將網絡流數據轉發給數據存儲進程，數據存儲進程按照配置文件將網絡流數據分配到對應的一級緩存區中進行存儲；

排序單元，用于將每個一級緩存區分別對分配過來的網絡流數據進行排序和壓縮；

寫入單元，用于將排序和壓縮后的網絡流數據寫入二級緩存區，當二級緩存區達到預定的大小時，采用追加寫的方式將壓縮后的數據文件寫入到相應的存儲文件中。

進一步的，云端包括：

流數據處理系統、控制器和關系型數據庫，云端中的流數據處理系統存儲接收到的流數據，并存儲為歷史數據；控制器查詢流數據處理系統中的歷史數據將其存儲到關系型數據庫，并且從流數據庫中將這些數據刪除。

進一步的，所述裝置還包括：

第一顯示單元，用于采用窗口顯示類顯示實時流數據；

第一發送單元，用于接收客戶端的應用層通過服務端發送數據查詢請求；

查詢單元，用于控制器根據不同的查詢的請求從數據庫中查詢不同的數據；

第二發送單元，用于控制器將查詢到的數據發送給數據查詢類；

傳送單元，用于數據查詢類將數據傳送至數據類；

第二顯示單元，用于數據類根據用戶的動作顯示實時數據或者歷史數據。

需要說明的是，在本文中，諸如第一和第二等之類的關系術語僅僅用來將一個實體或者操作與另一個實體或操作區分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關系或者順序。而且，術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，并不排除在包括所述要素的過程、方法、物品或者設備中還存在另外的相同要素。

本說明書中的各個實施例均采用相關的方式描述，各個實施例之間相同相似的部分互相參見即可，每個實施例重點說明的都是與其他實施例的不同之處。尤其，對于裝置實施例而言，由于其基本相似于方法實施例，所以描述的比較簡單，相關之處參見方法實施例的部分說明即可。

本領域普通技術人員可以理解實現上述方法實施方式中的全部或部分步驟是可以通過程序來指令相關的硬件來完成，所述程序可以存儲于計算機可讀取存儲介質中，這里所稱得的存儲介質，如：ROM/RAM、磁碟、光盤等。

以上所述僅為本發明的較佳實施例而已，并非用于限定本發明的保護范圍。凡在本發明的精神和原則之內所作的任何修改、等同替換、改進等，均包含在本發明的保護范圍內。