一種整合實時和非實時模式的大數據分析系統的制作方法
【技術領域】
[0001]本發明涉及大數據分析技術，更具體地，涉及一種整合實時和非實時模式的大數據分析系統。
【背景技術】
[0002]伴隨著以互聯網為基礎的信息化服務的深度發展，例如社交網絡全面應用、物聯網技術的逐漸推廣、電子商務和線上支付的日益普及等等，各種互聯網平臺所生成的數據量也呈現出急劇增長的態勢。據統計，目前全球互聯網之上的數據總量已經達到ZB級別(1ZB等于I萬億GB)，并且以每兩年提高一倍的速度繼續快速增加。預計在2020年，人均擁有數據量將達到5200GB，屆時人們的工作、教育、社交、娛樂、購物、醫療、投資等活動有可能都將依托各種互聯網服務展開，并且產生各種形式的相關數據。
[0003]大數據分析技術就是將互聯網平臺上的海量數據作為對象進行查詢、挖掘和分析，獲得海量數據中的有效部分，并且從有效部分中提取出反映某些規律性的信息。通過對這些信息加以利用，可以取得互聯網平臺用戶的總體和個體特征，執行用戶需求的合理預測，改善服務和用戶體驗。在基于大數據分析技術的后臺之上，可以實現有針對性的服務流程優化、目標化消息及廣告推送、用戶體驗的個性化改善等功能。
[0004]互聯網平臺的大數據分析體現出如下的特點:首先，作為分析目標的數據規模龐大，一般只有具備100TB以上的可分析數據才能夠稱之為大數據分析，但實際大數據分析系統的目標數據量都遠遠超過這一下限。第二，作為分析目標的數據呈現充分的多源化和異構性。在早期的數據分析模式當中，數據多是通過專門用于執行用戶反饋信息收集或采樣的表單頁面生成的結構化數據，數據的單位和格式也基本相同，而在當前的互聯網服務平臺當中，分析目標數據伴隨著整個互聯網服務的運行流程而生成，例如用戶在網絡論壇的發帖、在社交網絡平臺的轉發、在多媒體內容提供服務中的點播記錄以及在電子商務行為中的瀏覽和交易記錄，都是大數據分析的目標，可見數據來源呈現出復雜的多源化狀態。而且，目標數據的數據類型和數據結構繁多，具有預定格式的結構化數據只占目標數據的一部分，海量的照片、視頻、動態圖形、聊天記錄、網帖等等以非統一結構的數據形式存在，還具有非結構化的數據流，例如傳感器實時數據等。多源化的數據來源和復雜化的數據結構使得大數據分析系統難以用傳統的數據庫表單加以表示，因而大數據分析系統必須具有面向非結構化的數據的處理和分析機制。第三，大數據分析系統要求較快的處理速度，理想狀態是達到實時分析。一方面，互聯網數據量呈現迅速增長的趨勢，客觀上要求大數據分析系統實現較快的數據處理；另一方面，互聯網數據的價值具有隨著時間延遲而迅速衰減的特點，互聯網服務自身的特性也要求能夠對用戶狀態作出盡可能快的響應。例如，在線電子商務活動中，用戶的購買需求具有很強的時效性，當用戶針對某一類產品進行瀏覽時，就要求電子商務平臺在該用戶行為持續的有效時間內正確分析用戶的需要并給予相關的產品推薦等服務，而這一有效時間可能只有十分鐘以內的持續期，可見支持這一運行模式的大數據分析系統必須具備快速的數據處理和分析能力。第四，大數據分析的目標數據價值密度低。大數據分析的目標數據主體是非統一結構化的原始數據，而且通常不執行采樣處理，而是采用全體數據，這樣能夠呈現出原始數據的全部細節，但是也會引入大量的錯誤或者無用數據，因此從整體上看，目標數據的低價值密度必然意味著大數據分析系統需要持續性地執行大量的分析運算，才能從海量的目標數據當中挖掘足夠的有效信息。
[0005]通過上述特點，我們可以看到，大數據分析的數據運算量、多源異構性數據的處理復雜度以及對高速處理分析的需要，都對大數據分析系統的運算性能提出了較高的要求。在實際應用當中，由于受到軟硬件及網絡資源的限制，難以使大數據分析的全部任務均達到實時處理和響應。因此，現有技術中的大數據分析系統一般需要構建由實時分析系統和非實時分析系統組成的雙平臺架構。
[0006]在現有技術中，實時分析系統和非實時分析系統基于各自業務不同的時間性要求，按照不同的數據結構形式組織互聯網平臺的目標數據，響應不同的需求而分別執行不同分析計算，然后將目標數據存儲于不同的數據庫系統。為了外部訪問大數據分析結果的便利，可以為實時和非實時分析系統提供統一的中間層接口。具體如圖1所示，采集系統101實時性地獲取互聯網服務平臺的業務數據；進而，面向實時分析系統102和非實時分析系統103，采集系統101分別提取符合各系統預定分析條件的目標數據，進而按照不同的數據結構對目標數據進行組織。其中對于需要執行實時分析的數據，采集系統101按照消息流進行組織，然后把消息流實時傳輸到實時分析系統102。而對于執行非實時分析的數據，則由采集系統101將數據集成為日志數據，然后按照定時傳輸給非實時分析系統103進行處理和分析。實時分析系統102基于對所述消息流的分析所形成實時性結果數據，該實時性結果數據被傳送至對外部查詢請求的響應具有良好的時間性的實時集中數據庫系統104 ;實時分析系統102和非實時分析系統103均可以產生非實時性結果數據，該非實時性結果數據可以被傳送至非實時性分布數據庫系統105進行保存。各個具有實時或者非實時響應要求的外部應用線程107通過統一的中間層接口 106訪問實時集中數據庫系統104和非實時性分布數據庫系統105，對實時性和非實時性結果數據進行查詢，所獲得的查詢結果能夠為外部應用線程107的功能實現提供支持。
[0007]現有技術由于采用了實時分析系統和非實時分析系統二者分立存在的雙平臺架構，因而存在一定的缺陷。具體來看，雖然整個系統采用了統一的接口向外部應用提供服務，但是在內部，實時分析系統和非實時分析系統在數據結構、分析處理算法和結果反饋等方面都呈現完全不同的機制，因而基本上處在彼此分離運行的狀態，二者無法進行有效的整合，具有對相同目標數據執行重復分析造成資源配置低效的問題，也存在實時分析和非實時分析之間不能實現數據和結果交互的缺陷。例如，在線電子商務活動中，用戶針對產品的瀏覽、搜索、加入購物車等行為記錄數據會在實時分析系統中得到處理，從而獲得實時性的響應結果，例如對用戶給予同類商品或者關聯商品的即時廣告推送；另一方面，用戶的上述行為記錄也會被納入相關日志數據的一部分，在之后的特定定時期間被傳送至非實時分析系統，用于執行對用戶行為模式的分析。上述模式在一定程度上存在重復性計算，對實時和非實時分析結果的融合在現有架構中也比較難以實現。
[0008]同時，雙平臺獨立架構以及平臺當中完全異構化的數據和計算方式也造成大數據分析系統整體復雜度加大，難以用統一的模式進行資源分配、任務管理和過程控制，使得大數據分析系統在建設、運行和維護方面的難度和成本都會增加。
【發明內容】
[0009]基于現有技術中的上述缺陷，本發明提供了一種整合實時和非實時模式的大數據分析系統。本發明對外通過統一的中間層接口提供具有實時響應和非實時響應的大數據分析業務，內部則建立了面向實時模式與非實時模式二者統一的數據結構、分析處理運算和結果反饋機制，并且通過基于優先權重參數的資源分配和任務調度，滿足不同分析任務實時或者非實時性的響應時間要求。
[0010]本發明所述的整合實時和非實時模式的大數據分析系統，其特征在于，包括:
[0011]采集系統，用