專利名稱：一種多源數據轉換服務裝置的制作方法
技術領域：
本實用新型涉及一種高級應用系統(如決策支持、數據挖掘、報表統計等系 統)與基本業務系統(如進、銷、存系統，管理信息系統，辦公自動化系統)之間 的數據交換技術，尤其涉及電力、電信、金融、航空、零售等行業系統信息化 管理中用以提高數據轉換的效率、降低高級應用系統的開發維護成本、節約硬 件和網絡資源的多源數據轉換服務裝置。
背景技術：
當前，電力系統的調度通信中心，已建立了以能量管理系統EMS(Energy Management System)、調度信息管理系統DMIS(Dispatching Management Information System)、電力市場運營系統等為代表的基本業務系統。除了這些基本業務系統， 電力系統的調度通信中心(簡稱電力調度中心)各個部門為了滿足具體的工作需 要，還需在以上基本業務系統的基礎上，針對特定需求建立一些較為高級的應用系 統，如可視化監視系統、模擬仿真系統、數據分析系統、報表系統、數據挖掘系統 等。這些高級應用系統所需的數據，往往源自一個或多個基本業務系統。因此，在 建立高級應用系統的過程中，如何從多個基本業務系統采集、清洗、轉換數據，即 數據集成工作，是一個必須解決的問題。參見圖1， 一方面，如前所述的基本業務系統，是針對不同部門的業務需 求，如，能量管理系統、調度信息系統、電力市場運營系統和其它業務系統， 均由不同的開發單位獨立研制建立的。因此，各系統數據庫系統的類型、數據 表的格式、數據采集的周期等均不相同。這一情況，給高級應用系統的數據集 成工作，造成了困難，例如1) 多個數據源之間數據格式不統一，增加高級應用系統的開發難度；2) 高級應用系統服務器需要配置適用于不同數據庫類型的數據驅動程序，占用 系統資源，增加系統負擔；3) 應用程序的數據導入工作，占用系統資源，影響系統運行效率；4) 多個數據源中，均不同程度的存在數據遺漏和壞數據問題，降低了高級應用 程序的運行穩定性。參見圖2，另一方面，由于各個高級應用系統也是由各個業務部門根據實際需要先后提出并獨立開發的，因此，每個高級應用系統均獨立進行多數據源的數據導 入、清洗和轉換工作。對于高級應用系統的開發和運行存在以下問題1) 每一個高級應用程序都需要準備各類數據源的數據驅動程序，數據驅動的安 裝、更新和維護工作必須由高級應用系統負責。驅動程序本身的安裝會占用系統服 務器的資源，驅動程序的運行和版本沖突，會對降低高級應用程序的運行穩定性。2) 每一個高級應用程序在開發時都需要收集并理解各個業務系統的數據庫結 構，數據表格式，甚至各個原始參數的含義，以便讀懂該業務數據庫并導出所需數 據，增加了高級應用程序的開發工作量。3) 每一個高級應用程序都需要對各個業務數據的壞數據進行清理和轉換，壞數據往往是在極特殊條件下出現的，實際中，高級應用系統往往沒有足夠的預算和精 力專門對各個業務系統的壞數據進行專門的研究并建立對策，因此難以避免受到壞 數據的影響而降低系統運行的穩定性。如果專門深入的研究并處理各個業務系統的 壞數據，又會大大增加高級應用系統的開發成本。由于各基本業務系統和各高級應用系統都是分別、獨立進行設計、開發，分別負責各自的,更新、升級和維護工作，沒有統一的協調管理，還會帶來以下的問題1) 重復開發問題每一個高級應用系統，為了獲取各個業務系統的數據，都需要進行完整的數據 導入、清洗和整理工作。在實際中，這些數據處理工作往往在高級應用系統開發周 期中占有很大比例，增加了開發成本。不同的高級應用程序，都先后完成同一類型 的工作，這些重復性的勞動本身并不簡單，如果不投入足夠成本，則無法保證質量， 投入成本則造成資源浪費。2) 資源浪費和運行效率問題在實際中，各個高級應用程序都是獨立立項、獨立預算的。假如高級應用系統 本身需要運行在l臺服務器上，如果不額外增加預算，那么數據集成工作也需在同一臺服務器下運行。高級應用系統的運行勢必收到數據集成工作的影響而降低效 率。如果額外配置另一臺服務器，則會造成較大的資源浪費。3)維護成本的增加在現有方案下，當基本業務系統進行更新改造時，如果涉及到數據庫的變化， 局域網的變化，哪怕是很小的變化，都會對基于該業務系統數據的高級應用系統造 成嚴重的影響，所有高級應用系統都需要進行相應的改造。從另一個角度看，假如 某一高級應用系統，用到了5個基本業務系統的數據，那么這5個業務系統任何一個 進行更新，高級應用系統都不得不進行相應的修改，頻繁的系統升級改造，會影響 高級應用系統的正常連續運行，也會帶來維護成本的增加。因此，為解決以上數據集成問題，即將各基本業務系統中不同數據庫系統、不同格式的數據，分別進行數據導入、數據清洗和數據轉換，并以重新設計的統一 的數據格式進行存儲，為各個高級應用程序提供統一格式的單一數據平臺，本申請 人力求通過設計一個獨立的多數據源數據清洗與轉換的數據轉換服務裝置，來承擔 全部的數據采集、轉換和集成工作，將數據采集與高級應用系統分開，以避免各個 高級應用系統的重復開發、減少日常數據的重復導入，節約系統資源、減少錯誤幾 率、提高系統穩定性。實用新型內容本實用新型旨在提供一種獨立的多源數據轉換服務裝置，將數據轉換與應 用系統分離，實現對包括電力信息系統的多個不同類型的分布數據源的數據導 入、清洗和轉換工作，提高數據轉換的效率，提高應用系統的運行穩定性。本實用新型所提供的一種多源數據轉換服務裝置，包括局域網，其特征在于-它還包括設置在局域網中的相互連接的數據存儲服務器和數據導出服務器，以及分 別與所述的數據存儲服務器和數據導出服務器相連接的數據轉換調度服務器，數據轉換調度服務器，用于運行數據轉換服務的調度程序，負責實時發布數據轉換調度命令，指揮數據存儲服務器和數據導出服務器的運行；數據存儲服務器，用于負責接受數據轉換調度命令，根據要求從各業務數據庫 導入所需數據；數據導出服務器，用于負責接受數據轉換調度命令，根據要求從數據存儲服務器中讀取所需數據，并發布給需要數據的高級應用系統。上述的多源數據轉換服務裝置，還外接各基本業務系統服務器，并與各高級應 用系統服務器連接。本實用新型與現有技術相比所具有的優點或積極效果1. 用獨立的裝置專門負責如電力調度中心中的各類高級應用系統與各類基本 業務系統的數據交換工作，提高數據轉換的效率，保證數據轉換的正確性和及時性；2. 各高級應用系統只需從數據轉換服務裝置中獲取數據，省去了復雜的數據 轉換工作量，節省了開發成本、維護成本；3. 將高級應用系統與數據轉換分離，節約了硬件資源，提高了應用系統的運 行效率和運行穩定性
圖l是兩類系統即基本業務系統和高級應用系統間的數據交換示意圖；圖2是現有的基本業務系統和高級應用系統間數據流程的示意圖；圖3是本實用新型多源數據轉換服務裝置硬件結構示意圖。
具體實施方式
本實用新型的基本思路1) 多源數據轉換服務裝置獨立于各個基本業務系統，也獨立于各個高級應用 系統；2) 多源數據轉換服務裝置對各個髙級應用系統提供的公共的數據服務；3) 多源數據轉換服務裝置以各基本業務系統為數據源；4) 多源數據轉換服務裝置面向各高級應用系統，提供數據服務，滿足所需的 數據要求。如圖3所示，本實用新型多源數據轉換服務裝置的硬件配置，包括設置在局域 網中的數據轉換調度服務器l、數據存儲服務器2、數據導出服務器3。數據轉換調度服務器h選取一臺高配置CPU、高內存容量的PC服務器，運行 數據轉換服務的調度程序，負責實時發布數據轉換調度命令，指揮數據存儲服務器 和數據導出服務器的運行；數據存儲服務器2:選取一臺具有大容量硬盤的PC服務器，負責接受數據轉換調度命令，根據要求從各業務數據庫導入所需數據；數據導出服務器3:選取一臺高配置CPS、高內存容量的PC服務器，負責接受 數據轉換調度命令，根據要求從數據存儲服務器中讀取所需數據，并發布給需要數 據的高級應用系統。數據轉換服務裝置應運行在企業局域網中，并保證a. 與各基本業務系統服務器的連接；b. 與各高級應用系統服務的連接； C.足夠的網絡帶寬(100M)。本實用新型通過設計一個獨立的多數據源數據清洗與轉換的數據轉換服務裝 置，來承擔全部的數據采集、轉換和集成工作，將數據采集與高級應用系統分開， 以避免各個高級應用系統的重復開發、減少日常數據的重復導入，節約系統資源、 減少錯誤幾率、提高系統穩定性。本實用新型不僅僅可用于電力系統信息化的改造中。目前，電信、金融、航空、 零售等很多行業都實現了比較全面的信息化管理。信息化的進一步發展將由當前的 業務管理轉向高級的智能分析和決策。在這一過程中，高級應用系統(如決策支持、 數據挖掘、報表統計等系統)與基本業務系統(如進、銷、存系統，管理信息系統， 辦公自動化系統)之間的數據交換，是一個比較普遍的問題。將本實用新型推廣應 用的到這些領域，將數據轉換與高級應用相分離，將數據轉換獨立為一個專門的裝 置，將會大大提高數據轉換的效率，降低高級應用系統的開發維護成本，節約硬件 和網絡資源。以上結合附圖實施例對本實用新型進行了詳細說明，本領域中普通技術人 員可根據上述說明對本實用新型做出種種變化例。因而，實施例中的某些細節 不應構成對本實用新型的限定，本實用新型將以所附權利要求書界定的范圍作 為本實用新型的保護范圍。
權利要求1.一種多源數據轉換服務裝置，包括局域網，其特征在于它還包括設置在局域網中的相互連接的數據存儲服務器和數據導出服務器，以及分別與所述的數據存儲服務器和數據導出服務器相連接的數據轉換調度服務器，數據轉換調度服務器，用于運行數據轉換服務的調度程序，負責實時發布數據轉換調度命令，指揮數據存儲服務器和數據導出服務器的運行；數據存儲服務器，用于負責接受數據轉換調度命令，根據要求從各業務數據庫導入所需數據；數據導出服務器，用于負責接受數據轉換調度命令，根據要求從數據存儲服務器中讀取所需數據，并發布給需要數據的高級應用系統。
2. 根據權利要求l所述的多源數據轉換服務裝置，其特征在于它外接各基本 業務系統服務器，并與各高級應用系統服務器連接。
專利摘要本實用新型涉及一種多源數據轉換服務裝置，包括局域網，其特征在于它還包括設置在局域網中的相互連接的數據存儲服務器和數據導出服務器，以及分別與所述的數據存儲服務器和數據導出服務器相連接的數據轉換調度服務器。本實用新型的優點是1)用獨立的裝置專門負責各類高級應用系統與各類基本業務系統的數據交換工作，提高數據轉換的效率，保證數據轉換的正確性和及時性；2)各高級應用系統只需從多源數據轉換服務裝置中獲取數據，省去了復雜的數據轉換工作量，節省了開發成本、維護成本；3)將高級應用系統與數據轉換分離，節約了硬件資源，提高了應用系統的運行效率和運行穩定性。
文檔編號G06F17/30GK201117007SQ20072019873
公開日2008年9月17日 申請日期2007年11月30日 優先權日2007年11月30日
發明者何光宇, 劉敦楠, 李瑞慶, 王治華, 陳雪青 申請人:上海市電力公司;清華大學