專利名稱：軌道交通票務數據分級分類處理系統及其方法
技術領域：
本發明屬于交通控制領域，尤其涉及一種用于軌道交通的票務數 據分級分類處理系統及其方法。
背景技術：
隨著世界經濟和科技的不斷發展，全球城市軌道交通已進入了新 一輪發展階段。在布局上，實現從"單線建設"，向多層次、立體化、 綜合性的"網絡化"建設轉變；在功能上，實現以了智能化、信息化 為標志的大客流、大線網、大交易量的智能管理系統。城市軌道交通智能管理系統的發達程度，不僅成為市民日常出行 的重要交通工具先進性的表征，更是體現城市綜合競爭力的基礎，對 國民經濟的發展，乃至"和諧社會"的建設，將起著越來越大的作用。 目前我國的城市軌道交通的系統、設施及其產業，已從局部大城市的 點布設，向中等城市和網面的布設轉變，形成了產業雛形；己成為全 球增長最快、最大的區域性市場。截至2006年年底，我國的上海、 北京、廣州、深圳等10個城市已擁有軌道交通運營里程504.63公里 (上海到2007年底累計建成230公里)。到2020年，全國將有近25 個城市要建設總長1500公里的軌道交通，其中上海將建成18條線， 總里程970公里；到2050年，我國總建設里程可達5000公里，總投 資估算將超過8000億元。在我國網絡化、智能化的城市軌道交通的快速、規模化的建設與 發展背景下，呈現出巨大的現實和潛在的城市軌道交通市場。目前，在各種大型數據應用系統中，通常都借助于數據倉庫技術、 利用系統軟件、數據倉庫軟件等提供的數據挖掘工具完成數據挖掘功能，但是當數據量巨大時，為了實現多種復雜的分析運算，數據挖掘 的效率比較低，靈活性不強，且需要消耗相當多的系統資源，投入較 多的硬件成本，因此，需要一種能便捷高效且低成本的數據挖掘方法。 城市的大型軌道交通中票務系統的數據處理，正是這樣一種大數據量 的數據應用場合，對于其數據處理中的數據挖掘方式，處理匯總以及 存儲備份，因為軌道交通的隨機性、即時性，尤其需要一種便捷高效 的票務數據處理系統來實現。發明內容本發明提供了一種票務數據分級分類處理系統及其方法，其目的 在于提高大數據量下票務數據挖掘的效率和靈活性，并盡量減少硬件 系統的投入。采用一種可靈活配置、分級分層的數據挖掘方式，先對 數據預處理，簡化后臺處理的復雜度，然后通過流水線方式的模塊并 行處理，提高處理效率。本發明所述票務數據分級分類處理系統包括聯機交易模塊，接 收來自各層終端和外部系統的交易數據并裝載入庫；交易預處理進程 模塊，實現數據交驗、分離、歸類，為后續專門化清分處理做準備； 交易清分進程模塊，通過分批次，多進程并發，多機負載均衡、容錯 技術等技術、靈活配置，實現高性能的數據處理；報表生成模塊，根 據不同的使用需要將數據處理結果輸出成各種報表和統計文件；數據 清理備份模塊，完成數據的清理、備份、恢復等。所述交易預處理進程模塊包括線內交易預處理模塊、跨線交易 預處理模塊、異常交易預處理模塊、充值交易預處理模塊、消費交易 預處理模塊、非法交易預處理模塊。所述交易清分進程模塊包括線內交易清分模塊、跨線交易清分 模塊、異常交易清分模塊、充值交易清分模塊、消費交易清分模塊， 非法交易清分模塊。系統對票務數據的處理方式如下采集交易數據車站閘機采集和處理原始交易數據，在車站和線 路中央各級別完成數據的初步加工、統計后上送聯機交易模塊。預處理聯機交易模塊對數據進行預處理，完成數據合法性校驗， 根據交易類型對原始數據進行分離，并通過分段、分組，使后續處理 的復雜度降低，并為不同數據之間的并行處理創造了條件。清分處理根據數據的不同特性及類型，采用分批次多進程并發 處理方式，在數據經過專門預處理的基礎上，充分利用多機資源，實 現高性能、高可用性，高可靠性和高可擴展性的數據清分處理。結果整合由于數據已經經過了精細清分，可使系統很容易地生 成各種統計文件和報表，滿足不同的管理、監控等的需要。清理備份完成數據的備份和清理，釋放更多的系統資源，使系 統可以持續地、高效地完成數據處理工作。本發明使票務系統的數據挖掘工作效率可以大大提高，尤其是通 過了分級、分批次的并行處理等方式后，使原本需要大量硬件資源、 消耗大量時間才能完成的數據挖掘工作，變成在各級設備中即可完成 的，數據專一化的，處理簡單的多個步驟，從而解決了大數據量數據 處理中的瓶頸，提高了數據挖掘的效率。
圖1為本發明所述票務數據分級分類處理系統的數據流程圖； 圖2為本發明所述票務數據分級分類處理系統的模塊結構圖。
具體實施方式
下面結合說明書附圖，針對本發明的一個具體實施例進行介紹。 軌道交通的票務數據處理主要包括對各線路中央系統上送的售 票交易、消費交易、對交易記錄進行的清分處理、文件生成、報表生成以及對應用數據的備份清理等幾個方面。交易數據由聯機交易模塊接收并裝載入庫，由于其數據量非常 大，需要把對性能要求特別嚴格的數據清分過程拆分為"預處理"與 "交易清分"二個步驟。其中預處理包括交易記錄的合法性檢査與交 易日志數據的"分離"(即交易日志解析)，其處理數據來源是由聯 機交易模塊生成的交易日志，其處理結果是各種類型的常規交易數 據、異常交易數據和可疑交易數據軌道。這些被"分離"的交易數據 分別存儲，且不包含交易日志中某些對處理無意義的數據字段。如附圖1及圖2 ，本發明所述的票務數據處理總體流程如下對聯機交易模塊所采集的票務數據根據類型分為一票換乘式以 及交通卡交易，其中一票換乘方式還細分為線內交易、跨線交易、異 常交易，交通卡交易細分為充值交易、消費交易、非法交易。各種交易數據先通過預處理進行分離，輸入相對應的預處理模 塊，最終通過各自交易清分模塊進行終處理，每類交易乃至每一批交 易都可以進行并行處理，相對獨立。1、 預處理在交易日志解析處理中采用并發控制、多進程并行處理技術以滿 足系統的性能指標。交易日志解析可以采用多個服務進程并發的設計 原則，并且隨著交易量的變化，可以靈活的配置服務進程的數量，配 置方式有以下選擇(1)可以一個服務進程處理多條交易量較小的 線路(2)以單服務進程處理中等規模交易量的線路(3)以多個服務 進程同時處理大交易量的某條線路，多個服務進程按車站劃分，并發 執行。上述實現方案為清分預處理從架構設計層面提供了巨大的靈活 性和全新的處理性能2、 交易清分在交易記錄的清分處理過程中，可以采取多批次清分、流程化控 制、并發控制、多機處理技術、容錯技術、費率與分成方案的高可配 置性等技術，實現清分批處理的高性能、高可用性/高可靠性和高可 擴展性。(1) 多批次清分首先，規定每日進行的最大清分批次數目，再由技術人員設置每 日實際進行的清分批次。批次清分策略實際上可以認為是處理流程上 的"流水線化"。亦即各批次的處理由于有批次號進行控制，因此 各批次的處理是可以重疊的。這一并行流水線方案使得清分處理負載 可以基本上均勻分布在整個清分處理期。采用多批次清分的另一優勢是由于每日交易量非常大，當由于 某些原因導致清分處理中斷時，可以從中斷處的批次開始恢復；或如 果確認由于某批次出現數據錯誤(通常人工操作有造成這一錯誤的可 能性)，則只需要對該批次數據進行單獨處理。(2) 并發技術可以通過一定的分區規則，將清分數據劃分成不同的邏輯分區， 在清分過程中啟動多個清分進程， 一個清分進程一次只處理一個邏輯 分區，每個清分進程每次處理的記錄個數根據邏輯分區來確定。清分 進程劃分為多個可最大限度地利用CPU資源，邏輯分區的劃分可最 大限度提高IO性能。清分進程的數量、分區塊大小的調整需通過實 驗來確定最佳組合。清分流程每個步驟進程的并發個數可以進行合理 配置。(3) 多機擴展在清分系統設計過程中，通過技術手段保證各清分批次數據的相 對獨立，不同批次清分流程可以通過人工在操作界面上指定在不同的 機器上實現并發執行，各清分批次無時間上的依賴關系。由于在各個批次的清分過程中，可能會出現各種不同的異常情 況，因此在清分出錯的情況下，系統應提供重新進行批次清分的功能。 提供的容錯策略為按步驟重新清分。對于某一步驟有誤，只需要重新由該步驟開始， 而不需要重新進行整個批次清分流程，以縮短批次清分所需要的時 間。重新進行批次清分。對于必須重新進行整個批次清分流程時，提 供重新進行批次清分的手段。多機進行批次清分。當推遲清分造成時間延誤時或需要重做批次 清分時，可以同時在多個應用服務器上執行不同批次的清分流程，以 保證在日終時，按時完成當天所有場次的清分、清算。 (5)流程控制技術由于系統中每日需要針對不同類型的交易數據(經清分預處理分 類)進行多個批次的清分，而每種交易數據類型及其清分批次需要進 行的動作或流程又基本類似，因此通過對流程中各個動作的抽象，將 流程通過不同動作組合形成的表的形式描述出來，然后由調度服務根 據流程表進行不同動作的調度，進而完成不同清分場次所需的清分功 能。3、 報表生成文件生成主要完成各種清分流水、對帳文件、報表文件及統計文 件的生成。在生成報表時通常采用專門的報表工具對清分的基礎結果按照不同的口徑進行匯總，并通過不同的方式(如PDF等)展示出來。 清分批處理為這些報表工具生成報表數據。在對報表工具使用時通常可以結合數據倉庫技術及OLAP技術 對各種數據進行深度分析，以形成各種報表。4、 清理備份數據清理和備份中的技術問題主要包括如下的內容歷史表的表空間；按照一定的規則，同時按照不同的條件在不同的歷史表上設置不 同的、合理的分區及索引，并且相關的分區/索引組合需要按照一定 的實驗結果來進行設定。并發技術；由于需要備份的數據量很大，因此在進行數據備份時需要考慮并 發技術，以提高系統的整體性能。 應用容錯；在應用數據備份的過程中，系統提供重新備份的功能，并在重新 進行備份的過程中解決"索引熱塊"的問題，以避免備份性能的急劇 下降。數據庫容錯；結合數據庫的恢復技術，以保證在數據出現異常的情況下，通過 數據庫的archive方式，恢復數據。 5、數據清理；根據設定的數據清理的周期，整表備份整表刪除，以避免由于記 錄刪除造成索引發散而導致的表性能下降問題。本發明對于預處理后的后續交易記錄處理，針對各類數據的不同 要求設計不同的處理模塊，并行處理。這種方式帶來了以下優點(1) 后續最為耗時的交易記錄處理過程被拆分為不同模塊并行 運行，提高了處理性能。同時，模塊化處理也利于未來業務的擴展。(2) 經分離為二個步驟后，二個步驟可同時運行，形成了應用 的流水線處理方式，提高了處理性能。分離后，交易記錄處理的數據庫表的數據量規模大大減少，這對 特大數據量系統的數據庫訪問性能的改善具有十分重要意義。以上介紹是基于本發明的一個較佳實施例，并不能以此來限定本 發明的范圍。任何對本發明的機制作本技術領域內熟知的模塊的替 換、組合、分立，以及對本發明實施步驟作本技術領域內熟知的等同 改變或替換均不超出本發明的揭露以及保護范圍。
權利要求
1、一種軌道交通票務數據分級分類處理系統，其特征在于包括聯機交易模塊、交易預處理進程模塊、交易清分進程模塊；所述交易預處理進程模塊包括線內交易預處理模塊、跨線交易預處理模塊、異常交易預處理模塊、充值交易預處理模塊、消費交易預處理模塊、非法交易預處理模塊；所述交易清分進程模塊包括線內交易清分模塊、跨線交易清分模塊、異常交易清分模塊、充值交易清分模塊、消費交易清分模塊，非法交易清分模塊；所述聯機交易模塊接收來自終端和外部系統的交易數據，并裝載入庫，送入交易預處理進程模塊進行預處理，交易預處理進程模塊與交易清分模塊相連接。
2、 如權利要求1所述的一種軌道交通票務數據分級分類處理系 統，其特征在于包括報表生成模塊，與交易清分模塊相連接，根據使 用需要將數據處理結果輸出成報表以及統計文件。
3、 如權利要求1所述的一種軌道交通票務數據分級分類處理系 統，其特征在于還包括數據清理備份模塊，與交易清分模塊相連接， 完成數據的清理、備份、恢復。
4、 如權利要求1所述的一種軌道交通票務數據分級分類處理系 統，其特征在于所述線內交易預處理模塊，完成一票換乘的線內交易 數據預處理，并將預處理數據傳送給線內交易清分模塊；所述跨線交 易預處理模塊，完成一票換乘的跨線交易數據預處理，并將預處理數 據傳送給跨線交易清分模塊；所述異常交易預處理模塊，完成異常數 據預處理，并將預處理數據傳送給異常交易清分模塊。
5、 如權利要求1所述的一種軌道交通票務數據分級分類處理系 統，其特征在于所述充值交易預處理模塊，完成交通卡的充值交易數實際需求，不能保障過程數據的利用率和大型服務性企業各個層面在即時戰略和戰術制訂 中的數據需求，因此需要調整和優化，使之更加適合大型服務性企業的企業特點和應用需 求。發明內容本發明所要解決的技術問題就是電信用戶滿意度指數(TCSI)滿足不了大型服務性企 業客戶意見收集應用的實際需求，不能保障過程數據的利用率和大型服務性企業各個層面 在即時戰略和戰術制訂中的數據需求問題，提供了一種在模型結構、計算方法和指標關聯 方面對電信用戶滿意度指數(TCSI)進行了針對性的調整和優化，形成了新的客戶情報系 統(CIS)以及其應用方法和其相應的市場調查機。本發明的客戶情報系統，主要由數據采集和數據處理設備構成，其特征在于它主要包括若干個市場調查機(MRM)，是原始數據采集終端，通過232接口與服務終端相連接， 用于客戶意見、評價的原始數據的采集、編碼；一個市場調查分析系統(MRS)，是數據處理軟件，安裝在服務器端，用于對市場調查 機(MRM)采集的數據進行存儲、處理、分析、發布；若干個終端數據采集程序(TDP)，是和市場調查機(MRM)配套使用的終端軟件，是 市場調査機(MRM)與服務器連接的樞紐，安裝在服務終端上，與市場調查機(MRM) 設備同步工作，用于從服務器端接收對市場調查機(MRM)的控制信號，實現從市場調查 機(MRM)設備端接收、采集原始數據，對數據進行編碼預處理和實現對服務器端的預處 理數據上傳。上述客戶情報系統的市場調查機(MRM),由外殼和其內部部件構成，其特征在于， 外殼由翻蓋和底座構成，底座由上蓋和下蓋固定連接構成，翻蓋位于上蓋一側的上面，與 上蓋成斜面固定連接；上蓋面上右下邊設置薄膜鍵盤，其上方布置液晶顯示屏和揚聲器； 上蓋面上左側設置題板，題板通過卡槽與上蓋卡接，題板下方底座內設置控制電路板；翻 蓋下上蓋一側分別設置開關、數據接口和電源插座。市場調查機(MRM)的控制電路板由鍵盤掃描電路、語音信號放大電路、蜂鳴聲放大 電路、穩壓電路、串口通訊電路、顯示電路、CPU控制電路構成，鍵盤掃描電路與鍵盤連 接，蜂鳴聲放大電路與揚聲器連接，顯示電路與液晶顯示屏連接。鍵盤掃描電路電路主要由薄膜鍵盤接口、 CH452A型芯片組成；語音信號放大電路主
全文摘要
本發明提供了一種用于軌道交通的票務數據分級分類處理系統及其方法，包括聯機交易模塊，接收來自各層終端和外部系統的交易數據并裝載入庫；交易預處理進程模塊，實現數據交驗、分離、歸類，為后續專門化清分處理做準備；交易清分進程模塊，通過分批次，多進程對票務數據進行并行處理；報表生成模塊，根據不同的使用需要將數據處理結果輸出成各種報表和統計文件；數據清理備份模塊，完成數據的清理、備份、恢復等。采用了可靈活配置、分級分層的數據挖掘方式，先對數據預處理，簡化后臺處理的復雜度，然后通過流水線方式的模塊并行處理，簡化了系統結構，大大提高了處理效率。
文檔編號G06Q50/00GK101226624SQ20081003363
公開日2008年7月23日 申請日期2008年2月15日 優先權日2008年2月15日
發明者娟 馮, 芳 周, 周向爭, 應名洪, 亮 張, 張偉平, 朱滬生, 李國榮, 林雪峰, 畢湘利, 恒 范, 趙時旻, 顧偉華 申請人:上海申通軌道交通研究咨詢有限公司