用于評估趨勢分析系統的方法和裝置的制作方法

專利名稱：用于評估趨勢分析系統的方法和裝置的制作方法
技術領域：
本發明涉及一種趨勢分析系統，并且特別地涉及一種自評估趨勢分 析系統。
背景技術：
文本挖掘是趨勢分析技術之一，用于主要基于使用自然語言處理的 信息提取的結果，通過找出關于關鍵詞的信息片的總數和在被包含于文 檔集合內的各關鍵詞之間的依賴性信息來分析趨勢和知識。為了將趨勢 分析系統實際引入到 一新位置，必須提供像用戶字典這樣的語言資源并 且必須根據該位置的情況來調整參數，使得趨勢分析系統將能夠執行優 化分析。然而，這種調整是在反復試驗的基礎上以及/或者在經驗的基礎 上執行的，并且沒有任何技術可用于度量調整結果的有效性。此外，這 種調整還需要大量的時間和人力。
在諸如從文檔中提取或檢索信息之類的技術的情況下， 一般通過執 行從事先被給予了屬性的正確答案以及屬性之間的關聯的正確答案的 文檔中提取或檢索信息，以及通過比較該執行結果與對提取結果或檢索 結果的測量，來評估系統或技術。另一方面，在目標是從文檔集合中提 取關聯、知識和趨勢的趨勢分析系統的情況下，在實際在已安裝的地點 中使用該系統的同時，驗證對所獲得的結果的有效性的評估。換言之， 還沒有建立一種機制用于定量和定性地評估常規趨勢分析系統。因此， 當趨勢分析系統中的某個部件被改善時，很難客觀地評估該系統將被增 強的程度。以下等式已被用來計算在常規系統評估中所使用的準確度。
準確度=(系統正確地提取的關聯的數目+系統正確地提取的不關 聯的數目)/系統提取的總數目。除了上面的考慮了正確的確定的計算方
法之外，還存在另一種考慮了錯誤的確定的準確度計算方法。錯誤的確 定包括兩種類型，即假陽性和假陰性。這兩種類型在常規的準確度中被 當成是相同的確定類型來處理，并且由此在準確度中不能反映在各用戶
地點之間的差異。日本專利申請未審公開號No.2005-237441是相關現 有技術的一個例子。

發明內容
已做出本發明用于解決上述技術問題。本發明的目的是 提供一種裝置，用于客觀地評估從數據集中提取關聯、趨勢和知識 的趨勢分析系統；
提供一種趨勢分析系統，其提取數據集中各數據片的屬性之間的關 聯，并通過對該系統執行定量的評估來對該系統執行自調整；
提供一種自評估趨勢分析系統，其通過使用包含正確信息的相關數 據執行對從數據集等等中提取關聯信息片、趨勢信息片和知識信息片的 功能的定量的自評估，并執行針對功能的調整，該正確信息指示了關于 屬性之間的關聯、以及屬性的趨勢和知識的信息；
提供一種方法，該方法用于通過使用從用戶分別針對系統所做出的 假陽性和假陰性設置的容許范圍所計算的權重，將準確度計算成用于求 得系統評估的定量結果的指示符；以及
提供一種方法，用于根據包含正確信息的相關數據求得用于計算指 示符的不是作為任意值而是作為統計上合適的值的權重，以合理地評估 系統。
根據本發明，提供了一種趨勢分析系統，用于從數據集等等中提取 屬性之間的關聯(例如，A和B有關聯)。在可以獲得包含正確信息的 相關數據的情況下，所述趨勢分析系統通過使用指示符來對該系統自身 執行定量評估并且接著執行自調整，該正確信息包括關于屬性之間的已 知關聯的信息。所述評估指示符指示由系統從數據集中提取的關聯/趨勢 信息覆蓋了多少包含正確信息的相關數據中的信息，該正確信息指示存 在或不存在關聯。通過使用 一種確定該評估指示符的方法來執行對該系
統的定量評估。
根據本發明，從由用戶分別設置的針對假陽性和假陰性的數目的容 許范圍求得用于假陽性和假陰性的數目的懲罰分數(權重)，并接著通 過使用該懲罰分數來計算準確度。如果所述懲罰分數被給定為任意值， 則該系統不能被合理地評估，并且由此可能執行不合適的調整和反饋。 出于這種原因，在本發明中，求得用于包含著正確信息的相關數據的統 計上適合的懲罰分數，以便合理地評估該系統。本發明的趨勢分析系統 可以不通過使用包含正確信息的相關數據而通過使用這些懲罰分數來 找出合理的準確度。當通過調整參數或更新用于下一次挖掘的字典來改 變系統時，系統執行客觀的自評估，其示出根據關聯信息或趨勢信息的 存在或不存在(二進制分配問題)由系統所提取的假陽性和假陰性的數 目相比用戶所希望的數目被改善多少。接著，系統基于評估結果執行自 調整。
圖8示出根據本發明的一種用于評估趨勢分析系統的裝置。根據本發明的該裝置包括容許值輸入單元810和準確度計算單元820。容許值 輸入單元810接收假陽性和假陰性的相應的容許值。假陽性是指數據片 被判斷為彼此相關，但是所述數據片實際上并不相關。另一方面，假陰 性是指數據片被判斷為不相關，但是所述數據片實際上是彼此相關的。 準確度計算單元820計算系統的準確度，并且包括權重確定單元840和 計算單元850。權重確定單元840讀取包含正確信息的相關數據860， 其正確地指示在存儲裝置830中所存儲的默認數據集里所包括的數據片 之間的存在或不存在關聯，并且接著通過使用包含正確信息的相關數據 860從假陽性和假陰性的容許值確定被分配給由該系統做出的假陽性和 假陰性的數目的權重。計算單元850通過使用假陽性的數目、被分配給 它的權重、假陰性的數目、被分配給它的權重和數據片的總數目來計算 該系統的準確度。因此，由準確度計算單元820因此所計算的準確度可 被直接用作系統的評估結果。作為替代，參數調整單元可以根據已計算 的準確度來調整系統的參數從而系統的準確度可以被進一 步增加。
根據本發明，通過提供闞值可以找到趨勢分析系統的合理的準確
度，而無需使用包含正確信息的相關數據，所述閾值是趨勢分析系統所 做出的錯誤(假陽性和假陰性)的容許值(容許范圍)，并容易被用戶理解。 因此，所找到的準確度可被用作客觀的評估的結果。另夕卜，本發明的趨 勢分析系統可以通過使用滿足用戶需要的評估指示符來執行自評估，并 接著基于該評估結果來執行參數調整。


為了更完整地理解本發明和其優點，現在結合附圖參考以下描述。 圖1是本發明的實施例的處理的流程圖。
圖2是用于解釋包括可被取作權重的值的區域的例子的示圖，該權 重滿足同 一性和鑒別的可能性。
圖3解釋對趨勢分析系統的評估結果。
圖4是調整基于自評估的文本挖掘系統的處理流程。
圖5示出硬件配置的例子。
圖6示出指示遺傳因子之間的關聯的路徑。
圖7示出對趨勢分析系統的評估例子。
圖8是本發明的評估系統的框圖。
具體實施例方式
圖1示出根據本發明的實施例的處理的流程圖。在步驟110中，假 陽性和假陰性的容許范圍被輸入。在步驟120中，用于計算準確度的權 重被計算。如何計算該準確度和權重將稍后描述。在步驟130中，做出 關于是否已經成功地計算這些權重的判決。如果計算這些權重失敗了 ， 則在步驟135中發出通知"容許范圍不合適"，并且接著該處理再次移 動回到用于輸入容許值范圍的處理。如果計算這些斥又重成功了，則在步 驟140中針對該趨勢分析系統生成用于通過使用這些權重來計算準確度 的功能。在步驟150中，通過使用所述準確度計算功能來計算系統的準 確度。在下文中，當描述詞語"系統"時，這暗指該趨勢分析系統。利 用通過使用包含正確信息的相關數據和權重所找到的準確度來評估該
系統。當只想得到評估結果時，該處理在步驟150中被終止。當想要進
行系統調整時，該處理移動到步驟160。在步驟160中，^f故出關于是否 滿足終止該系統調整的條件的判決。如果不滿足終止條件，則處理移動 到步驟170，并且執行系統調整。如果滿足終止條件，則在步驟160中 纟冬止處理。
圖6示出包含正確信息的相關數據的例子。例如，在基因數據的情 況下，用路徑的形式提供在特定基因組里的各基因間的關聯。本發明使 用指示了圖6中所圖示的趨勢信息存在或不存在的知識數據作為包含正 確信息的相關數據。圖6說明一路徑，其示出在與Alzheimer疾病相關 的基因組里各基因之間的關聯的一部分。圖6示出與邊沿相連的每對基 因具有關聯。圖7示出一例子，其中通過使用上面的包含正確信息的相 關數據來評估趨勢分析系統。針對圖7的左端列里的趨勢信息候選者中 的每一項，通過比較由趨勢分析系統所輸出的確定和包含正確信息的相 關數據來評估該系統。存在該系統針對其做出與包含正確信息的相關數 據一致的正確確定的項和錯誤確定的項。該錯誤確定包括假陽性和假陰 性，其中假陽性是確定了不相關信息片具有關聯的錯誤，而假陰性是確 定了相關信息片不具有關聯的錯誤。
在下文中，將根據本發明的實施例來描述如何計算準確度和權重。 這里，權重是針對由系統做出的各個假陽性和假陰性的項中的錯誤的數 目所計算的懲罰分數。通過使用包含正確信息的相關數據從作為輸入提 供的假陽性和假陰性的容許值來確定這些權重，其中該正確信息正確地 指示在當前數據集里各數據片之間的存在或不存在關聯。稍后將描述該 確定方法。通過使用這些權重來計算系統的準確度。當P表示假陽性的 數目、WP表示被分配給它的權重、N表示假陰性的數目、WN表示被 分配給它的權重、而S表示數據片的總數目時，準確度(R)是用以下 等式來計算的，
<formula>complex formula see original document page 9</formula>
被分配給假陽性和假陰性的數目的權重被確定是統計上適用于包 含正確信息的相關數據的值，從而可以合理地評估系統。這里，該統計
上合適的值意指滿足以下兩個條件的值 _同 一性
用于在系統的準確度之間不存在任何差異的情況下，以不小于預定 概率的概率確定系統中不存在任何差異的條件，以及 -鑒別的可能性。
用于在系統的準確度之間存在差異的情況下，以不小于預定概率的 概率確定系統中存在差異的條件。
注意，鑒別的可能性包括來自針對假陽性錯誤的容許值集(假陽性 的容許值)的鑒別的可能性和來自針對假陰性錯誤的容許值集(假陰性
的容許值)的鑒別的可能性。例如，作為預定概率，所使用的是95%等 等，其在統計試驗中被廣泛使用。圖2將同一性和鑒別的可能性說明為 區域。在圖2中，X軸指示權重WP， Y軸指示權重WN，線段210的 內部指示同一性，而線段220和線段230的外部指示鑒別的可能性。從 同 一性所求得的線段210是園，而被寫為這個園的半徑的一個例子。 注意，線段220和線段230通常是雙曲線。滿足這些條件的區域D指示 權重的值。通過使用這個區域D所指示的某些權重，這些權重被確定為 統計上合適的值。反之，通過取這個區域D中的值作為權重，可以找到 合理的準確度而無需使用包含正確信息的相關數據，并且由此可以客觀 的評估趨勢分析系統。
通過使用圖3，將描述通過使用本發明的實施例的準確度對趨勢分 析系統所進行的評估。標號310示出文檔之間的關聯的確定結果，所述 確定結果是由某個趨勢分析系統通過使用包含正確信息的相關數據輸 出的。在所有55個文檔中，其中12個文檔實際上彼此相關，系統正確 地判斷5個文檔是相關的，并且不正確地判斷剩下的7個文檔不相關(假 陰性)。另一方面，其中43個文檔實際上不相關，系統正確地判斷36 個文檔不相關，而不正確地判斷7個文檔是相關的(假陽性)。假設， 通過修改系統的挖掘參數或通過更新用于挖掘的字典來改變了系統。標 號320示出由新的被改變了的系統所輸出的在各文檔之間的關聯的確定 結果。如可以在這些結果中看到的那樣，在所有55個文檔中，其中12
個文檔實際上彼此相關，系統正確地判斷7個文檔是相關的，并不正確
地判斷剩下的5個文檔是不相關的(假陰性)。另一方面，在所有43個 實際不相關的文檔中，系統正確地判斷34個文檔是不相關的，并不正 確地判斷剩下的9個文檔是相關的(假陽性)。這里，考慮結果320的 新系統相比結果310的系統是否被改善了 。當使用如下表達的常規準確 度(R)時，
R=(被正確地提取的關聯的數目+被正確地提取的不關聯的數目) /由系統4是耳又的總凄丈目，
兩個系統的準確度彼此相等，也即R = 41/55=0.745。換言之，不能證實 系統被改善了。
相反，根據本發明的實施例，從例如由用戶所指定的用于假陽性的 容許值4和用于假陰性的容許值2來計算用于假陽性的權重1.2和用于 假陰性的權重0.742。接著，通過使用用于假陽性的數目P的權重1.2 和用于假陰性的數目N的權重0.742,如下計算準確度
R=l- (Px 1.20+Nx 0.742) /55 作為結果，結果310的系統的準確度是0.752，而結果320的新系統的 準確度是0.769。因此，在用戶所假設的條件下，系統可以被評估為已 經被改善。雖然在本發明的這個實施例中輸入了假陽性和假陰性的容許 值，但是也可以輸入假陽性和假陰性的容許值之間的比(上面的例子中 的2)。除此之外，在不偏離本發明的實質特點的條件下，在給出這種輸 入的方式方面有許多可能的變型。
對趨勢分析系統的自動調整可以通過以下方式來實現通過根據上 述的對系統改善的評估來修改趨勢分析系統的參數而增加準確度。例 如，可能的方法之一是改變置信系數，其是在文本挖掘系統中常被使用 的參數。圖4示出調整結合了本發明的實施例的評估裝置的自評估文本 挖掘系統的處理流程。在步驟410中，輸入諸如不小于90%的準確度之 類的終止條件。接著，在步驟420中，通過使用包含正確信息的相關數 據來執行文本挖掘。在步驟430中，評估挖掘的結果，并由此計算準確 度。如果步驟430中已計算的準確度滿足終止條件，則終止調整。如果
已計算的準確度不滿足終止條件，則在步驟450中修改參數。在步驟450 中，根據準確度的增加或減少來修改這些參數(諸如置信系數)。例如， 當置信系數的減小導致準確度的增加時，置信系數被進一步減小。相反， 當置信系數的增大導致準確度的增加時，置信系數被進一步增大。此外， 當置信系數的減小導致準確度的減少時，置信系數被增大。相反，當置 信系數的增大導致準確度的減少時，置信系數被減小。這種自動調整不 僅可以被應用于置信系數而且還可以被應用于諸如系統的字典的更新 之類的其它參數。
圖5示出本發明的實施例的評估裝置的硬件配置和被作為結合了該 評估裝置的自評估趨勢分析系統來使用的優選的信息處理設備的硬件 配置。計算機501包括具有通過使用主機控制器510來彼此相互連接的 CPU 500、 RAM540、 ROM 530以及I/O控制器520的CPU外圍單元。 另外，計算機501包括通信接口 550、能夠從存儲裝置580中讀以及向 其寫的硬盤驅動器、能夠從諸如CD/DVD之類的盤類型的介質595中 讀以及向其寫的多結合物(multi-combo)驅動器590、能夠從軟盤585 中讀和向其寫的FD驅動器545、用于驅動聲音輸入/輸出裝置565的聲 音控制器560、以及用于驅動顯示裝置575的圖形控制器570,所有這 些都被連接到I/O控制器520。
CPU 500根據存儲在ROM 530、 BIOS和RAM 540中的程序進行操 作，并由此控制每個部件。圖形控制器570包含CPU 500等在RAM 540 中所提供的緩沖器內生成的圖像數據，并導致顯示裝置575顯示由該圖 像數據所指示的圖像。作為替代，圖形控制器570可以在其內部包括用 于存儲由CPU500等所生成的圖像數據的緩沖器。當信息處理設備501 作為包括評估裝置的自評估趨勢分析系統來工作時，通過使用被記錄在 存儲裝置580中的包含正確信息的相關數據來計算該趨勢分析系統的準 確度。為了更加精確，通過諸如鍵盤515之類的輸入裝置來輸入終止條 件，挖掘程序和本發明的程序被從存儲裝置580中裝載到存儲器，并且 接著CPU 500執行這些程序以通過讀取被記錄在存儲裝置580中的包含 正確信息的相關數據來計算準確度。如果該準確度滿足終止條件，則終
止調整。如果該準確度不滿足終止條件，則根據該準確度的增加或者減 少來修改各參數(諸如置信系數)。調整結果被顯示在顯示裝置575上。
通信接口 550經由網絡與外部通信裝置進行通信。當信息處理設備 501僅作為評估裝置來工作時，信息處理設備501通過經由通信接口 550 接收輸出自外部趨勢分析系統的用于準確度計算的信息來計算準確度， 并且接著將計算結果經由通信接口 550傳送給該外部趨勢分析系統。順 便提及，即使當與包括有線網絡、無線網絡和諸如紅外網絡或藍牙之類 的短程無線網絡的任何類型的網絡進行連接時，本發明的實施例的這些 配置也是可應用的而不需進行任何修改。存儲裝置580存儲根據本發明 的實施例的程序的代碼和數據、應用、操作系統等等，它們可以被計算 機501使用。多結合物驅動器590從諸如CD/DVD之類的介質595中 讀取程序或數據。從存儲裝置580等中讀取的程序和數據被裝載到RAM 540,并且因此由CPU 500使用。可以從外部存儲介質提供本發明的實 施例的程序、目標是用于趨勢分析的數據、以及包含正確信息的相關數 據。
作為外部存儲介質，除了軟盤585和CD-ROM以外，還可以使用 諸如DVD或PD之類的光記錄介質、諸如MD之類的》茲光記錄介質、 磁帶介質、諸如IC卡之類的半導體存儲器。另外，通過使用在連接到 專用通信網絡或因特網的服務器系統中所提供的諸如硬盤或RAM之類 的存儲裝置作為記錄介質，可以從網絡中輸入程序。從上述配置例子可 以理解，任何類型的設備只要具有正常的計算功能都可以被用作實現本 發明的實施例所需要的硬件。例如，移動終端、便攜式終端和家用電子 設備也是可應用的而不會有任何問題。
在本發明的實施例的優選的信息處理設備501上操作支持圖形用戶 接口 (GUI)多窗口環境的操作系統。這種操作系統的例子包括微軟公 司所提供的Windows (R)操作系統、蘋果公司所提供的Mac OS (R)、 和包括X Windowx系統的UNIX (R)系統(例如，國際商業機器公司 所提供的AIX(R))。此外，可以通過使用硬件、軟件以及硬件和軟件 的組合來實現本發明。使用硬件和軟件的組合的實現的典型例子是使用
了具有預定程序的數據處理系統的實現。在這種情況下，預定程序被裝 載到數據處理系統中并由該數據處理系統執行，并且因此該程序使得該 數據處理系統可以被控制來執行根據本發明的實施例的處理。該程序包 括可以用任意語言、代碼和符號來表達的命令集合。
圖5只是說明實現本實施例的計算機的硬件配置的例子，并且可以 使用其它各種配置，只要本實施例可以被應用到其上。上述部件被作為
t 、 、 、、 權利要求
1.一種用于評估趨勢分析系統的裝置，包括容許值輸入單元，其用于接收假陽性的容許值和假陰性的容許值，所述假陽性是指數據片被判斷為彼此相關，但是所述數據片實際上并不相關，所述假陰性是指數據片被判斷為不相關，但是所述數據片實際上是彼此相關的；以及準確度計算單元，其用于計算所述系統的準確度，其中所述準確度計算單元包括權重確定單元，其用于讀取包含正確地指示了在存儲裝置中所存儲的默認數據集里所包括的各數據片之間存在或不存在關聯的正確信息的相關數據，以及用于通過使用所述包含正確信息的相關數據從假陽性和假陰性的所述容許值確定被分配給所述系統所做出的假陽性和假陰性的數目的權重；以及計算單元，其用于通過使用假陽性的數目、被分配給它的權重、假陰性的數目、被分配給它的權重和數據片的總數目來計算所述系統的準確度。
2. 根據權利要求1所述的裝置，其中用以下等式來計算所述準確 度(R):<formula>complex formula see original document page 2</formula>其中，P表示假陽性的數目，WP表示被分配給它的權重，N表示 假陰性的數目，WN表示被分配給它的權重，而S表示數據片的總數目。
3. 根據權利要求1所述的裝置，其中所述權重確定單元是確定滿 足以下條件的權重的權重確定單元滿足如下條件對于在系統的準確 度之間不存在任何差異的情況下確定所述系統中不存在任何差異的概 率不小于默認概率；而且還滿足如下條件對于在系統的準確度之間存 在差異的情況下，確定所述系統中存在差異的概率不小于默認概率。
4. 一種趨勢分析系統，包括趨勢分析系統；根據權利要求1所述的裝置；以及參數調整單元，其用于根據所述準確度的增加或減少來調整所述系 統的參數。
5. —種用于評估趨勢分析系統的方法，所述方法包括步驟 接收假陽性的容許值和假陰性的容許值，所述假陽性是指數據片被判斷為彼此相關，但是所述數據片實際上并不相關，所述假陰性是指數 據片被判斷為不相關，但是所述數據片實際上是彼此相關的；以及 計算所述系統的準確度，其中 所述準確度計算步驟包括以下步驟讀取包含正確地指示了在存儲裝置中所存儲的默認數據集里 所包括的各數據片之間存在或不存在關聯的正確信息的相關數 據，以及接著通過使用所述包含正確信息的相關數據從假陽性和 假陰性的所述容許值確定被分配給所述系統所做出的假陽性和假 陰性的數目的權重；以及通過使用假陽性的數目、被分配給它的權重、假陰性數目、 被分配給它的權重和數據片的總數目來計算所述系統的準確度。
6. —種用于評估趨勢分析系統的程序，所述程序使計算機執行以 下步驟接收假陽性的容許值和假陰性的容許值，所述假陽性是指數據片被 判斷為彼此相關，但是所述數據片實際上并不相關，所述假陰性是指數 據片被判斷為不相關，但是所述數據片實際上是彼此相關的；以及 計算所述系統的準確度， 其中所述準確度計算包括以下步驟讀取包含正確地指示了在存儲裝置中所存儲的默認數據集里 所包括的各數據片之間存在或不存在關聯的正確信息的相關數 據，以及接著通過使用所述包含正確信息的相關數據從假陽性和 假陰性的所述容許值確定被分配給所述系統所做出的假陽性和假 陰性的lt目的坤又重；以及通過使用假陽性的數目、被分配給它的權重、假陰性的數目、 被分配給它的權重和數據片的總數目來計算所述系統的準確度。
全文摘要
本發明提供一種用于評估趨勢分析系統的方法和裝置，并且該裝置包括容許值輸入單元，其用于接收假陽性的容許值和假陰性的容許值；以及準確度計算單元，其用于計算系統的準確度。該準確度計算單元包括權重確定單元，其用于讀取包含正確地指示了在存儲裝置中所存儲的默認數據集里所包括的各數據片之間的存在或不存在關聯的正確信息的相關數據，以及用于通過使用包含正確信息的相關數據從假陽性和假陰性的容許值確定被分別分配給該系統所做出的假陽性的數目和假陰性的數目的權重；以及計算單元，其用于通過使用假陽性的數目、被分配給它的權重、假陰性的數目、被分配給它的權重和數據片的總數目來計算系統的準確度。
文檔編號G06F19/00GK101196907SQ200710192728
公開日2008年6月11日 申請日期2007年11月16日 優先權日2006年12月8日
發明者宅間大介, 竹內廣宜 申請人:國際商業機器公司