本發明屬于,具體涉及基于知識圖譜引導的大模型生成效果優化方法及系統。
背景技術:
1、隨著人工智能技術的快速發展,大型深度學習模型(如生成大模型)在多個領域展現出巨大潛力。然而,這些模型在復雜領域(如醫療)的應用中,常面臨數據稀疏、知識表達不足等問題,導致生成內容的質量難以保證。知識圖譜作為符號化的知識庫,具備較強的推理能力和結果可解釋性,但構建成本高、泛化能力有限。將知識圖譜與大型深度學習模型結合,可以互補優勢,提升模型性能。
2、現有技術中,雖有嘗試將知識圖譜引入深度學習模型以提升效果,但多停留在簡單融合層面,缺乏系統性和深度優化的方法。特別是在醫療領域,由于專業知識的復雜性和數據的敏感性,如何有效利用知識圖譜引導大模型生成高質量內容成為當前需要解決的問題。
技術實現思路
1、針對上述現有技術的不足,本技術提供基于知識圖譜引導的大模型生成效果優化方法及系統。
2、第一方面本技術提出了基于知識圖譜引導的大模型生成效果優化方法,包括以下步驟:
3、獲取用戶輸入的查詢條件數據;
4、構建關鍵詞提取模型對所述查詢條件數據進行第一關鍵信息提取,得到關鍵詞實體以及對應的實體類型;
5、通過預構建的圖譜數據庫對所述實體類型對應的關鍵詞實體進行實體擴充,并將所述關鍵詞實體與其相鄰關系的實體進行拼接,得到實體擴充拼接結果;
6、構建llm問答大模型,將所述實體擴充拼接結果輸入所述llm問答大模型中,得到問答結果;
7、調用所述關鍵詞提取模型對所述問答結果進行第二關鍵信息提取,將該提取結果通過所述圖譜數據庫進行關系一致性檢測,若通過所述關系一致性檢測,則輸出所述問答結果,若未通過所述關系一致性檢測,則將所述問答結果進行糾正后與所述查詢條件數據重新拼接,輸入所述llm問答大模型中生成糾正問答結果。
8、在一些實施例的一些可選的實現方式中,所述構建關鍵詞提取模型對所述查詢條件數據進行第一關鍵信息提取,得到關鍵詞實體以及對應的實體類型,所述關鍵詞提取模型結構包括:embedding層、注意力機制層和前饋網絡層;
9、所述embedding層:通過embedding權重矩陣和輸入數據映射的id進行矩陣相稱,得出embedding詞向量作為輸入數據的embedding矩陣表示,向量維度為768維;
10、所述注意力機制層:對embedding層輸出的768維特征向量分別經過三個線性層做矩陣特征提取,經過矩陣乘法計算得出每個輸入數據融合了注意力信息的768維向量表示;
11、所述前饋網絡層:將多頭注意力機制層每個輸入經過兩層線性層,并經過激活層激活后輸出每個數據最終的768維向量表示。
12、在一些實施例的一些可選的實現方式中,所述構建關鍵詞提取模型對所述查詢條件數據進行第一關鍵信息提取,得到關鍵詞實體以及對應的實體類型,所述第一關鍵信息提取包括:
13、將所述查詢條件數據經過詞表映射轉化為id格式輸入所述關鍵詞提取模型,輸出768維度的向量表示,當所述查詢條件數據中的每個字符向量經過線性層時進行實體分類預測,預測結果經過softmax函數映射為數值,線性層的公式為:
14、
15、其中,x為文本e中的每個字符經過模型獲得的768維度的向量表示,a為線性層的權重矩陣,b為線性層的偏置矩陣,y為經過線性層之后得到的結果,記為logits;
16、softmax的公式為:
17、
18、是表示的指數函數,n表示輸出層共有?n?個神經元,表示計算的當前的輸入字符,計算k個神經元的輸出,softmax函數的分子是輸入字符的指數函數,分母是所有輸入信號的指數函數的和;
19、最終輸出關鍵詞實體以及對應的實體類型。
20、在一些實施例的一些可選的實現方式中,所述通過預構建的圖譜數據庫對所述實體類型對應的關鍵詞實體進行實體擴充,并將所述關鍵詞實體與其相鄰關系的實體進行拼接,得到實體擴充拼接結果,包括:
21、獲取所述關鍵詞實體的相鄰關系,根據所述相鄰關系在所述圖譜數據庫檢索出所述關鍵詞實體指向的所有實體及其對應的關系類型,將所述關鍵詞實體、關系類型和指向的實體進行拼接得到實體擴充拼接結果。
22、在一些實施例的一些可選的實現方式中,所述構建llm問答大模型,將所述實體擴充拼接結果輸入所述llm問答大模型中,得到問答結果,包括:
23、通過embedding層將embedding權重矩陣和實體擴充拼接結果的id映射數據進行矩陣相稱,得出embedding詞向量作為輸入數據的embedding矩陣表示,實體擴充拼接結果的id映射數據經過embedding輸出為句子向量表示x;
24、將句子向量表示x輸入特征網絡層進行計算,計算過程為:
25、濾波網絡的計算:一個窗口長度為h的濾波器經過滑動將句子向量表示x對應的句子分為,對其中的窗口進行卷積再經過tanh函數激活,公式為:
26、
27、其中n為句子向量表示x內的字符數量;
28、滑動卷積窗口再激活,得到一個濾波器的feature?mapping:
29、
30、m個濾波器則有:
31、
32、將m個濾波器的feature?mapping輸入max?pooling層進行最大池化獲取特定濾波器對應的特征:
33、
34、其中為一個濾波器的feature?mapping;
35、max?pooling層的輸出為:
36、
37、對max?pooling層輸出結果進行計算,定義z_gated=z,將z_gated經過sigmoid激活函數:
38、
39、將經過sigmoid激活函數激活的z_gated和z進行矩陣運算,得到控制門模型層的輸出z3:
40、
41、通過殘差連接機制,將控制門模型層計算前原始向量表示h和經過控制門模型層輸出的z3進行相加,輸出融合殘差連接之后的信息z4:
42、
43、對z4經過layernorm轉化為均值為0,方差為1的數據形式:
44、
45、其中f表示進行layernorm轉換;
46、經過所述layernorm層轉化后的輸出z經過定義的feed_forward層,在feed_forward定義網絡結構為兩個全連接層,之后再和layernorm相加進行殘差連接并經過layernorm進行歸一化,輸入公式表示:
47、
48、此時,特征網絡層計算已經完畢,最終輸出的字符向量表示將傳入下一層網絡進行計算,包括:
49、令h=z2,對經過特征網絡層計算輸出的句內字符向量集合h,再經過平均池化后分別作為當前句子的向量表示,計算公式為:
50、
51、最后將經過全連接層后通過softmax計算得到最終要預測的下一個字符的概率p值,公式如下:
52、
53、其中,w2為最后線性層的權重矩陣,維度為l*d,l為詞表內所有字符的數量,p是下一個生成字符的概率值,從而根據輸入的實體擴充拼接結果依次預測下一個字符,生成所述問答結果的內容。
54、在一些實施例的一些可選的實現方式中,所述調用所述關鍵詞提取模型對所述問答結果進行第二關鍵信息提取,將該提取結果通過所述圖譜數據庫進行關系一致性檢測,所述關系一致性檢測包括層級關系閉合檢測:
55、通過圖譜數據庫對第二關鍵信息提取的結果中進行檢索,獲取包括頂層實體概念類型到底層概念類型之間的所有實體概念類型,通過自頂向下的歸屬關系和自底向上的從屬關系進行互推驗證,若互推驗證的結果形成閉環關系,則通過所述層級關系閉合檢測。
56、在一些實施例的一些可選的實現方式中,所述調用所述關鍵詞提取模型對所述問答結果進行第二關鍵信息提取,將該提取結果通過所述圖譜數據庫進行關系一致性檢測,所述關系一致性檢測還包括關系唯一性檢測:
57、判斷所有實體概念類型對應的實體與其所有子集中的實體之間的關系類型,若出現多個名稱不同的關系類型,則不通過關系唯一性檢測,將未通過所述關系唯一性檢測的實體篩選出來進行審核糾正,若只存在同一名稱的關系類型,則說明通過所述關系唯一性檢測。
58、第二方面本技術提出了基于知識圖譜引導的大模型生成效果優化系統,包括輸入數據獲取模塊、關鍵信息提取模塊、實體擴充拼接模塊、問答結果獲取模塊和問答結果檢驗模塊;
59、所述輸入數據獲取模塊,用于獲取用戶輸入的查詢條件數據;
60、所述關鍵信息提取模塊,用于構建關鍵詞提取模型對所述查詢條件數據進行第一關鍵信息提取,得到關鍵詞實體以及對應的實體類型;
61、所述實體擴充拼接模塊,用于通過預構建的圖譜數據庫對所述實體類型對應的關鍵詞實體進行實體擴充,并將所述關鍵詞實體與其相鄰關系的實體進行拼接,得到實體擴充拼接結果;
62、所述問答結果獲取模塊,用于構建llm問答大模型,將所述實體擴充拼接結果輸入所述llm問答大模型中,得到問答結果;
63、所述問答結果檢驗模塊,用于調用所述關鍵詞提取模型對所述問答結果進行第二關鍵信息提取,將該提取結果通過所述圖譜數據庫進行關系一致性檢測,若通過所述關系一致性檢測,則輸出所述問答結果,若未通過所述關系一致性檢測,則將所述問答結果進行糾正后與所述查詢條件數據重新拼接,輸入所述llm問答大模型中生成糾正問答結果。
64、第三方面本技術提出一種電子設備,包括存儲器、處理器以及存儲在所述存儲器中并且可以在所述處理器上運行的計算機程序,所述處理器執行所述計算機程序時實現如上述方法的步驟。
65、第四方面本技術提出一種計算機可讀存儲介質,所述計算機可讀存儲介質存儲有計算機程序,所述計算機程序被處理器執行時實現如上述方法的步驟。
66、本發明的有益效果:
67、通過預構建領域特定的圖譜數據庫,并將其作為引導信息融入模型的生成過程中,并且通過生成的模型對用戶數據的知識擴充和問答結果檢驗,從而顯著提升模型在醫療等領域的問答生成效果和準確性。