本公開涉及人工智能,特別是涉及一種模型訓練方法、裝置、電子設備及存儲介質。
背景技術:
1、實體推薦是現有的互聯網信息展示的一種常用的手段,目前,通常會在精排階段使用實體推薦模型來預估實體的點擊率,進而篩選出相應的實體進行推薦展示。相關技術中,通常是獲取待推薦的實體相關的查詢語義特征,輸入至實體推薦模型后進行點擊率的預測,然而,這種方式下實體推薦模型所獲取到的信息量不多,使得最終推薦的實體與具體查詢請求之間的相關性有待提升。
技術實現思路
1、以下是對本公開詳細描述的主題的概述。本概述并非是為了限制權利要求的保護范圍。
2、本公開實施例提供了一種模型訓練方法、裝置、電子設備及存儲介質,能夠有效地權衡計算復雜度和實體推薦模型的預測精度,從而提升最終推薦的實體與具體查詢請求之間的相關性。
3、一方面,本公開實施例提供了一種模型訓練方法,包括:
4、調用知識圖譜嵌入模型確定知識圖譜中任意兩個實體節點之間的第一相關性評分,基于所述第一相關性評分訓練所述知識圖譜嵌入模型;
5、獲取樣本實體在所述知識圖譜中對應的樣本實體節點以及在所述知識圖譜中針對所述樣本實體節點采樣得到的樣本鄰居節點集合,調用訓練后的所述知識圖譜嵌入模型確定所述樣本實體節點的樣本節點特征、所述樣本鄰居節點集合中各個一階鄰居節點的一階鄰居節點特征以及所述樣本實體節點與各個所述一階鄰居節點之間的第二相關性評分;
6、基于由所述第二相關性評分構建的注意力機制聚合所述一階鄰居節點特征,得到一階注意力特征,將所述一階注意力特征與所述樣本節點特征進行融合,得到所述樣本實體的目標節點特征;
7、調用實體推薦模型基于所述目標節點特征確定所述樣本實體的預估點擊率,基于所述預估點擊率訓練所述實體推薦模型。
8、另一方面,本公開實施例提供了一種模型訓練裝置,包括:
9、第一訓練模塊,用于調用知識圖譜嵌入模型確定知識圖譜中任意兩個實體節點之間的第一相關性評分,基于所述第一相關性評分訓練所述知識圖譜嵌入模型;
10、采樣模塊,用于獲取樣本實體在所述知識圖譜中對應的樣本實體節點以及在所述知識圖譜中針對所述樣本實體節點采樣得到的樣本鄰居節點集合,調用訓練后的所述知識圖譜嵌入模型確定所述樣本實體節點的樣本節點特征、所述樣本鄰居節點集合中各個一階鄰居節點的一階鄰居節點特征以及所述樣本實體節點與各個所述一階鄰居節點之間的第二相關性評分;
11、融合模塊,用于基于由所述第二相關性評分構建的注意力機制聚合所述一階鄰居節點特征,得到一階注意力特征,將所述一階注意力特征與所述樣本節點特征進行融合,得到所述樣本實體的目標節點特征;
12、第二訓練模塊,用于調用實體推薦模型基于所述目標節點特征確定所述樣本實體的預估點擊率,基于所述預估點擊率訓練所述實體推薦模型。
13、進一步地,上述第一訓練模塊還用于:
14、調用知識圖譜嵌入模型確定知識圖譜任意一個三元組中的頭實體節點的頭實體節點特征、尾實體節點的尾實體節點特征以及連邊關系的連邊特征;
15、基于所述頭實體節點特征、所述尾實體節點特征以及所述連邊特征構建的注意力機制確定所述頭實體節點以及所述尾實體節點之間的第一相關性評分。
16、進一步地,上述第一訓練模塊還用于:
17、獲取可訓練的第一線性變換矩陣和第二線性變換矩陣;
18、基于所述第一線性變換矩陣與所述頭實體節點特征之間的內積構建查詢特征,基于所述第二線性變換矩陣與所述尾實體節點特征之間的內積構建鍵特征;
19、對所述查詢特征、所述鍵特征以及所述連邊特征之間的內積進行歸一化,得到所述頭實體節點以及所述尾實體節點之間的第一相關性評分。
20、進一步地,上述第一訓練模塊還用于:
21、以所述知識圖譜中的三元組為正樣本,通過替換所述三元組中的頭實體節點或者尾實體節點構建負樣本,調用所述知識圖譜嵌入模型確定所述負樣本對應的第三相關性評分;
22、根據所述第一相關性評分與所述第三相關性評分確定目標損失,基于所述目標損失訓練所述知識圖譜嵌入模型。
23、進一步地,上述第一訓練模塊還用于:
24、根據所述第一相關性評分與所述第三相關性評分分別確定第一損失、第二損失和第三損失,其中,所述第一損失用于最大化所述第一相關性評分與所述第三相關性評分之間的差異,所述第二損失用于控制所述第一相關性評分與所述第三相關性評分之間差值大小,所述第三損失用于最大化所述第一相關性評分的同時最小化所述第三相關性評分;
25、將所述第一損失、所述第二損失和所述第三損失進行加權求和,得到目標損失。
26、進一步地,上述采樣模塊還用于:
27、遍歷所述知識圖譜,針對當前遍歷到的中心實體節點,在所述知識圖譜中采樣得到所述中心實體節點的第一鄰居節點集合,其中,所述第一鄰居節點集合中包括所述中心實體節點k個階級的第一鄰居節點子集,所述第一鄰居節點子集包括所述中心實體節點在第k個階級采樣得到的鄰居節點,k為整數,k≥1;
28、將各個所述中心實體節點與對應的所述第一鄰居節點集合關聯寫入緩存中;
29、從所述緩存中匹配得到樣本實體在所述知識圖譜中對應的樣本實體節點以及樣本鄰居節點集合。
30、進一步地,上述采樣模塊還用于:
31、針對所述中心實體節點第k個階級的所有鄰居節點,調用訓練后的所述知識圖譜嵌入模型確定所述中心實體節點與各個所述鄰居節點之間的第四相關性評分,根據所述第四相關性評分的大小對第k個階級的所有鄰居節點進行排序,根據第一排名閾值在排序結果中采樣得到第k個階級的第一鄰居節點子集;
32、將k個階級的所述第一鄰居節點子集合并得到所述中心實體節點的第一鄰居節點集合。
33、進一步地,上述采樣模塊還用于:
34、從所述緩存中匹配得到樣本實體在所述知識圖譜中對應的所述中心實體節點以及對應的所述第一鄰居節點集合;
35、針對所述第一鄰居節點集合中第k個階級的所述第一鄰居節點子集,根據第二排名閾值再次采樣得到第k個階級的第二鄰居節點子集,其中,所述第二排名閾值小于所述第一排名閾值;
36、將k個階級的所述第二鄰居節點子集合并得到所述中心實體節點的樣本鄰居節點集合。
37、進一步地,上述采樣模塊還用于:
38、當k=1時,將所述一階注意力特征與所述樣本節點特征進行融合,得到所述樣本實體節點在首個階級的目標節點特征,基于所述樣本實體節點的二階鄰居節點的二階鄰居節點特征更新所述一階鄰居節點特征;
39、當k>1時,基于第k-1個階級更新后的所述一階鄰居節點特征與第k-1個階級得到的所述目標節點特征,確定所述樣本實體節點與各個所述一階鄰居節點之間的第五相關性評分,基于由所述第五相關性評分構建的注意力機制聚合第k-1個階級更新后的所述一階鄰居節點特征,得到k階注意力特征,將所述k階注意力特征與第k-1個階級得到的所述目標節點特征進行融合,得到所述樣本實體在第k個階級的目標節點特征,基于所述樣本實體節點的n+1階鄰居節點的n+1階鄰居節點特征更新所述樣本實體節點的n階鄰居節點的n階鄰居節點特征,其中,n為整數,n∈[1,k]。
40、進一步地,上述采樣模塊還用于:
41、確定所述樣本實體節點的二階鄰居節點與各個所述一階鄰居節點之間的第六相關性評分;
42、基于由所述第六相關性評分構建的注意力機制聚合所述二階鄰居節點的二階鄰居節點特征,得到二階注意力特征;
43、將所述二階注意力特征與所述一階鄰居節點特征進行融合,得到更新后的一階鄰居節點特征。
44、進一步地,上述融合模塊還用于:
45、對所述第二相關性評分進行歸一化,得到注意力權重;
46、根據所述注意力權重對所述一階鄰居節點特征進行加權求和以聚合所述一階鄰居節點特征,得到一階注意力特征。
47、進一步地,上述第二訓練模塊還用于:
48、獲取所述樣本實體關聯的查詢語義特征,將所述查詢語義特征與所述目標節點特征進行拼接,得到拼接特征;
49、調用實體推薦模型基于所述拼接特征確定所述樣本實體的預估點擊率。
50、另一方面,本公開實施例還提供了一種電子設備,包括存儲器和處理器,所述存儲器存儲有計算機程序,所述處理器執行所述計算機程序時實現上述的模型訓練方法。
51、另一方面,本公開實施例還提供了一種計算機可讀存儲介質,所述存儲介質存儲有計算機程序,所述計算機程序被處理器執行實現上述的模型訓練方法。
52、另一方面,本公開實施例還提供了一種計算機程序產品,該計算機程序產品包括計算機程序,該計算機程序存儲在計算機可讀存儲介質中。計算機設備的處理器從計算機可讀存儲介質讀取該計算機程序,處理器執行該計算機程序,使得該計算機設備執行實現上述的模型訓練方法。
53、本公開實施例至少包括以下有益效果:通過調用知識圖譜嵌入模型確定知識圖譜中任意兩個實體節點之間的第一相關性評分,基于第一相關性評分訓練知識圖譜嵌入模型,能夠通過引入第一相關性評分更加準確地捕捉知識圖譜的結構信息和實體之間的語義關聯信息,在此基礎上,通過獲取樣本實體在知識圖譜中對應的樣本實體節點以及在知識圖譜中針對樣本實體節點采樣得到的樣本鄰居節點集合,能夠利用采樣的方式降低計算復雜度,使得在調用訓練后的知識圖譜嵌入模型確定樣本實體節點的樣本節點特征、樣本鄰居節點集合中各個一階鄰居節點的一階鄰居節點特征以及樣本實體節點與各個一階鄰居節點之間的第二相關性評分,基于由第二相關性評分構建的注意力機制聚合一階鄰居節點特征,得到一階注意力特征,將一階注意力特征與樣本節點特征進行融合時,能夠高效地得到樣本實體的目標節點特征,再調用實體推薦模型基于目標節點特征確定樣本實體的預估點擊率,基于預估點擊率訓練實體推薦模型,本公開實施例能夠在訓練實體推薦模型時引入知識圖譜來豐富實體推薦模型所獲取到的信息量,并實現兩階段的訓練,有效地權衡計算復雜度和實體推薦模型的預測精度,從而提升最終推薦的實體與具體查詢請求之間的相關性。
54、本公開的其他特征和優點將在隨后的說明書中闡述,并且,部分地從說明書中變得顯而易見,或者通過實施本公開而了解。