<listing id="vjp15"></listing><menuitem id="vjp15"></menuitem><var id="vjp15"></var><cite id="vjp15"></cite>
<var id="vjp15"></var><cite id="vjp15"><video id="vjp15"><menuitem id="vjp15"></menuitem></video></cite>
<cite id="vjp15"></cite>
<var id="vjp15"><strike id="vjp15"><listing id="vjp15"></listing></strike></var>
<var id="vjp15"><strike id="vjp15"><listing id="vjp15"></listing></strike></var>
<menuitem id="vjp15"><strike id="vjp15"></strike></menuitem>
<cite id="vjp15"></cite>
<var id="vjp15"><strike id="vjp15"></strike></var>
<var id="vjp15"></var>
<var id="vjp15"></var>
<var id="vjp15"><video id="vjp15"><thead id="vjp15"></thead></video></var>
<menuitem id="vjp15"></menuitem><cite id="vjp15"><video id="vjp15"></video></cite>
<var id="vjp15"></var><cite id="vjp15"><video id="vjp15"><thead id="vjp15"></thead></video></cite>
<var id="vjp15"></var>
<var id="vjp15"></var>
<menuitem id="vjp15"><span id="vjp15"><thead id="vjp15"></thead></span></menuitem>
<cite id="vjp15"><video id="vjp15"></video></cite>
<menuitem id="vjp15"></menuitem>

數據處理方法和裝置、大語言模型微調方法和裝置與流程

文檔序號:41199081發布日期:2025-03-11 13:25閱讀:31來源:國知局

本公開涉及計算機領域,具體涉及大模型、深度學習等,尤其涉及一種數據處理方法和裝置、大語言模型微調方法和裝置、電子設備、計算機可讀存儲介質以及計算機程序產品。


背景技術:

1、隨著大數據的迅猛發展,數據查詢已成為日常必需。然而,傳統的數據查詢方法,一般是將待查詢信息與待查詢數據庫中數據進行全文匹配,查詢準確度低。


技術實現思路

1、本公開提供了一種數據處理方法和裝置、大語言模型微調方法和裝置、電子設備、計算機可讀存儲介質以及計算機程序產品。

2、根據第一方面,提供了一種數據處理方法,該方法包括:獲取待查文本和異構存儲系統的數據結構信息;基于待查文本、數據結構信息以及大語言模型,得到結構化查詢語句及關系集合,結構化查詢語句及關系集合包括至少一個結構化查詢語句以及至少一個結構化查詢語句中任意兩個結構化查詢語句之間的關聯關系;基于結構化查詢語句及關系集合,得到異構存儲系統的數據訪問請求;采用數據訪問請求查詢異構存儲系統,得到待查文本的查詢結果。

3、根據第二方面,提供了一種大語言模型微調方法,該方法包括:獲取初始的大語言模型和訓練數據集,訓練數據集包括至少一個訓練數據,訓練數據包括:實體分詞序列以及結構化查詢語句;從訓練數據集中選取訓練數據;將訓練數據輸入大語言模型,得到大語言模型輸出的結構化查詢語句及關系集合;基于訓練數據和結構化查詢語句及關系集合,對大語言模型進行微調訓練;響應于大語言模型滿足訓練完成條件,得到訓練完成的大語言模型。

4、根據第三方面,提供了一種數據處理裝置,該裝置包括:信息獲取單元,被配置成獲取待查文本和異構存儲系統的數據結構信息;集合得到單元,被配置成基于待查文本、數據結構信息以及大語言模型,得到結構化查詢語句及關系集合,結構化查詢語句及關系集合包括至少一個結構化查詢語句以及至少一個結構化查詢語句中任意兩個結構化查詢語句之間的關聯關系;請求得到單元,被配置成基于結構化查詢語句及關系集合,得到異構存儲系統的數據訪問請求;查詢單元,被配置成采用數據訪問請求查詢異構存儲系統,得到待查文本的查詢結果。

5、根據第四方面,提供了一種大語言模型微調裝置,該裝置包括:數據獲取單元,被配置成獲取初始的大語言模型和訓練數據集,訓練數據集包括至少一個訓練數據,訓練數據包括:實體分詞序列以及結構化查詢語句;選取單元,被配置成從訓練數據集中選取訓練數據;輸入單元,被配置成將訓練數據輸入大語言模型,得到大語言模型輸出的結構化查詢語句及關系集合;微調單元,被配置成基于訓練數據和結構化查詢語句及關系集合,對大語言模型進行微調訓練;模型得到單元,被配置成響應于大語言模型滿足訓練完成條件,得到訓練完成的大語言模型。

6、根據第五方面,提供了一種電子設備,該電子設備包括:至少一個處理器;以及與至少一個處理器通信連接的存儲器,其中,存儲器存儲有可被至少一個處理器執行的指令,指令被至少一個處理器執行,以使至少一個處理器能夠執行如第一方面或第二方面任一實現方式描述的方法。

7、根據第六方面,提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質,計算機指令用于使計算機執行如第一方面或第二方面任一實現方式描述的方法。

8、根據第七方面,提供了一種計算機程序產品,包括計算機程序,計算機程序在被處理器執行時實現如第一方面或第二方面任一實現方式描述的方法。

9、本公開的實施例提供的數據處理方法和裝置,首先,獲取待查文本和異構存儲系統的數據結構信息;其次,基于待查文本、數據結構信息以及大語言模型,得到結構化查詢語句及關系集合,結構化查詢語句及關系集合包括至少一個結構化查詢語句以及至少一個結構化查詢語句中任意兩個結構化查詢語句之間的關聯關系;再次,基于結構化查詢語句及關系集合,得到異構存儲系統的數據訪問請求,最后,采用數據訪問請求查詢異構存儲系統,得到待查文本的查詢結果。由此,通過大語言模型對待查文本、數據結構信息進行分析得到的結構化查詢語句及關系集合,可以實現對異構存儲系統中存儲介質單元進行整體訪問,提高了多種不同存儲介質的存儲介質單元訪問的統一性;由于結構化查詢語句及關系集合包括任意兩個結構化查詢語句之間的關聯關系,可以將對待查文本的查詢劃分為在多個存儲介質單元中進行查詢的查詢計劃,提高了待查文本查詢的準確性。

10、應當理解,本部分所描述的內容并非旨在標識本公開的實施例的關鍵或重要特征,也不用于限制本公開的范圍。本公開的其它特征將通過以下的說明書而變得容易理解。



技術特征:

1.一種數據處理方法,所述方法包括:

2.根據權利要求1所述的方法,所述方法還包括:

3.根據權利要求1所述的方法,所述方法還包括:

4.根據權利要求1-3任意一項所述的方法,其中,所述獲取待查文本和異構存儲系統的數據結構信息包括:

5.根據權利要求4所述的方法,其中,所述基于所述待查文本和所述原始數據,得到所述異構存儲系統的數據結構信息包括:

6.根據權利要求1-3任意一項所述的方法,其中,所述基于所述待查文本、所述數據結構信息以及大語言模型,得到結構化查詢語句及關系集合包括:

7.根據權利要求1-3任意一項所述的方法,其中,所述基于所述結構化查詢語句及關系集合,得到所述異構存儲系統的數據訪問請求包括:

8.根據權利要求7所述的方法,其中,所述基于所述關聯關系和各個語法樹,確定所述異構存儲系統的執行子圖包括:

9.根據權利要求8所述的方法,其中,所述基于所述執行子圖,得到所述異構存儲系統的數據訪問請求包括:

10.根據權利要求1-3任意一項所述的方法,其中,所述基于所述結構化查詢語句及關系集合,得到所述異構存儲系統的數據訪問請求包括:

11.一種大語言模型微調方法,所述方法包括:

12.一種數據處理裝置,所述裝置包括:

13.根據權利要求12所述的裝置,所述裝置還包括:更新單元,被配置成:接收所述異構存儲系統的數據變更信息;基于所述數據變更信息,生成新的數據結構信息;采用所述新的數據結構信息代替所述數據結構信息。

14.根據權利要求12所述的裝置,所述裝置還包括:存儲單元,被配置成:將所述待查文本、所述數據結構信息以及所述查詢結果存儲到所述異構存儲系統。

15.根據權利要求12-14任意一項所述的裝置,其中,所述信息獲取單元進一步被配置成:獲取待查文本;獲取異構存儲系統按類存儲的原始數據;基于所述待查文本和所述原始數據,得到所述異構存儲系統的數據結構信息。

16.根據權利要求15所述的裝置,其中,所述信息獲取單元進一步被配置成:對所述待查文本進行向量化處理,得到文本向量;對所述原始數據進行向量化處理,得到原始向量;將所述文本向量與所述原始向量進行匹配,得到所述原始向量中的匹配向量,將所述匹配向量對應的原始數據作為數據結構信息。

17.根據權利要求12-14任意一項所述的裝置,其中,所述集合得到單元被配置成:將所述待查文本、所述數據結構信息以及查詢任務拆分提示詞發送到大語言模型,得到所述大語言模型輸出的結構化查詢語句及關系集合,所述查詢任務拆分提示詞用于提示大語言模型基于待查文本和數據結構信息,對所述待查文本的查詢任務進行拆分,生成查詢異構存儲系統的結構化查詢語句及關系集。

18.根據權利要求12-14任意一項所述的裝置,其中,所述請求得到單元被配置成:對所述結構化查詢語句及關系集合進行語法語義解析,得到各個結構化查詢語句的語法樹以及任意兩個語法樹之間的關聯關系;基于所述關聯關系和各個語法樹,確定所述異構存儲系統的執行子圖;基于所述執行子圖,得到所述異構存儲系統的數據訪問請求。

19.根據權利要求18所述的裝置,其中,所述請求得到單元進一步被配置成:基于所述結構化查詢語句及關系集合,將各個語法樹的各個節點映射為所述異構存儲系統中相應存儲介質單元的第一圖節點,所述第一圖節點是為存儲介質單元預先設置的節點;基于每個語法樹中節點之間節點關系,連接各個存儲介質單元的第一圖節點,得到各個存儲介質單元的子圖單元;基于所述關聯關系,連接各個存儲介質單元的子圖單元,得到執行子圖。

20.根據權利要求19所述的裝置,其中,所述請求得到單元進一步被配置成:基于所述執行子圖中子圖單元的連接關系,確定各個子圖單元的單元執行順序;基于各個子圖單元中的圖節點,確定數據訪問請求中的參數;基于各個子圖單元中的圖節點的節點關系,確定所述參數的參數執行順序;基于所述單元執行順序、所述參數和所述參數執行順序,得到所述異構存儲系統的數據訪問請求。

21.根據權利要求12-14任意一項所述的裝置,其中,所述請求得到單元被配置成:解析所述結構化查詢語句及關系集合,得到各個結構化查詢語句的關系代數表達式;基于所述關系代數表達式,確定所述異構存儲系統的執行子圖;基于所述執行子圖,得到所述異構存儲系統的數據訪問請求。

22.一種大語言模型微調裝置,所述裝置包括:

23.一種電子設備,其特征在于,包括:

24.一種存儲有計算機指令的非瞬時計算機可讀存儲介質,其特征在于,所述計算機指令用于使所述計算機執行權利要求1-11中任一項所述方法。

25.一種計算機程序產品,包括計算機程序,所述計算機程序在被處理器執行時實現權利要求1-11中任一項所述的方法。


技術總結
本公開提供了一種數據處理方法和裝置,涉及計算機技術領域,具體涉及大模型、深度學習等技術領域。具體實現方案為:獲取待查文本和異構存儲系統的數據結構信息;基于待查文本、數據結構信息以及大語言模型,得到結構化查詢語句及關系集合,結構化查詢語句及關系集合包括至少一個結構化查詢語句以及至少一個結構化查詢語句中任意兩個結構化查詢語句之間的關聯關系;基于結構化查詢語句及關系集合,得到異構存儲系統的數據訪問請求;采用數據訪問請求查詢異構存儲系統,得到待查文本的查詢結果。

技術研發人員:劉桐仁
受保護的技術使用者:北京百度網訊科技有限公司
技術研發日:
技術公布日:2025/3/10
網友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1
韩国伦理电影