基于數字孿生的分布式計算資源智慧進化方法及系統與流程

本發明涉及資源進化技術，尤其涉及基于數字孿生的分布式計算資源智慧進化方法及系統。

背景技術：

1、分布式計算系統已成為處理大規模數據和復雜應用的重要基礎設施。隨著云計算和邊緣計算的快速發展，分布式計算集群的規模和復雜性不斷增加，如何高效地管理和調度計算資源成為一個關鍵挑戰。傳統的資源管理方法通常依賴于靜態配置和基于規則的調度策略，難以適應動態變化的負載和復雜的應用需求。此外，傳統的監控方法主要關注單個計算節點的性能指標，缺乏對整個集群資源狀態的全局感知和協同優化。

2、缺乏對資源狀態的精細化感知:傳統的監控方法難以捕捉資源狀態的細微變化和突變點，導致無法及時識別潛在的性能瓶頸和故障風險。?這限制了資源管理和調度策略的有效性和靈活性。

3、缺乏對計算節點間動態關聯的建模:傳統的資源調度方法通常將計算節點視為孤立的個體，忽略了節點之間的相互影響和依賴關系。?這導致無法充分利用集群的整體計算能力，容易造成資源浪費和性能瓶頸。

4、缺乏對多時間尺度資源利用預測的融合:傳統的資源預測方法通常只關注單一的時間尺度，難以兼顧短期預測的準確性和長期預測的穩定性。?這導致無法為資源管理和調度提供可靠的決策依據。

技術實現思路

1、本發明實施例提供基于數字孿生的分布式計算資源智慧進化方法及系統，能夠解決現有技術中的問題。

2、本發明實施例的第一方面，

3、提供基于數字孿生的分布式計算資源智慧進化方法，包括：

4、在分布式計算集群的每個計算節點部署智能感知探針，所述智能感知探針采用多任務并行采集算法獲取計算資源運行數據；對所述計算資源運行數據采用雙層注意力機制進行特征提取，其中第一層注意力機制識別資源狀態突變點生成突變特征序列，第二層注意力機制基于所述突變特征序列提取資源波動特征得到特征張量；將所述特征張量輸入圖神經網絡構建計算資源數字孿生模型，所述圖神經網絡融合時序卷積層和空間關系層，建立計算節點間的節點動態關聯圖；基于所述節點動態關聯圖，采用混合熵優化算法計算特征重要性得到特征權重矩陣，所述特征權重矩陣用于表征資源狀態的多維度相關性；

5、將所述特征權重矩陣和所述節點動態關聯圖輸入分層強化學習框架，在宏觀層采用改進的策略梯度算法基于所述特征權重矩陣學習全局資源分配策略，在微觀層采用改進的q學習算法基于所述節點動態關聯圖優化局部調度決策；

6、將所述全局資源分配策略和所述局部調度決策輸入注意力增強的序列預測網絡，生成多尺度時間窗口的資源利用預測序列；基于所述資源利用預測序列，設計動態融合機制結合長短期預測結果，采用改進的貝葉斯優化算法計算不同時間尺度的預測權重得到融合預測結果；根據所述融合預測結果構建多目標優化模型，將系統性能指標設定為優化目標，采用粒子群算法求解得到最優資源配置方案和調度策略。

7、將所述特征張量輸入圖神經網絡構建計算資源數字孿生模型，所述圖神經網絡融合時序卷積層和空間關系層，建立計算節點間的節點動態關聯圖；基于所述節點動態關聯圖，采用混合熵優化算法計算特征重要性得到特征權重矩陣，所述特征權重矩陣用于表征資源狀態的多維度相關性包括：

8、將所述特征張量輸入融合時序卷積層和空間關系層的圖神經網絡，其中所述時序卷積層采用多尺度并行卷積結構，通過因果填充保持序列長度不變得到多尺度時序特征；所述空間關系層采用動態注意力機制，基于可學習參數矩陣計算節點間注意力權重，根據所述節點間注意力權重對節點特征進行自適應聚合；

9、基于所述圖神經網絡的輸出構建計算節點間的節點動態關聯圖，通過滑動時間窗口機制計算節點間的皮爾遜相關系數矩陣和資源調用依賴矩陣，采用自適應權重系數將所述皮爾遜相關系數矩陣與所述資源調用依賴矩陣進行融合得到綜合關聯強度矩陣，基于指數衰減方式對所述綜合關聯強度矩陣進行動態更新得到所述節點動態關聯圖；

10、基于所述節點動態關聯圖，采用混合熵優化算法計算特征重要性，所述混合熵優化算法通過核密度估計計算單個特征的信息熵，然后計算特征與目標變量間的交叉熵，基于所述信息熵和所述交叉熵計算條件互信息，將所述條件互信息進行歸一化處理得到特征權重矩陣；

11、對所述特征權重矩陣進行動態優化，引入時間衰減因子根據特征時效性調整權重，基于預測誤差損失計算權重梯度，采用動量項的梯度下降法更新權重，所述動量項用于平滑權重更新過程；

12、將更新后的所述特征權重矩陣反饋至所述圖神經網絡，用于指導所述空間關系層中節點特征的動態加權聚合，實現計算資源數字孿生模型的迭代優化，其中所述特征權重矩陣表征計算資源狀態的多維度相關性。

13、將所述特征權重矩陣和所述節點動態關聯圖輸入分層強化學習框架，在宏觀層采用改進的策略梯度算法基于所述特征權重矩陣學習全局資源分配策略，在微觀層采用改進的q學習算法基于所述節點動態關聯圖優化局部調度決策包括：

14、將所述特征權重矩陣和所述節點動態關聯圖輸入分層強化學習框架，所述分層強化學習框架包括宏觀層和微觀層，所述分層強化學習框架基于分層獎勵機制實現所述宏觀層與所述微觀層的策略協同，其中所述分層獎勵機制以全局獎勵值與局部獎勵值的加權組合構建策略學習目標；

15、在所述宏觀層采用改進的策略梯度算法基于所述特征權重矩陣學習全局資源分配策略，所述改進的策略梯度算法通過策略網絡將特征權重信息映射為資源分配動作概率，引入信任域約束限制策略更新步長，采用新舊策略比值的裁剪方式構建優化目標函數，并結合時間衰減的自適應學習率更新策略網絡參數；

16、在所述微觀層采用改進的q學習算法基于所述節點動態關聯圖優化局部調度決策，所述改進的q學習算法構建雙重q網絡結構，包括主價值網絡和輔助價值網絡，基于所述節點動態關聯圖提取目標節點與鄰居節點的狀態特征，通過可學習的融合系數組合兩個價值網絡的輸出，并采用基于時序差分誤差的優先經驗回放機制進行樣本學習；

17、采用雙向信息流動機制實現所述宏觀層與所述微觀層的協同決策，將所述宏觀層學習的全局資源分配策略轉化為局部決策約束條件指導所述微觀層的動作選擇，同時將所述微觀層的局部狀態信息通過池化運算聚合后反饋至所述宏觀層；

18、構建跨層價值評估函數，將所述宏觀層的全局價值評估與所述微觀層的局部價值評估進行加權組合，基于所述跨層價值評估函數對所述全局資源分配策略和所述局部調度決策進行聯合優化。

19、基于所述資源利用預測序列，設計動態融合機制結合長短期預測結果，采用改進的貝葉斯優化算法計算不同時間尺度的預測權重得到融合預測結果；根據所述融合預測結果構建多目標優化模型，將系統性能指標設定為優化目標，采用粒子群算法求解得到最優資源配置方案和調度策略包括：

20、將所述資源利用預測序列按照不同時間跨度劃分為短期預測序列和長期預測序列，其中所述短期預測序列包含連續時間點的預測值，所述長期預測序列包含間隔采樣的預測值；

21、將短期預測序列和長期預測序列輸入改進的貝葉斯優化算法，所述改進的貝葉斯優化算法構建包含時變噪聲項的動態高斯過程核函數，基于預測誤差自適應調整探索參數，通過滑動時間窗口在線更新高斯過程模型參數，得到所述短期預測序列和所述長期預測序列的融合權重；

22、將所述融合權重與所述短期預測序列和所述長期預測序列進行加權組合得到融合預測結果，基于所述融合預測結果構建多目標優化模型，所述多目標優化模型包括系統吞吐量目標、資源利用率目標和能耗效率目標，并設置資源容量上限約束、任務完成期限約束和負載均衡度約束；

23、采用粒子群算法求解所述多目標優化模型，所述粒子群算法通過非線性調節因子自適應調整慣性權重，將鄰域最優解引入速度更新公式增強局部搜索能力，基于目標空間距離計算個體擁擠度并構建選擇機制，通過外部檔案集保存非支配解，基于所述粒子群算法的求解結果生成最優資源配置方案和調度策略。

24、采用粒子群算法求解所述多目標優化模型，所述粒子群算法通過非線性調節因子自適應調整慣性權重，將鄰域最優解引入速度更新公式增強局部搜索能力，基于目標空間距離計算個體擁擠度并構建選擇機制，通過外部檔案集保存非支配解，基于所述粒子群算法的求解結果生成最優資源配置方案和調度策略包括：

25、初始化粒子群的位置向量和速度向量，設計非線性調節因子，所述非線性調節因子采用余弦函數與冪函數的復合形式，根據當前迭代次數與最大迭代次數的比值計算得到當前慣性權重；

26、基于所述當前慣性權重構建速度更新機制，計算粒子在目標空間的歐氏距離得到距離矩陣，根據所述距離矩陣確定每個粒子的鄰域范圍，在所述鄰域范圍內選取最優解，計算所述最優解與當前位置的差值得到鄰域引導向量，將所述鄰域引導向量與個體最優位置項、全局最優位置項組合形成完整的速度更新表達式；

27、利用所述速度更新表達式更新粒子位置獲得候選解集，計算所述候選解集中相鄰解在目標空間的函數值差異得到擁擠度指標，根據所述擁擠度指標對所述候選解集執行非支配排序，選取非支配解構建外部檔案集；

28、將新生成的非支配解加入所述外部檔案集并重新排序，當所述外部檔案集超出預設容量時，基于所述擁擠度指標對檔案成員降序排序并保留前5%個解，通過所述外部檔案集保存具有收斂性和多樣性的優質解；

29、對所述外部檔案集中的解計算綜合評價值，選取綜合評價值最優的解作為最終解，根據所述最終解對應的決策變量生成資源分配矩陣和任務調度序列，基于所述資源分配矩陣和所述任務調度序列確定最優資源配置方案與調度策略。

30、所述方法還包括：

31、基于所述最優資源配置方案和所述調度策略，通過分布式反饋控制器執行資源動態調整，所述分布式反饋控制器采用滑模控制算法實現精確控制；構建多層次異常檢測框架實時監控執行效果，將所述特征權重矩陣作為基準，結合改進的孤立森林算法識別狀態偏差，基于所述節點動態關聯圖分析偏差傳播路徑；

32、基于所述最優資源配置方案和所述調度策略構建系統控制目標，將所述系統控制目標轉化為狀態空間表達式，根據所述狀態空間表達式設計分布式反饋控制器的滑模切換函數，基于所述滑模切換函數構造等效控制項和切換控制項的復合控制律，通過邊界層平滑處理生成資源動態調整指令；

33、執行所述資源動態調整指令并采集實時狀態數據，構建包含狀態特征、權重矩陣和檢測閾值的多層次異常檢測框架，將所述實時狀態數據與特征權重矩陣表征的基準狀態進行對比，計算得到狀態偏差向量；

34、將所述狀態偏差向量輸入至改進的孤立森林算法中，根據資源特征的重要程度為所述改進的孤立森林算法設置動態分裂概率和自適應深度限制，通過加權投票方式融合多棵孤立樹的檢測結果，輸出異常狀態的位置信息和程度信息；

35、基于所述位置信息在所述節點動態關聯圖中定位異常源節點，根據所述程度信息計算相鄰節點間的特征權重與關聯強度的乘積，得到狀態偏差的傳播強度，采用所述節點動態關聯圖分析所述傳播強度的擴散路徑，確定關鍵影響鏈路。

36、所述方法還包括：

37、采用改進的元學習算法基于更新后的特征權重矩陣和動態關聯圖優化數字孿生模型，通過任務分解和梯度累積實現模型快速迭代；最后基于改進的因果推理模型分析性能劣化根因，將分析結果反饋至分層強化學習框架，實現決策策略的動態優化；

38、采用改進的元學習算法初始化特征權重矩陣，所述特征權重矩陣中的每個元素表示輸入特征對輸出指標的影響權重，通過計算每個任務的損失函數獲取任務特定的權重矩陣，基于所述任務特定的權重矩陣計算元梯度并更新全局權重矩陣；

39、基于所述全局權重矩陣構建動態關聯圖，所述動態關聯圖的節點表示系統組件，邊表示組件間的關聯強度，通過設置動態閾值篩選顯著關聯關系，采用滑動時間窗口持續更新所述關聯強度；

40、將優化目標分解為多個子任務并行計算梯度，根據所述動態關聯圖中組件的關聯程度為每個子任務分配權重系數，采用加權梯度累積方式更新數字孿生模型參數；

41、基于所述動態關聯圖初始化因果圖結構，采用雙向搜索算法優化因果關系并消除虛假關聯，通過反事實推理量化影響因素對性能劣化的貢獻程度，將所述貢獻程度作為獎勵信號輸入至分層強化學習框架，所述分層強化學習框架包括用于選擇宏觀行動的宏觀層和用于執行具體操作的微觀層，通過分層獎勵機制實現所述宏觀層與所述微觀層的協同優化。

42、本發明實施例的第二方面，

43、提供基于數字孿生的分布式計算資源智慧進化系統，包括：

44、第一單元，用于在分布式計算集群的每個計算節點部署智能感知探針，所述智能感知探針采用多任務并行采集算法獲取計算資源運行數據；對所述計算資源運行數據采用雙層注意力機制進行特征提取，其中第一層注意力機制識別資源狀態突變點生成突變特征序列，第二層注意力機制基于所述突變特征序列提取資源波動特征得到特征張量；將所述特征張量輸入圖神經網絡構建計算資源數字孿生模型，所述圖神經網絡融合時序卷積層和空間關系層，建立計算節點間的節點動態關聯圖；基于所述節點動態關聯圖，采用混合熵優化算法計算特征重要性得到特征權重矩陣，所述特征權重矩陣用于表征資源狀態的多維度相關性；

45、第二單元，用于將所述特征權重矩陣和所述節點動態關聯圖輸入分層強化學習框架，在宏觀層采用改進的策略梯度算法基于所述特征權重矩陣學習全局資源分配策略，在微觀層采用改進的q學習算法基于所述節點動態關聯圖優化局部調度決策；

46、第三單元，用于將所述全局資源分配策略和所述局部調度決策輸入注意力增強的序列預測網絡，生成多尺度時間窗口的資源利用預測序列；基于所述資源利用預測序列，設計動態融合機制結合長短期預測結果，采用改進的貝葉斯優化算法計算不同時間尺度的預測權重得到融合預測結果；根據所述融合預測結果構建多目標優化模型，將系統性能指標設定為優化目標，采用粒子群算法求解得到最優資源配置方案和調度策略。

47、本發明實施例的第三方面，

48、提供一種電子設備，包括：

49、處理器；

50、用于存儲處理器可執行指令的存儲器；

51、其中，所述處理器被配置為調用所述存儲器存儲的指令，以執行前述所述的方法。

52、本發明實施例的第四方面，

53、提供一種計算機可讀存儲介質，其上存儲有計算機程序指令，所述計算機程序指令被處理器執行時實現前述所述的方法。

54、本技術的有益效果如下：

55、1.提升資源感知和建模精度：采用多任務并行采集算法和雙層注意力機制，能夠更精確地感知和提取計算資源運行數據中的關鍵特征，結合圖神經網絡和時序卷積，構建更精準的計算資源數字孿生模型，更準確地反映資源狀態和節點間的動態關聯。

56、2.優化資源分配和調度效率：基于分層強化學習框架，結合全局資源分配策略和局部調度決策，能夠更有效地利用計算資源，提高資源利用率和調度效率。同時，混合熵優化算法的應用能夠更好地捕捉資源狀態的多維度相關性，進一步提升決策的智能化水平。

57、3.增強資源預測和配置能力：注意力增強的序列預測網絡和動態融合機制能夠生成更準確的多尺度時間窗口的資源利用預測序列，為資源配置提供可靠依據。結合多目標優化模型和粒子群算法，能夠得到更優的資源配置方案和調度策略，從而提升系統整體性能。