精細動作分類和回歸的制作方法

本發明涉及視頻動作識別。具體而言，本發明涉及精細動作分類和回歸。

背景技術：

1、近年來，機器學習徹底改變了人類動作的分類和評估。傳統方法嚴重依賴手工創造的特征和基于規則的系統，這些方法在跨場景推廣方面往往能力有限。隨著深度學習技術，特別是卷積神經網絡(cnn)和循環神經網絡(rnn)的出現，研究人員開發了更強大、更準確的模型。這些網絡可以從原始輸入數據(如視頻幀或動作捕捉數據)中自動學習分層特征，從而對復雜的人類動作進行分類。

2、專利申請號us20210275107a1公開了一種用于人體步態分析的計算機實現方法，該方法從個人步行的視頻流中提取三維步態信息。三維步態信息包括對每個幀上的關節位置(包括腳的位置)的估計。該方法根據局部極值幀中的足位置確定步態參數，從而對個人的步態進行全面了解。

3、專利申請號us20220079472a1公開了一種跌倒檢測系統，該系統通過接收被監控者的視頻圖像序列來檢測個人跌倒情況，同時保護隱私。該系統處理每一張圖像，識別出被監控者并提取骨骼圖。然后，該系統在預定動作中為每個動作添加標簽，從而為被監控者生成跌倒/非跌倒的判斷。

4、專利申請號us20240037977a1公開了一種由聯合判定模塊、姿勢估計模塊和動作識別模塊組成的裝置。它使用計算神經網絡分析包含一個或多個人的圖像，從這些候選項中得出姿勢估計，并分析感興趣的區域以識別動作。

5、然而，當需要更精細的評估時，現有的方法則面臨局限性。在需要評估特定動作的符合程度或質量的情況下(例如工人裝配動作或老年人運動技能)，需要更精細的粒度。

技術實現思路

1、因此，本發明通過引入用于精細動作分類和回歸的空間-時間視頻數據集來滿足這一需求。

2、本發明的實施方式的一個方面公開了一種通過包含處理器和非易失性計算機可讀存儲介質的系統實現的精細動作分類和/或回歸的方法。該存儲介質存儲指令，當執行時，導致系統執行包括以下步驟的方法：接收(s110)至少一個視頻流，該視頻流捕獲人類主體動作序列；識別(s140)與所述人類主體動作序列具有時空關系的至少一個參考對象；提取(s130)表示所述人類主體動作序列的姿勢數據集；提取(s160)表示所述至少一個參考對象的空間位置的至少一個對象數據集；生成(s170)整合了所述姿勢數據集和所述至少一個對象數據集的復合數據結構；以及將所述復合數據結構輸入(s180)到用于分類和/或回歸的經訓練的機器學習模型中。

3、本發明的另一個方面公開了一種通過包含處理器和非易失性計算機可讀存儲介質的系統實現質量預測或合規性預測的方法。上述存儲介質存儲指令，當執行時，導致系統執行該方法，包括：接收(s710)根據權利要求1所述的方法生成的n個復合數據結構，其中復合數據結構1至n分別與應符合一組指定程序標準的人類動作序列相關聯，并且人類動作序列1至n中的每一個與最終產品的裝配部分相關聯；為每個復合數據結構添加(s720)來自全局時鐘的時間戳，其中每個所述復合數據結構包括每個提取幀的時間戳信息；根據所述n個復合數據結構的時間戳信息，串聯(s730)該n個復合數據結構，以形成數據結構的時間序列。

4、本發明的另一個方面提供了一種非臨時性的計算機可讀存儲介質，其中存儲指令，當由一個或多個處理器執行時，這些指令可導致處理系統執行本文公開的用于精細動作分類和/或回歸的方法。該計算機可讀介質以一種可由計算設備直接利用的形式體現了該方法，以實現本發明的功能。

技術特征：

1.一種使用包括處理器以及存儲指令的非臨時性計算機可讀存儲介質組成的系統來實現精細動作分類和/或回歸的方法，其中所述指令在執行時使所述系統執行包括以下步驟的方法：

2.根據權利要求1所述的方法，進一步包括：

3.根據權利要求1所述的方法，其中所述姿勢數據集包括：

4.根據權利要求3所述的方法，還包括為所述至少一個參考對象中的每一個添加一個邊界框，其中，對于每個所提取的幀而言，所述對象數據集包括：

5.根據權利要求4所述的方法，其中，生成所述復合數據結構包括：

6.根據權利要求4所述的方法，進一步包括：

7.根據權利要求1所述的方法，其中所述至少一個視頻流是從位于場景周圍的一個或多個攝像機以預定的時間間隔捕獲的。

8.根據權利要求1或權利要求6所述的方法，進一步包括：

9.一種由包括處理器以及非臨時性計算機可讀存儲介質的系統來實施質量預測或合規性預測的方法；所述存儲介質存儲指令，當執行時，該指令導致系統執行所述方法，包括：

10.根據權利要求9所述的方法，進一步包括：

11.根據權利要求9所述的方法，還包括：

12.根據權利要求11所述的方法，還包括對用于合規性預測的機器學習模型進行訓練，包括：

13.根據權利要求12所述的方法，其中，所述錯誤貢獻概率表示為0.0到1.0之間的值。

14.一種非臨時性計算機可讀存儲介質，其中存儲有指令，當由處理系統的一個或多個處理器執行時，該指令導致處理系統執行根據權利要求1-13中的任一條所述的方法。

技術總結
公開了用于精細動作分類和/或回歸的方法和非臨時性的計算機可讀存儲介質。該方法包括：接收捕捉一系列人類動作的視頻流；識別與動作序列存在時空關系的參考對象；提取表示動作序列的姿勢數據集；提取表示參考對象空間位置的對象數據集；生成整合姿勢數據集和對象數據集的復合數據結構；將復合數據結構輸入經過訓練的機器學習模型，用于分類和/或回歸。

技術研發人員：周經偉,王忠維
受保護的技術使用者：香港應用科技研究院有限公司
技術研發日：
技術公布日：2025/3/13