專利名稱：一種基于fpga和dsp的機器視覺系統的制作方法
技術領域：
本發明涉及嵌入式機器視覺領域，尤其涉及基于FPGA (FieldProgrammable Gate Array，現場可編程門陣列)和DSP(Digital SignalProcessing，數字信號處理器)的嵌入 式機器視覺系統。
背景技術：
機器視覺技術是計算機學科的一個重要分支，它綜合了光學、機械、電子、計算機 軟硬件等方面的技術，涉及到計算機、圖像處理、模式識別、人工智能、信號處理、光機電一 體化等多個領域。目前大多數機器視覺系統都是基于通用計算機的視覺系統。此類系統通常包括攝 像頭，圖像采集卡和用于圖像處理的通用計算機(PC、普通工控機、PC-104工控機、筆記本 計算機)。視頻圖像通過圖像采集卡轉化為數字信號傳送給計算機進行處理。用戶可根據 實際需要在市場上選用不同的圖像采集卡和通用計算機，并在計算機中寫入有效的圖像處 理算法。基于計算機的視覺系統具有系統通用性強，配置靈活，實現容易等優點。但是基于 通用計算機的視覺系統也有一些不可克服的缺點，如體積大、重量大、系統集成度差、功耗 高等。對于一些對體積、重量和功耗要求嚴格的應用場合，基于通用計算機的視覺系統顯然 就不能滿足要求。隨著DSP、FPGA、ARM等嵌入式處理器性能的提高，基于嵌入式處理器的視 覺系統得到了很好的發展，如現有的一些視覺系統采用了單一處理器DSP或FPGA作為處理 器，這些視覺系統均具有系統集成度高、體積小和功耗低的優點，但由于單一的嵌入式處理 處理性能不及通用計算機的處理能力，因此此類系統處理能力較弱，實時性較差，合適用于 一些對功耗和體積要求高，處理數據量不大、實時性要求不高的場合。
發明內容
本發明的目的在于提供一種具有系統集成度高、體積小、重量輕、實時性好等優點 的基于FPGA和DSP的機器視覺系統。為達到此目的，本發明基于FPGA和DSP的機器視覺系統的技術方案如下該系統 以千兆以太網口作為圖像數據輸入接口 ；使用FPGA內部電路實現圖像的高速采集與底層 預處理；使用DSP軟件編程實現系統的邏輯控制以及對預處理過的圖像進行高層理解與模 式識別處理，并將最終處理結果通過外設接口輸出，整個系統包括圖像采集模塊、圖像預處 理模塊、圖像高層處理與模式識別模塊以及結果輸出模塊；其中圖像采集模塊包括千兆以太網接口、數字相機控制單元、網絡數據包解析單元以 及數據搬運單元，利用千兆以太網接口連接具有千兆以太網接口的數字相機；數字相機控 制單元通過千兆以太網接口對數字相機發送控制命令，使數字相機工作在特定的工作模式 并向外傳輸圖像數據；數字相機的圖像數據以UDP(User Datagram Protocol，用戶數據包 協議)數據包的形式向外傳輸，網絡數據包解析單元負責解析數字相機輸出的UDP數據包， 將圖像數據從數據包中提取出來；數據搬運單元負責數據在各個模塊間的自主高速搬運；
圖像預處理模塊包括濾波單元、邊緣提取單元及直線段提取單元，從圖像采集模 塊輸出的圖像數據依次經過濾波單元、邊緣提取單元、直線段提取單元，得到預處理過后的 邊緣圖像以及圖像中的直線段信息；圖像高層處理 與模式識別模塊通過DSP軟件編程實現，用于處理圖像預處理模塊 輸出的邊緣圖像以及圖像特征信息并將處理結果送到結果輸出模塊；結果輸出模塊包括一個百兆以太網接口和一個RS485總線協議的通用異步接收/ 發送器接口，負責將處理結果傳送給遠程控制上位機或執行設備。優選實施例，所述圖像采集模塊通過在FPGA內部建立可編程片上系統實現，可編 程片上系統包含多個組件一個軟核處理器，一個內存控制器，一個10/100/1000M三速以 太網介質訪問控制器，一個網絡數據包解析單元以及用于數據搬運的三個散/聚直接內存 訪問控制器，在可編程片上系統中，這些組件通過片內可編程總線連接在一起。優選實施例，所述圖像采集模塊中的數字相機控制單元是通過對軟核處理器編程 實現的；在軟核處理器上運行yC/OS-II操作系統，使用NicheStack協議棧支持UDP/IP協 議，這樣系統軟件就能通過以太網協議與數字相機進行通信，給數字相機發送用于控制的 UDP數據包，實現數字相機的控制。優選實施例，所述圖像采集模塊中的網絡數據包解析單元使用FPGA硬件電路實 現UDP網絡數據包的解析；網絡數據包解析單元首先對數字相機輸出的UDP數據包進行解 包，對UDP數據包進行檢校和計算并去掉UDP和IP報頭，然后根據千兆以太網數字相機的 數據協議將圖像數據提取出來并送入圖像預處理模塊進一步處理。優選實施例，所述圖像采集模塊中的數據搬運單元使用三個散/聚直接內存訪問 控制器自主搬運數據，包括兩個發送散/聚直接內存訪問控制器和一個接收散/聚直接內 存訪問控制器，其中一個發送散/聚直接內存訪問控制器負責將UDP數據包搬運到介質訪 問控制發送端口，另一個發送散/聚直接內存訪問控制器負責將接收到的數據包據搬運到 網絡數據包解析單元，一個接收散/聚直接內存訪問控制器負責將接收到的UDP數據包從 介質訪問控制接收端口搬運到內存中。優選實施例，所述圖像預處理模塊中的濾波單元，采用高斯濾波算法對圖像去噪 聲處理，采用鄰域平均的方法，用鄰點灰度的平均值取代該點的灰度；所述圖像預處理模塊 中的邊緣提取單元，采用Carmy提取邊緣的算法對濾波后的圖像提取邊緣，得到邊緣圖像； 所述圖像預處理模塊中的直線段提取單元采用概率Hough變換算法，對邊緣圖像進行概率 Hough變換，得到圖像的直線段特征信息；圖像預處理模塊中所有計算單元均采用流水線 的處理模式，并在FPGA內部使用硬件電路并行實現。優選實施例，所述圖像高層處理與模式識別模塊，首先使用DSP的DMA通道，將預 處理過的邊緣圖像數據與特征信息搬運到DSP的片上內存中，然后再利用DSP的軟件算法 程序對圖像進行高層理解處理與模式匹配，并將處理結果送入結果輸出模塊。優選實施例，所述結果輸出模塊的百兆以太網接口通過DSP的集成外設10/100M 介質訪問控制器實現，用于將圖像處理結果通過以太網傳輸給遠程控制上位機；通用異步 接收/發送器接口通過在DSP的外部存儲器空間擴展一個RS485控制器來實現，負責將系 統產生的控制命令直接傳輸給執行設備。本發明的有益效果本發明提供了一種基于DSP和FPGA的機器視覺系統，采用具有高速數據通訊能力的千兆以太網接口作為圖像輸入接口，使得系統具有采集高速圖像的能力；利用FPGA硬件電路實現計算量較大的圖像預處理，大大降低圖像處理時間，使得系 統具有處理高速圖像的能力；利用DSP編程的靈活性，將高層的圖像理解與模式識別算法 由DSP編程實現，使得系統具有處理復雜圖像算法的能力；系統使用多個直接內存訪問控 制器，使得數據在各個模塊之間實現自主搬運，減輕了處理器的負擔，提高了系統傳輸數據 帶寬和系統處理的實時性。本發明提供的視覺系統采用嵌入式處理器，系統具有集成度高、 體積小、功耗低等特點。因此本發明提供的基于DSP和FPGA的機器視覺系統，不僅體積小、 重量輕、功耗低，而且具有處理速度快，實時性高等優點，非常適合應用于對體積、功耗以及 處理能力要求苛刻的機器視覺系統。
圖1系統模塊示意圖，圖2圖像采集模塊示意圖，圖3系統軟件流程圖，圖4系統硬件示意圖。
具體實施例方式為使本發明的目的、技術方案和優點更加清楚明白，以下結合具體實施例，并參照 附圖，對本發明進一步詳細說明。本發明的基本思路是目前機器視覺系統大部分是基于通用計算機機實現的，此 類系統普遍存在系統集成度差、體積大、重量大、功耗高等缺點，為了解決以上這些缺點，近 年來也出現了一些基于嵌入式處理器的機器視覺系統，在一定程度上解決了基于通用計算 機視覺系統的缺點。但由于單一的嵌入式處理器的性能較差，基于單一嵌入式處理器的視 覺系統的處理能力以及實時性往往不能滿足數據量較大、實時性要求較高的應用場合。本 發明從計算機視覺圖像處理的特點分析出發，將圖像處理過程分為底層圖像預處理與高層 圖像理解處理。其中底層處理完成圖像預處理和特征檢測等任務。而高層處理則完成模式 分類和結構分析的任務，依據圖像預處理部分所提取的特征，把相應原圖歸屬到已知的一 類模式，并對這些模式信息進行簡明的描述和說明，產生最后的輸出結果。底層圖像處理基 本上都是逐點操作或逐點鄰域操作，對于每一點進行相同且規律的操作，具有操作簡單、規 則但計算量大的特點，因此很適合利用FPGA中豐富的硬件資源實現并行處理。與底層圖像 處理算法相比，高層處理操作通常具有順序搜索和數據獨立等特點。另外，由于它從底層處 理系統中獲得的信息本身不具有統一的格式，其操作缺乏規則性，不適合于在硬件中用并 行實現。因此，可利用DSP靈活編程的特點，采用DSP編程實現。本發明采用百萬門級FPGA 硬件實現底層圖像處理，如圖像的濾波、邊緣檢測、直線段特征的提取；采用具有高性能和 低功耗特性的DSP編程實現高層的圖像理解算法，如特征點分析與匹配，目標搜索等。同 時，FPGA和DSP都屬于具有低功耗的嵌入式處理器，因此本發明提供的視覺系統不僅具有 較高的數據吞吐量以及數據處理能力，而且具有低功耗的特性。附圖1為本發明的模塊示意圖。圖像采集模塊1通過千兆以太網接口將數字相機 的圖像數據采集到FPGA中，依次經過由FPGA內部硬件電路資源實現的高斯濾波、Carmy算子提取邊緣以及Hough變換圖像預處理模塊2，得到邊緣圖像以及圖像的直線段特征；DSP 的直接內存訪問控制器將經過FPGA預處理過的邊緣圖像以及特征信息搬運到內存中，通 過DSP的軟件程序實現圖像高層理解與模式識別模塊3，通過DSP的集成外設接口擴展的結 果輸出模塊4，將最終的處理結果傳送給遠程上位機或執行設備。圖像采集模塊 1 通過在 FPGA 內實現一個 SOPC (System on aProgrammable Chip, 可編程片上系統)系統實現，其組成結構如附圖2所示。系統包含多個IP組件，包括一個軟 核處理器(型號為Nios-II)，一個DDR SDRAM內存控制器，一個10/100/1000M三速以太網 介質訪問控制器以及用于數據搬運的三個SGDMA(Scatter-Gather DirectMemory Access, 散/聚直接內存訪問)控制器。在SOPC系統中，這些組件通過片內可編程總線連接在一起。 SOPC系統工作原理是在Nios-II處理器上運行μ C/0S-II操作系統，使用NicheStack協 議棧支持UDP/IP協議，這樣系統軟件就可以通過以太網與數字相機進行通訊，發送數字相 機控制命令并接收數字相機輸出的圖像數據。系統軟件工作流程如附圖3所示上電后，首 先進行系統初始化，包括μ C/0S-II操作系統初始化、中斷服務的初始化、系統IP和MAC地 址的設定以及啟動UDP服務器；然后調用數字相機控制程序，控制數字相機的工作模式，設 定數字相機傳輸的圖像格式；啟動接收圖像數據的SGDMA，等待數字相機的圖像數據；數字 相機將圖像數據以UDP數據包的方式發送到SOPC系統，系統接收到數字相機的UDP數據包 后，使用SGDMA將接收到的原始UDP數據存入片內雙端口 RAM ；SGDMA完成一次圖像UDP數 據包接收后發起一個中斷，在中斷服務程序中，首先重啟SGDMA，做好下個數據包接收的準 備，然后啟動發送SGDMA，將雙端口 RAM中的原始UDP數據包搬運到用硬件電路實現的網絡 數據包解析單元。UDP/IP協議解包包括協議分解和計算校驗和等操作，在數據接 受過程中，占用大 部分的CPU計算時間，是影響接收數據速率的主要因素。由于NiOS-II處理器的主頻不高， 若采用Nios-II軟件處理解包操作，勢必會影響數據的接收速度。在Nios-II處理器主頻 為150MHz的情況下，使用軟件解包的數據接收速度不高于80Mb/s，遠遠低于千兆以太網的 帶寬。鑒于此，本發明在FPGA內部使用硬件電路實現UDP數據包解析功能，網絡數據包解 析單元分三個步驟解析UDP數據包Sl 圖像數據包的判定。讀取接收到數據包的端口號，確認是否為圖像數據的UDP 數據包，若是，執行S2操作，若不是，直接將該數據包丟棄，返回到Sl。S2 :IP頭校驗和的計算。將計算結果與IP報頭中的頭部檢校和相比較，若相同則 執行S3操作，若不相同，則丟棄該數據包，返回到Si。S3 圖像數據格式解析。數字相機在每個UDP數據包的前部會插入該數據包中圖 像數據的說明，如該包中的圖像數據所在的幀號以及在該幀中的位置，圖像數據格式解析 電路根據這些信息，將UDP包中的數據組合成圖像，并發送到圖像預處理模塊2。本發明使用硬件解包電路接收圖像數據，最高傳輸速率不低于700Mb/s。圖像預處理模塊2包括高斯濾波、Canny算子提取邊緣以及Hough變換圖像預處 理單元。這些預處理計算基本上都是逐點操作或逐點鄰域操作，對于每一點進行相同且規 律的操作，具有操作簡單、規則但計算量大的特點，很適合利用FPGA中豐富的硬件資源實 現并行處理。鑒于此，本發明采用FPGA中的硬件電路實現圖像預處理操作，使圖像處理的 整體時間縮短，提高了系統的實時性。
圖像高層處理與模式識別模塊3通過DSP編程實現。為了減輕DSP的計算負擔，提 高系統的實時性，首先使用DSP片內集成外設DMA通道，將經過FPGA預處理過的圖像數據 快速搬運到DSP的片內存儲器中，進行后續圖像高層處理與模式識別。高層圖像處理與模 式識別有很多算法，本實施例采用較為常見的目標搜索以及模板匹配算法作為圖像的高層 處理。目標搜索方法是基于連續圖像相關性的順序網格搜索，將搜索區域人為地按一定的 準則分割為一定數量、大小相等的正方形小區域，并按一定的順序在該小區域中掃描目標， 搜索出 目標的大概位置。模板匹配是以某一區域的特征點作為原點，以一定的特征作為標 準向周圍擴散，直到將滿足要求(即模板)的所有像素點全部找到。處理結果4輸出模塊包括一個百兆以太網接口和一個RS485總線協議的UART接 口。百兆網接口通過DSP的集成外設10/100M MAC控制器和一個百兆物理層芯片實現，用于 將圖像處理結果通過以太網傳輸給遠程控制上位機，數據實際傳輸速度最高不低于70Mb/ s ；UART接口通過在DSP的外部存儲器空間擴展一個RS485控制器來實現，負責將系統產生 的控制命令直接傳輸給執行設備，如數字相機的云臺電機。本發明的硬件示意圖如附圖4所示，各硬件的說明以及參數如下本發明中的DSP為TI公司的TMS320DM642處理器，該處理器最高時鐘頻率為 720MHz，處理能力不低于4000MIPS，最高可達5760MIPS。具有8個并行處理單元、兩級Cache 以及多個適合圖像處理的外設，包括3個視頻接口，1個10M/100M以太網接口，1個32bit HPI接口，64個DMA通道以及64bit的EMIF接口。通過EMIF接口擴展了 8Mbyte的Flash， 其中4Mbyte用于存儲DSP程序，其余的4Mbyte用于存儲FPGA的動態配置程序；擴展了 4Mx64bit共32Mbyte的SDRAM，用于運行程序和緩存圖像；擴展了一個RS232/485控制器， 用于UART接口通訊；FPGA也通過EMIF接口映射在DSP的數據空間，便于DSP高速訪問。FPGA選用Altera公司的最新65nm工藝的EP3C40F484，該芯片具有豐富的硬件資 源，包括40K邏輯單元(LE)、1. 61Mbit片內RAM、126個18X18硬件乘法器以及4個PLL單 元等，充分保證了較為復雜的圖像處理算法的硬件實現需求。FPGA內部實現的千兆以太網 MAC控制器與外接一片千兆以太網物理層芯片組成千兆以太網接口，接收圖像數據帶寬最 高可到700Mb/s，保證了圖像數據的高速采集；為了擴展系統的存儲空間，在FPGA外部擴展 了 2片16bit (組成32bit位寬)DDR 266和1片32bit ZBT SRAM的內存模塊，用于SOPC 程序運行空間以及圖像數據緩存空間，其中DDR內存工作在266MHz頻率下，FPGA訪問DDR 內存的數據帶寬為8512Mbit/s，ZBT SRAM工作頻率為100MHz，FPGA訪問ZBT SRAM的數據 帶寬為3200Mbit/s。FPGA訪問片外內存的數據帶寬均大于千兆以太網視頻的輸入帶寬，滿 足實時處理的帶寬要求。本發明采用FPGA硬件實現圖像采集與處理過程中計算量較大的操作，使用具有 高數據帶寬的千兆以太網接口作為圖像高速輸入接口，使得本發明所提出的視覺系統具有 進行實時高速圖像采集與處理的能力；再加上使用具有靈活編程能力的DSP作為圖像高層 理解處理器，配以外擴的多個大容量、高數據帶寬的存儲器，使得高層圖像處理算法的實現 成為可能；另外本系統是基于嵌入式處理器的視覺系統，具有集成度高、體積小、功耗低的 優點。因此本發明提供的視覺系統是一種體積小、功耗低、處理能力強、實時性高的視覺系 統。
權利要求
1.一種基于FPGA和DSP的機器視覺系統，其特征在于，該系統以千兆以太網口作為圖 像數據輸入接口 ；使用FPGA內部電路實現圖像的高速采集與底層預處理；使用DSP軟件編 程實現系統的邏輯控制以及對預處理過的圖像進行高層理解與模式識別處理，并將最終處 理結果通過外設接口輸出，整個系統包括圖像采集模塊、圖像預處理模塊、圖像高層處理與 模式識別模塊以及結果輸出模塊；其中圖像采集模塊包括千兆以太網接口、數字相機控制單元、網絡數據包解析單元以及數 據搬運單元，利用千兆以太網接口連接具有千兆以太網接口的數字相機；數字相機控制單 元通過千兆以太網接口對數字相機發送控制命令，使數字相機工作在特定的工作模式并向 外傳輸圖像數據；數字相機的圖像數據以UDP數據包的形式向外傳輸，網絡數據包解析單 元負責解析數字相機輸出的UDP數據包，將圖像數據從數據包中提取出來；數據搬運單元 負責數據在各個模塊間的自主高速搬運；圖像預處理模塊包括濾波單元、邊緣提取單元及直線段提取單元，從圖像采集模塊輸 出的圖像數據依次經過濾波單元、邊緣提取單元、直線段提取單元，得到預處理過后的邊緣 圖像以及圖像中的直線段信息；圖像高層處理與模式識別模塊通過DSP軟件編程實現，用于處理圖像預處理模塊輸出 的邊緣圖像以及圖像特征信息并將處理結果送到結果輸出模塊；結果輸出模塊包括一個百兆以太網接口和一個RS485總線協議的通用異步接收/發送 器接口，負責將處理結果傳送給遠程控制上位機或執行設備。
2.根據權利要求1所述的基于FPGA和DSP的機器視覺系統，其特征在于，所述圖像 采集模塊通過在FPGA內部建立可編程片上系統實現，可編程片上系統包含多個組件一個 軟核處理器，一個內存控制器，一個10/100/1000M三速以太網介質訪問控制器，一個網絡 數據包解析單元以及用于數據搬運的三個散/聚直接內存訪問控制器，在可編程片上系統 中，這些組件通過片內可編程總線連接在一起。
3.根據權利要求1所述的基于FPGA和DSP的機器視覺系統，其特征在于，所述圖像 采集模塊中的數字相機控制單元是通過對軟核處理器編程實現的；在軟核處理器上運行 μ C/OS-II操作系統，使用NicheStack協議棧支持UDP/IP協議，這樣系統軟件就能通過以 太網協議與數字相機進行通信，給數字相機發送用于控制的UDP數據包，實現數字相機的 控制。
4.根據權利要求3所述的基于FPGA和DSP的機器視覺系統，其特征在于，所述圖像采 集模塊中的網絡數據包解析單元使用FPGA硬件電路實現UDP網絡數據包的解析；網絡數據 包解析單元首先對數字相機輸出的UDP數據包進行解包，對UDP數據包進行檢校和計算并 去掉UDP和IP報頭，然后根據千兆以太網數字相機的數據協議將圖像數據提取出來并送入 圖像預處理模塊進一步處理。
5.根據權利要求1所述的基于FPGA和DSP的機器視覺系統，其特征在于，所述圖像采 集模塊中的數據搬運單元使用三個散/聚直接內存訪問控制器自主搬運數據，包括兩個發 送散/聚直接內存訪問控制器和一個接收散/聚直接內存訪問控制器，其中一個發送散/ 聚直接內存訪問控制器負責將UDP數據包搬運到介質訪問控制發送端口，另一個發送散/ 聚直接內存訪問控制器負責將接收到的數據包據搬運到網絡數據包解析單元，一個接收散 /聚直接內存訪問控制器負責將接收到的UDP數據包從介質訪問控制接收端口搬運到內存中。
6.根據權利要求1所述的基于FPGA和DSP的機器視覺系統，其特征在于，所述圖像預 處理模塊中的濾波單元，采用高斯濾波算法對圖像去噪聲處理，采用鄰域平均的方法，用鄰 點灰度的平均值取代該點的灰度；所述圖像預處理模塊中的邊緣提取單元，采用Carmy提 取邊緣的算法對濾波后的圖像提取邊緣，得到邊緣圖像；所述圖像預處理模塊中的直線段 提取單元采用概率Hough變換算法，對邊緣圖像進行概率Hough變換，得到圖像的直線段特 征信息；圖像預處理模塊中所有計算單元均采用流水線的處理模式，并在FPGA內部使用硬 件電路并行實現。
7.根據權利要求1所述的基于FPGA和DSP的機器視覺系統，其特征在于，所述圖像高 層處理與模式識別模塊，首先使用DSP的DMA通道，將預處理過的邊緣圖像數據與特征信息 搬運到DSP的片上內存中，然后再利用DSP的軟件算法程序對圖像進行高層理解處理與模 式匹配，并將處理結果送入結果輸出模塊。
8.根據權利要求1所述的基于FPGA和DSP的機器視覺系統，其特征在于，所述結果輸 出模塊的百兆以太網接口通過DSP的集成外設10/100M介質訪問控制器實現，用于將圖像 處理結果通過以太網傳輸給遠程控制上位機；通用異步接收/發送器接口通過在DSP的外 部存儲器空間擴展一個RS485控制器來實現，負責將系統產生的控制命令直接傳輸給執行 設備。
全文摘要
一種基于FPGA和DSP的機器視覺系統，是以千兆以太網接口作為圖像數據輸入接口；使用FPGA內部硬件電路實現圖像的高速采集與底層預處理；使用DSP軟件編程實現系統的邏輯控制以及圖像的高層理解與模式識別處理。整個系統包括圖像采集模塊、圖像預處理模塊、圖像高層處理與模式識別模塊以及結果輸出模塊。圖像采集模塊通過千兆以太網接口將數字相機的圖像數據采集到FPGA中，依次經過由FPGA內部硬件電路資源實現的圖像預處理模塊中各個計算單元，得到邊緣圖像以及圖像特征信息；DSP通過軟件實現高層圖像理解與模式識別模塊，并將最終的處理結果通過結果輸出模塊傳送給遠程上位機或執行設備。
文檔編號G06T1/00GK102044063SQ201010603189
公開日2011年5月4日 申請日期2010年12月23日 優先權日2010年12月23日
發明者何文浩, 原魁, 李園, 鄒偉 申請人:中國科學院自動化研究所