RK3588作為瑞芯微國產(chǎn)化旗艦級芯片,用在目標(biāo)跟蹤領(lǐng)域,通常情況下跟蹤幀率都在50Hz左右,這已經(jīng)足夠滿足大多數(shù)應(yīng)用領(lǐng)域的需求。但在許多特殊領(lǐng)域,如軍備、邊防,高幀頻的視頻輸出能夠在極短的時間內(nèi)捕捉到更多的畫面,實現(xiàn)高速動態(tài)場景的連續(xù)拍攝。高幀頻的目標(biāo)跟蹤則能夠獲得更多的目標(biāo)細(xì)節(jié),便于做出下一步判斷。許多中低端性能的由于算力等因素?zé)o法達(dá)到這樣的需求,但RK3588作為性能怪,6.0TOPS的算力開發(fā)潛力無限。成都慧視就針對于這樣的需求場景,在硬件的支持下,定制開發(fā)出能夠支撐100Hz跟蹤算法,從而打造出能夠穩(wěn)定實現(xiàn)100Hz目標(biāo)跟蹤的整合方案。鳥類識別的模塊定制。浙江移動目標(biāo)識別
瑞芯微推出的RK3588系列圖像處理板作為國產(chǎn)化板卡的性能前列,成為了各領(lǐng)域研究開發(fā)的優(yōu)先,它能在諸多行業(yè)實現(xiàn)目標(biāo)檢測、識別以及跟蹤等功能,具有重要的研究開發(fā)價值。特別是對于高校而言,將RK3588作為課題進(jìn)行研究開發(fā),是一個不錯的選擇。但是在這些功能實現(xiàn)過程中,算法的能力就十分重要,如何讓算法更加精細(xì)的識別檢測例如人、車、船等目標(biāo)成為首要解決的問題。要想讓AI算法更能精確的識別檢測目標(biāo),可以利用AI的深度學(xué)習(xí)能力,讓AI不斷學(xué)習(xí)這些目標(biāo)的特征,從而達(dá)到精細(xì)識別的能力。這個過程,可以通過大量的數(shù)據(jù)標(biāo)注,來訓(xùn)練AI。但大量待標(biāo)注工作,常常讓開發(fā)者頭疼。如果采用傳統(tǒng)方式用人工挨個挨幀標(biāo)注,將會耗費(fèi)大量時間精力,讓成本不可控。貴州快速目標(biāo)識別遠(yuǎn)程控制機(jī)器人AI識別模塊定制。
無人機(jī)能夠通過高空拍攝快速獲取大范圍、多角度的地面信息。但是傳統(tǒng)的攝像頭只能獲取視頻數(shù)據(jù),對于許多需要進(jìn)行數(shù)據(jù)分析的行業(yè)來說顯然不夠智能化,從無人機(jī)視頻數(shù)據(jù)中快速獲取提煉大量有價值的信息,不僅能夠提升工作效率,還能夠減少不小的成本支出。這就是無人機(jī)的AI識別能力。通過識別算法,在無人機(jī)工作時就對目標(biāo)范圍進(jìn)行AI檢測識別,從而提煉所需信息。這就需要對無人機(jī)進(jìn)行智能化改造,可以在傳統(tǒng)無人機(jī)吊艙中植入成都慧視開發(fā)的高性能AI圖像處理板,如利用RK3588深度開發(fā)而成的Viztra-HE030圖像處理板,6.0TOPS的算力能夠快速處理無人機(jī)識別到的復(fù)雜畫面信息,這樣就有了硬件基礎(chǔ),剩下的就需要對自身算法進(jìn)行不斷優(yōu)化提升。
多目標(biāo)跟蹤是指在連續(xù)的圖像中,通過目標(biāo)檢測算法識別出每一幀中的目標(biāo),并在時間上跟蹤它們的位置和狀態(tài)。但目標(biāo)會不斷發(fā)生尺度、形變、遮擋等變化,而且還會有目標(biāo)出現(xiàn)和消失的情況,再加上視頻采集端的相機(jī)所處環(huán)境可能受到外界影響導(dǎo)致抖動的情況(例如無人機(jī)高空檢測),就會給多目標(biāo)跟蹤造成一定的困難。由于我們不能控制目標(biāo),所以只能從視頻采集端維護(hù)跟蹤的穩(wěn)定性。因此,成都慧視針對于多目標(biāo)檢測跟蹤抖動丟失的優(yōu)化方法是:1.改進(jìn)目標(biāo)檢測,使用更加魯棒的目標(biāo)檢測算法。2.增強(qiáng)特征描述,利用深度學(xué)習(xí)提取更高級別的語義特征,這些特征對于小范圍內(nèi)的視角變化具有更好的不變性3.改進(jìn)運(yùn)動模型,在算法中加入對攝像頭運(yùn)動的估計,通過補(bǔ)償攝像頭運(yùn)動來減小目標(biāo)真實運(yùn)動與預(yù)測之間的差距。4.數(shù)據(jù)關(guān)聯(lián)策略,設(shè)計更靈活的數(shù)據(jù)關(guān)聯(lián)算法,允許更大的距離閾值來匹配候選目標(biāo)。打造一套穩(wěn)定的識別模塊需要多久?
我國西部地區(qū)地形復(fù)雜、天氣多變,許多電網(wǎng)架設(shè)在高山流水之間,給電網(wǎng)的巡檢維護(hù)造成了不小的困難。于是,不同于傳統(tǒng)人工巡檢的智能化巡檢維護(hù)開始逐步應(yīng)用。這種方式采用無人機(jī)加智能化機(jī)器人,其中無人機(jī)承擔(dān)巡檢工作,而智能化機(jī)器人進(jìn)行維護(hù),兩者互相配合。無人機(jī)搭載智能化吊艙,吊艙內(nèi)置圖像識別傳感器,工程師可以通過遠(yuǎn)程識別、抵近觀察等方式,找出問題所在。無人機(jī)機(jī)動性靈活性十足,能夠便捷去到許多人工難以到達(dá)的區(qū)域,巡檢無死角。無人機(jī)巡檢一次能夠抵得上三個人工同時作業(yè),效率成倍提升??梢姽釧I識別模塊定制。江蘇省時省力目標(biāo)識別解決方案
高性能的AI識別模塊選成都慧視光電開發(fā)的Viztra-HE030.浙江移動目標(biāo)識別
實現(xiàn)這些功能的技術(shù)中,圖像處理基于AI圖像處理板這一傳感器。板卡具備快速圖像處理識別的硬件能力,植入相應(yīng)的AI算法,無人機(jī)就相當(dāng)于裝上了“智慧眼”,而且這個“智慧眼”居于高空,能夠在一個定點,俯瞰大范圍,實時監(jiān)控貨物的存放狀態(tài)。遠(yuǎn)程控制技術(shù)基于網(wǎng)絡(luò)通信,通過和圖像處理板的結(jié)合,能夠?qū)崿F(xiàn)低延時低帶寬的圖像傳輸處理。在實際落地應(yīng)用中,可以采用成都慧視開發(fā)的高性能圖像處理板,其中RV1126系列的Viztra-LE026圖像處理板,就是無人機(jī)的完美搭子。這款圖像處理板具備2.0TOPS的算力,能夠根據(jù)無人機(jī)型號進(jìn)行接口定制,整體尺寸在40mm×40mm×10mm左右(核心板+接口板),小巧的外形即便是小型無人機(jī)也能夠裝上。此外,板卡整體功耗在4W左右,不會過多增加無人機(jī)的負(fù)擔(dān)。浙江移動目標(biāo)識別