智能無(wú)人機(jī)的關(guān)鍵基礎(chǔ)技術(shù)

無(wú)人機(jī)“視覺(jué)”技術(shù)

賦予無(wú)人機(jī)“智能”中關(guān)鍵技術(shù)之一是讓無(wú)人機(jī)能夠通過(guò)機(jī)器視覺(jué)感知周邊的環(huán)境，并將結(jié)果轉(zhuǎn)化為數(shù)據(jù)通過(guò)OS(操作系統(tǒng))傳給其他應(yīng)用程序。

目前無(wú)人機(jī)領(lǐng)域主流的機(jī)器視覺(jué)硬件技術(shù)有：雙目機(jī)器視覺(jué)、紅外激光視覺(jué)、超聲波輔助探測(cè)等方式。

1、雙目機(jī)器視覺(jué)

雙目機(jī)器視覺(jué)基于三角定位原理，與人眼對(duì)三維世界的還原原理類似，通過(guò)比較兩個(gè)同向攝像頭拍攝的畫(huà)面中同一物體的視角差來(lái)確定距離，從而從二維圖像中還原出三維世界的立體模型。

雙目機(jī)器視覺(jué)僅需兩個(gè)攝像頭，但對(duì)計(jì)算能力的要求較高。

雙目機(jī)器視覺(jué)的門檻不在于根據(jù)視角信息α、β和間距d解算距離L，而在于讓計(jì)算機(jī)能夠在畫(huà)面中將物體從背景中“提取”出來(lái)。目前高通支持雙目機(jī)器視覺(jué)的無(wú)人機(jī)參考設(shè)計(jì)使用旗艦芯片Snapdragon  801/820，可見(jiàn)其對(duì)計(jì)算能力的要求之高。

對(duì)人眼來(lái)說(shuō)將一個(gè)物體從背景畫(huà)面當(dāng)中區(qū)分開(kāi)來(lái)是一件很自然的事情，但對(duì)于計(jì)算機(jī)就不同了：同一景物在不同視點(diǎn)的攝像機(jī)圖像平面上的成像會(huì)發(fā)生不同程度的扭曲和變形，要讓計(jì)算機(jī)模糊分割出物體，圖像分割算法需要做卷積/微分等大計(jì)算量運(yùn)算;而無(wú)人機(jī)這種要求實(shí)時(shí)測(cè)距的場(chǎng)景下需要的總體計(jì)算性能就更高了。

2、紅外激光視覺(jué)

為了規(guī)避計(jì)算機(jī)視覺(jué)中識(shí)別物體的大量計(jì)算以及提高精度，以Intel為代表的一批廠商使用了紅外激光視覺(jué)技術(shù)，如Intel  RealSense機(jī)器視覺(jué)模組。其基本原理見(jiàn)下圖，其測(cè)距原理與雙目視覺(jué)類似，但識(shí)別對(duì)象從物體替換成了打在物體表面的紅外激光點(diǎn)。這樣就從根本上消除了物體識(shí)別的計(jì)算需求。

紅外激光視覺(jué)的必要代價(jià)是將兩個(gè)攝像頭替換為紅外攝像頭，并增加一個(gè)紅外激光掃描器的硬件成本以及功耗。其中紅外激光掃描器由一個(gè)紅外激光發(fā)射器和MEMS掃描反射鏡組成，整體增加的硬件成本較高。

除了對(duì)計(jì)算量要求小以外，紅外激光機(jī)器視覺(jué)還具有兩大優(yōu)點(diǎn)：  相比雙目，其應(yīng)用時(shí)間與范圍更廣，可在暗夜和照明條件不好的室內(nèi)使用;相比雙目，其有著更高的測(cè)距精度，能夠精確還原物體的三維數(shù)據(jù)。

3、超聲波探測(cè)

超聲波測(cè)障是一種較為成熟的技術(shù)，已廣泛使用在軍/民用多種應(yīng)用場(chǎng)合之中。

超聲波的優(yōu)勢(shì)在于能夠有效識(shí)別玻璃，電線等雙目視覺(jué)/紅外激光視覺(jué)無(wú)法準(zhǔn)備測(cè)距的物體。

缺點(diǎn)在于精度較差，只能用于探測(cè)障礙是否存在，無(wú)法提取精確空間信息用作路徑規(guī)劃。

定點(diǎn)懸停技術(shù)

消費(fèi)級(jí)無(wú)人機(jī)的核心應(yīng)用就是基于無(wú)人機(jī)的航拍功能，而航拍功能對(duì)無(wú)人機(jī)系統(tǒng)要求最高的技術(shù)指標(biāo)就是飛行的穩(wěn)定性。

懸停定位技術(shù)所采用的技術(shù)手段主要有幾種：

1)GPS/IMU組合定位

2)超聲波輔助定高

3)基于圖像的光流定位技術(shù)

GPS/IMU定位技術(shù)

GPS/IMU定位的原理是較為傳統(tǒng)和成熟的定位方法。

GPS可以測(cè)得無(wú)人機(jī)當(dāng)前的水平位置和高度，飛控系統(tǒng)根據(jù)無(wú)人機(jī)位置和高度相對(duì)于懸停點(diǎn)的偏差對(duì)無(wú)人機(jī)進(jìn)行補(bǔ)償控制從而實(shí)現(xiàn)定點(diǎn)懸停。

然而，GPS信號(hào)更新較慢，而且GPS信號(hào)容易收到干擾，影響實(shí)際控制效果。因此工程實(shí)踐中引入了飛行器的IMU信息與GPS信號(hào)進(jìn)行濾波，得到更為精確和更新率更高的位置、高度信息，這種模式還可以保證在GPS失常時(shí)，僅依靠IMU提供應(yīng)急位置高度信息，但是因?yàn)閮H利用IMU信息進(jìn)行位置高度解算時(shí)，解算結(jié)果容易發(fā)散，因此這種方法僅適合在空曠的戶外進(jìn)行懸停控制，而并不適宜在室內(nèi)或有信號(hào)遮蔽的環(huán)境下使用。

超聲波輔助定高技術(shù)

超聲波測(cè)距傳感器是一種較為成熟的測(cè)距傳感器，能夠根據(jù)超聲波發(fā)出與返回的時(shí)間差，測(cè)得超聲波傳感器前的障礙物的距離，當(dāng)無(wú)人機(jī)布置有下視超聲波傳感器時(shí)，可測(cè)得較為精確的距地面距離，從而輔助實(shí)現(xiàn)定高控制，但是超聲波輔助定高對(duì)于水平位置的飄移控制起不到作用。

光流定位

光流定位是采用圖像傳感器對(duì)傳感器所捕捉的圖像畫(huà)面進(jìn)行分析，間接解算得到自身位置、運(yùn)動(dòng)信息的一種技術(shù)。

隨著圖像處理算法的演進(jìn)和圖像處理硬件平臺(tái)的發(fā)展，使得這種算法的精度和實(shí)時(shí)性得到保證，從而得以在無(wú)人機(jī)系統(tǒng)上得到應(yīng)用。

光流定位是利用圖像序列中像素在時(shí)間域上的變化以及相鄰幀之間的相關(guān)性來(lái)找到上一幀跟當(dāng)前幀之間存在的對(duì)應(yīng)關(guān)系，從而計(jì)算出相鄰幀之間物體的運(yùn)動(dòng)信息的一種方法。一般而言，光流是由于場(chǎng)景中前景目標(biāo)本身的移動(dòng)、相機(jī)的運(yùn)動(dòng)，或者兩者的共同運(yùn)動(dòng)所產(chǎn)生的。

在無(wú)人機(jī)應(yīng)用中，無(wú)人機(jī)機(jī)身加裝對(duì)地的光流攝像頭，根據(jù)所觀測(cè)到的地面圖像來(lái)進(jìn)行定位的，其原理可通過(guò)下圖進(jìn)行理解：無(wú)人機(jī)在相對(duì)地面移動(dòng)時(shí)，其對(duì)地觀測(cè)鏡頭所拍攝到的畫(huà)面會(huì)相對(duì)向反方向“移動(dòng)”，根據(jù)無(wú)人機(jī)距離地面的高度(這也是光流傳感器都與對(duì)地超聲波傳感器成對(duì)出現(xiàn)的原因)以及對(duì)地觀測(cè)圖像中像素移動(dòng)的量，即可推算出無(wú)人機(jī)相對(duì)地面移動(dòng)的距離。

當(dāng)無(wú)人機(jī)采用光流定位技術(shù)實(shí)現(xiàn)自身位置確定后，即可采用通用的控制算法實(shí)現(xiàn)水平面和高度上的定位。目前所采用的光流技術(shù)，基本上可以實(shí)現(xiàn)室內(nèi)環(huán)境的穩(wěn)定懸停，但是隨著時(shí)間的累積，仍然會(huì)有十幾厘米到幾十厘米范圍的飄移。不過(guò)，這種低頻率、小幅度的位置改變對(duì)于航拍來(lái)說(shuō)，是可以接受的。

跟蹤拍攝技術(shù)

對(duì)于航拍無(wú)人機(jī)來(lái)說(shuō)，一個(gè)新的趨勢(shì)是采用跟蹤拍攝模式，即對(duì)無(wú)人機(jī)設(shè)置一個(gè)興趣點(diǎn)，無(wú)人機(jī)則自動(dòng)對(duì)興趣點(diǎn)進(jìn)行跟蹤拍攝，這是無(wú)人機(jī)智能化的發(fā)展趨勢(shì)。

目前的跟蹤拍攝技術(shù)主要分為兩種：

1)GPS跟蹤;

2)圖像跟蹤。

GPS跟蹤

GPS跟蹤技術(shù)較為簡(jiǎn)單，即被跟蹤者需手持遙控器，并獲得自己當(dāng)前位置的衛(wèi)星定位信息，之后將此信息發(fā)送給無(wú)人機(jī)，無(wú)人機(jī)以接收到的目標(biāo)位置作為目標(biāo)，并進(jìn)行導(dǎo)航。

GPS跟蹤是一種比較初級(jí)的跟蹤的方式，市場(chǎng)上大部分無(wú)人機(jī)均采用這種方式。

圖像跟蹤(包括臉部識(shí)別跟蹤)

圖像跟蹤技術(shù)是無(wú)人機(jī)根據(jù)所設(shè)置的興趣點(diǎn)的圖像特征，完全根據(jù)圖像信息完成目標(biāo)的跟蹤，這涉及到了對(duì)目標(biāo)對(duì)象的圖像識(shí)別、圖像跟蹤，尤其是在目標(biāo)運(yùn)動(dòng)場(chǎng)景中，圖像背景變化較、目標(biāo)形態(tài)變化較大的情況下，對(duì)目標(biāo)準(zhǔn)確的跟蹤需要運(yùn)用到深度學(xué)習(xí)技術(shù)，是當(dāng)前人工智能的一個(gè)熱點(diǎn)研究方向。

自動(dòng)避障技術(shù)

無(wú)人機(jī)的飛行安全一直是關(guān)系到無(wú)人機(jī)大規(guī)模商業(yè)應(yīng)用的核心問(wèn)題，如何感知到障礙物、并且自主的規(guī)避障礙物是無(wú)人機(jī)飛行安全領(lǐng)域最前沿的研究課題。

隨著無(wú)人機(jī)的自主飛行、跟蹤飛行的大規(guī)模商業(yè)應(yīng)用，無(wú)人機(jī)在自主航拍、跟拍的過(guò)程中對(duì)自主避障的功能要求變得更加迫切。

目前主要采用3種不同的避障技術(shù)：

1)基于超聲波探測(cè)的避障;

2)基于激光雷達(dá)的壁障技術(shù);

3)Realsense單目+結(jié)構(gòu)光探測(cè)避障。

超聲波測(cè)距避障

這種技術(shù)類似于傳統(tǒng)的倒車?yán)走_(dá)系統(tǒng)，根據(jù)超聲波探測(cè)，獲知障礙物距離信息，然后采用相應(yīng)策略避開(kāi)障礙物，其特點(diǎn)是探測(cè)距離近，探測(cè)范圍小，但是方法非常成熟，實(shí)現(xiàn)容易。

雙目視覺(jué)避障

這種技術(shù)是基于雙目視覺(jué)的圖像景深重構(gòu)方法，對(duì)視場(chǎng)內(nèi)的景物進(jìn)行景深重構(gòu)，通過(guò)景深信息來(lái)判斷視場(chǎng)內(nèi)的障礙物情況，探測(cè)范圍更廣、距離更遠(yuǎn)，相應(yīng)安全性更高，但是技術(shù)難度大，而且會(huì)受到光照強(qiáng)弱變化的影響。

基于激光雷達(dá)的避障技術(shù)

這種技術(shù)依靠的是無(wú)人汽車上應(yīng)用較多的激光雷達(dá)技術(shù)對(duì)無(wú)人機(jī)周邊的環(huán)境進(jìn)行掃描，并進(jìn)行地圖建模。

Realsense單目+結(jié)構(gòu)光探測(cè)避障

RealSense是Intel公司早先發(fā)布的視覺(jué)感知系統(tǒng)。它采用了“主動(dòng)立體成像原理”，模仿了人眼的“視差原理”，通過(guò)打出一束紅外光，以左紅外傳感器和右紅外傳感器追蹤這束光的位置，然后用三角定位原理來(lái)計(jì)算出3D  圖像中的“深度”信息。通過(guò)配有深度傳感器和全1080p彩色鏡頭，能夠精確識(shí)別手勢(shì)動(dòng)作、面部特征、前景和背景，進(jìn)而讓設(shè)備理解人的動(dòng)作和情感。據(jù)Intel方面對(duì)外透露的數(shù)據(jù)，Realsense的有效測(cè)距可達(dá)10米。

無(wú)線圖像傳輸技術(shù)

無(wú)人機(jī)航拍的核心技術(shù)之一就是無(wú)線圖像傳輸，傳輸?shù)哪芰Υ笮∈菍?duì)無(wú)人機(jī)航拍能力衡量的一個(gè)重要因素。

無(wú)人機(jī)航拍技術(shù)

無(wú)人機(jī)航拍技術(shù)其實(shí)可以簡(jiǎn)單地按照字面的“無(wú)人機(jī)”+“航拍”拆分為2點(diǎn)：

1、影像拍攝技術(shù)，也即成像以及圖像處理技術(shù);比如像素?cái)?shù)、光圈大小等，但是攝像頭模組上影響成像質(zhì)量的參數(shù)還有許多：?jiǎn)蝹€(gè)像素尺寸、傳感器技術(shù)、鏡片組技術(shù)、ISP技術(shù)等。

2、無(wú)人機(jī)平臺(tái)技術(shù)，主要指為航拍提供穩(wěn)定的航拍環(huán)境的機(jī)身控制技術(shù)。

影像拍攝技術(shù)：目前市場(chǎng)上的影像拍攝方案，都是對(duì)幾個(gè)大品牌主流的攝像頭模組的集成應(yīng)用，無(wú)人機(jī)生產(chǎn)廠商在這一方面沒(méi)有太多的技術(shù)空間，而且因?yàn)榧夹g(shù)發(fā)展已經(jīng)比較成熟，不同產(chǎn)品方案之間差距并不大。

無(wú)人機(jī)機(jī)載平臺(tái)穩(wěn)定技術(shù)：是指除了飛行導(dǎo)航、控制等無(wú)人機(jī)自身飛行技術(shù)以外，為無(wú)人機(jī)實(shí)現(xiàn)穩(wěn)定航拍平臺(tái)保障的相關(guān)技術(shù)。這種技術(shù)是影響到成像質(zhì)量最關(guān)鍵的因素。

穩(wěn)定的拍攝平臺(tái)的意義：

在拍攝視頻時(shí)，畫(huà)面的抖動(dòng)、傾斜都會(huì)嚴(yán)重影響畫(huà)面的流暢度和美觀度;

在拍攝照片時(shí)，尤其是弱光情況下，如果曝光時(shí)間較長(zhǎng)，機(jī)身的抖動(dòng)會(huì)引起畫(huà)面的模糊;若減少曝光時(shí)間，則需要提高感光度，噪點(diǎn)增多，影響畫(huà)質(zhì)。因此，機(jī)身的穩(wěn)定對(duì)于拍攝來(lái)說(shuō)至關(guān)重要。

影響機(jī)身穩(wěn)定的主要因素：

按照當(dāng)前四旋翼無(wú)人機(jī)的典型情況，可以將對(duì)于機(jī)身位置、姿態(tài)造成擾動(dòng)的幾個(gè)因素歸結(jié)如下：

1、懸停定位不精確造成的水平位置以及高度的飄逸;

2、機(jī)體作動(dòng)時(shí)的機(jī)身傾斜與抖動(dòng);

3、電機(jī)震動(dòng)、突風(fēng)等帶來(lái)的干擾。對(duì)于不同類型的擾動(dòng)，無(wú)人機(jī)系統(tǒng)上采取了不同的策略進(jìn)行應(yīng)對(duì)。

對(duì)于水平以及高度的飄移，在室外，也即GPS信號(hào)良好的情況下，無(wú)人機(jī)會(huì)主要根據(jù)GPS信號(hào)進(jìn)行定位。但是限于民用GPS系統(tǒng)自身的精度有限且更新頻率較低，單純依靠GPS系統(tǒng)進(jìn)行定位較為困難，通常無(wú)人機(jī)還會(huì)引入慣性模組進(jìn)行組合定位。

當(dāng)處于室內(nèi)或者GPS信號(hào)接收受限的情況下，無(wú)人機(jī)系統(tǒng)還采用對(duì)地?cái)z像頭進(jìn)行光流定位。光流定位是一項(xiàng)近年來(lái)興起的基于圖像的定位方式，在距離地面較近時(shí)，使用效果良好。

如果說(shuō)位置的飄移屬于慢動(dòng)態(tài)的擾動(dòng)，那么無(wú)人機(jī)機(jī)動(dòng)時(shí)所引起的機(jī)體傾斜、抖動(dòng)則是高頻擾動(dòng)因素，對(duì)于畫(huà)面的影響十分顯著。

當(dāng)無(wú)人機(jī)需要進(jìn)行位置移動(dòng)時(shí)，四旋翼機(jī)身姿態(tài)必須做出較大調(diào)整，尤其是在機(jī)動(dòng)剛發(fā)生時(shí)，機(jī)身姿態(tài)出現(xiàn)了40度的調(diào)整。

對(duì)于機(jī)身在水平方向移動(dòng)時(shí)所帶來(lái)的機(jī)體傾斜，以及機(jī)體作動(dòng)時(shí)的抖動(dòng)等干擾因素，對(duì)圖像拍攝效果影響較大，必須通過(guò)掛載穩(wěn)定云臺(tái)抵消影響。

對(duì)于電機(jī)震動(dòng)、突風(fēng)擾動(dòng)等因素，考慮到其屬于較高頻擾動(dòng)，可采用空心橡膠球彈簧進(jìn)行高頻震動(dòng)濾除，即可取得較好的效果。對(duì)于突風(fēng)等干擾，由于其形式、大小均存在較大的隨機(jī)性，很難保證完全消除影響，只能考慮結(jié)合云臺(tái)、光流等多種形式對(duì)其影響進(jìn)行抑制。

最后，不能忽略的一個(gè)技術(shù)是電子穩(wěn)像技術(shù)。電子穩(wěn)像技術(shù)是在不借助機(jī)械設(shè)備的前提下，通過(guò)傳感器，感受機(jī)體運(yùn)動(dòng)，從而在顯示畫(huà)面上對(duì)圖像進(jìn)行剪裁、拼接的修正，從軟件的角度，一定程度上實(shí)現(xiàn)了圖像穩(wěn)定的意圖。

云臺(tái)技術(shù)

云臺(tái)對(duì)于抑制機(jī)身的主動(dòng)傾側(cè)、被動(dòng)干擾等影響航拍效果的擾動(dòng)起到了重大作用。

一般說(shuō)的機(jī)載云臺(tái)通常都是三軸云臺(tái)。如下圖所示，三軸云臺(tái)的“三軸”分為俯仰、偏航、滾轉(zhuǎn)三個(gè)軸，也稱三個(gè)自由度，分別有一個(gè)電機(jī)進(jìn)行控制。也即攝像頭在三自由度云臺(tái)的框架上通過(guò)電機(jī)的控制，可以實(shí)現(xiàn)與無(wú)人機(jī)三個(gè)自由度的解耦(值無(wú)人機(jī)的：俯仰、偏航、滾轉(zhuǎn)三個(gè)自由度)，起到隔離、抵消無(wú)人機(jī)運(yùn)動(dòng)影響的作用。

三軸云臺(tái)技術(shù)主要包含部分內(nèi)容：1、運(yùn)動(dòng)敏感;2、抵消控制。

運(yùn)動(dòng)敏感：需要安裝在最內(nèi)層的攝像頭部分能夠感知到攝像頭的姿態(tài)偏差。通常會(huì)安裝一個(gè)三自由度陀螺儀。

抵消控制：即當(dāng)敏感到攝像頭要偏離設(shè)定的姿態(tài)(一般是水平狀態(tài))時(shí)，通過(guò)電機(jī)施加反向的運(yùn)動(dòng)，抵消運(yùn)動(dòng)變化。

從以上角度來(lái)看，傳感器的精度、頻率以及電機(jī)輸出的精度、功率大小，控制算法的性能都對(duì)最終效果起到比較大的影響。不過(guò)從目前的產(chǎn)品技術(shù)來(lái)看，只要配備了三軸云臺(tái)的無(wú)人機(jī)在航拍方面基本不存在太大使用感受上的區(qū)別。

單從功能上來(lái)說(shuō)，比較關(guān)鍵的幾個(gè)因素是1、云臺(tái)與機(jī)身隔離度的高低;2、云臺(tái)可控的角度范圍;3、響應(yīng)的快慢;4、精度的高低。

云臺(tái)對(duì)于航拍的重要性

位移補(bǔ)償：即使采取了較好的GPS+光流定位技術(shù)，無(wú)人機(jī)在定位懸停拍攝時(shí)，還是會(huì)出現(xiàn)較大幅度的飄移，幅度大概為0.3m左右，當(dāng)發(fā)生位移后，畫(huà)面中心會(huì)有那么為了進(jìn)一步保證畫(huà)面的穩(wěn)定，就必須引入機(jī)械云臺(tái)對(duì)畫(huà)面進(jìn)行穩(wěn)定。

通過(guò)簡(jiǎn)單的幾何計(jì)算可以看出，當(dāng)相距被拍攝物體距離較近時(shí)，水平飄移對(duì)畫(huà)面影響較大。但是當(dāng)距離被拍攝物體較遠(yuǎn)時(shí)，影響較小。這時(shí)，僅需要云臺(tái)偏轉(zhuǎn)較小的度數(shù)既可修正畫(huà)面偏移，使得被拍攝物體重新回到畫(huà)面中心。

姿態(tài)補(bǔ)償：相比于無(wú)人機(jī)位置的移動(dòng)，無(wú)人機(jī)自身姿態(tài)的擾動(dòng)對(duì)畫(huà)面影響更為劇烈。當(dāng)相距被拍攝物體距離較近或較遠(yuǎn)時(shí)，影響均較大。

超遠(yuǎn)程操控無(wú)人機(jī)技術(shù)

你可以坐在電腦前，然后只需輕點(diǎn)一下鼠標(biāo)，便能夠讓無(wú)人機(jī)出動(dòng)到達(dá)另一個(gè)領(lǐng)空甚至是國(guó)度。

原理其實(shí)很簡(jiǎn)單，整套系統(tǒng)需要有兩個(gè)4G接入點(diǎn)，一個(gè)接入點(diǎn)在無(wú)人機(jī)上，另一個(gè)在控制器上。PC通過(guò)無(wú)線網(wǎng)絡(luò)連接向無(wú)人機(jī)發(fā)出指令，控制無(wú)人機(jī)的飛行路線，同時(shí)無(wú)人機(jī)會(huì)將內(nèi)置的攝像頭拍攝的高清視頻發(fā)送給用戶，用戶在監(jiān)控周圍環(huán)境的同時(shí)，可調(diào)整無(wú)人機(jī)的飛行路線。