視覺傳感器在爬壁清洗機(jī)器人中的應(yīng)用

視覺傳感器在爬壁清洗機(jī)器人中的應(yīng)用,視覺,傳感器,清洗,機(jī)器人,中的,應(yīng)用,利用,運用 視覺傳感器在爬壁清洗機(jī)器人中的應(yīng)用 摘要 本論文描述了視覺傳感器在高樓幕墻清洗機(jī)器人中的應(yīng)用。該機(jī)器人利用真空吸盤吸附移動與于玻璃表面，并通過轉(zhuǎn)動機(jī)器人靈活的關(guān)節(jié)以調(diào)整機(jī)器人的方向。由一個CCD相機(jī)和兩個激光二極管組成的視覺傳感器通常是來測量機(jī)器人相對的窗框玻璃表面位置和方向。視覺傳感器也用于要定位的清洗位置。本文還討論了視覺傳感器中的數(shù)學(xué)模型和評價方法。通過實驗校準(zhǔn)的傳感器用于測量機(jī)器人的位置和方向，并且測量需要定位清洗的位置。實驗結(jié)果證明了該方法的有效性。 關(guān)鍵字：爬壁機(jī)器人；視覺傳感； 玻璃清洗； 激光二極管 1.引言 為減輕人類從事危險的工作,如清潔高樓大廈的玻璃表面、消防搶救、及檢查高木板及墻壁等，研發(fā)各種服務(wù)機(jī)器人的需求不斷增加。 圖1可以表明我們最近開發(fā)的攀登機(jī)器人系統(tǒng)其目的是利用吸力杯和一個移動轉(zhuǎn)換機(jī)制來清潔高樓大廈玻璃。這種機(jī)器人最快速度能達(dá)到300米/分鐘，并有能力跨越裂縫和繞過小于35毫米高80毫米寬的障礙.機(jī)器人利用其靈活的腰部可輕易調(diào)整自己的方向。 要做好玻璃表面上的清潔工作，清掃機(jī)器人必須知道什么時候開始或停止的清潔工作， 如何控制方向(或移動方向),及如何越過窗框。因此，有必測量機(jī)器人的方向， 機(jī)器人和窗框之間的距離, 機(jī)器人與污垢處的距離。 最近在[7.8]中報道了一些關(guān)于工程傳感系統(tǒng)清洗機(jī)器人的文章。在[7]中，超聲波聲納被應(yīng)用于自動定位。在[8]中，所謂的‘合作定位系統(tǒng)’提出了重復(fù)搜索過程，直至達(dá)到目標(biāo)位置。然而，在玻璃表面爬墻機(jī)器人中，許多利用激光和超聲波傳感器等傳統(tǒng)的探測方法，不適用于測量機(jī)器人和窗戶框的距離。 這是因為窗框的高度通常較低而傳感器發(fā)出的光柱是難以達(dá)到這一高度的，除非架梁正平行于玻璃表面。 由于難以避免的安裝錯誤，傳感器通常是很難確保光束平行于玻璃表面。因此，在機(jī)器人清洗玻璃表面的應(yīng)用中，這一問題需要得到解決。 1. X向氣缸 2. 清洗刷 3. 視覺傳感器 4. Y向氣缸 5. 吸盤 6. Z向氣缸 7. CPU 8. 旋轉(zhuǎn)氣缸 圖1. 爬壁機(jī)器人的主體結(jié)構(gòu) 攝像機(jī)常常用于機(jī)器人的定位，視覺伺服及視覺引導(dǎo) [9-15]。Malis [9]使用兩部相機(jī)來進(jìn)行2-D及5/2-D的視覺伺服且提出了多攝像機(jī)視覺伺服方法。不過，使用的一些鏡頭可能不適合的爬墻機(jī)器人，這是因為（1）當(dāng)使用幾個鏡頭時，很難建立一個大區(qū)的交匯點，（2）使用一些相機(jī)增加了爬墻機(jī)器人的負(fù)荷重量,從而影響其安全?；谔卣骺臻g分析， 可以用一個相機(jī)從一個位置的多方向來確定機(jī)器人的位置。這種方法的缺點是測量結(jié)果可能隨環(huán)境變化而變化。 此外，深入的資料可能會遺失并且照相機(jī)和目標(biāo)物體的距離不能用傳統(tǒng)的相機(jī)測出。 在這項研究中,視覺傳感系統(tǒng)已成功地應(yīng)用于爬墻機(jī)器人，它是由一個能夠被定位的CCD相機(jī)和兩個固定在攝影機(jī)上的激光二極管組成。 使用單一相機(jī)有助于簡化安裝和減輕整個系統(tǒng)的重量。兩架輕型激光器則固定在相機(jī)上，是視覺傳感器的‘眼睛' 。相機(jī)可以調(diào)整,以確保發(fā)現(xiàn)窗框或污垢處。 有了一只這樣的‘眼睛',機(jī)器人和窗框及污垢處的距離就可以測量出來。 有兩只的話,就可確定玻璃表面機(jī)器人的位置.擬議視覺傳感系統(tǒng)有三重優(yōu)點：第一，視覺傳感器可以根據(jù)三角理論，輕易而有效地測量出機(jī)器人的位置和方向。第二，有兩束激光二極管固定其上的照相機(jī)使機(jī)器人重量增加不及10克，因為圖像處理系統(tǒng)安裝在地面上的主電腦上 。第三，它提供了電腦視頻,操作人可以直接監(jiān)督機(jī)器人的運動。 2.機(jī)器人系統(tǒng)的結(jié)構(gòu) 清洗機(jī)器人系統(tǒng)包括一個移動式爬壁機(jī)器人,輔助車輛,壓縮機(jī)和一臺電腦,如圖2所示。攀登機(jī)器人貼在玻璃表面進(jìn)行清潔工作， 配套機(jī)車為其提供電力及清洗液，壓縮機(jī)當(dāng)作氣源.由于機(jī)器人和電腦相聯(lián)結(jié),操作人可以檢查和控制機(jī)器人的運作。 圖2. 清洗機(jī)器人系統(tǒng) 圖3. 爬壁機(jī)器人的主要結(jié)構(gòu) 先進(jìn)的爬墻機(jī)器人長1220毫米,寬1340毫米, 高370毫米,重量為30公斤. 機(jī)器人的身體主要是由兩個相互垂直桿缸組成, 如圖2所示。水平桿缸長400毫米，垂直的是500毫米。交替發(fā)動這兩個桿缸 ，機(jī)器人就會沿X或Y方向的運動 。如圖3所示，有四個較短z桿缸安裝在各桿缸兩端。伸縮或后退這四個桿缸的橫梁, 機(jī)器人就可以在z方向運動. 在兩桿缸交叉處, 安裝了一個轉(zhuǎn)動圓柱，被稱為機(jī)器人的腰，有了這個機(jī)器人就可繞Z支點左右旋轉(zhuǎn)。在水平桿缸的兩端安裝了兩個專門設(shè)計的刷子，它們都由一個擦吸系統(tǒng)構(gòu)成。 該擦拭裝置通過配套機(jī)車提供的清洗液擦洗臟黑的玻璃表面。吸收系統(tǒng)搜集污水并把它們返回至配套機(jī)車進(jìn)行回收。 機(jī)器人用吸管袋進(jìn)行粘連。在機(jī)器人的每只腳下都安裝了四個直徑為100毫米的吸管袋。這16個吸管袋足以承受15公斤的負(fù)荷。該機(jī)器人采用了平移機(jī)制的運動。 隨著運作模式的粘,機(jī)器人可以完成一系列的提案,包括移動,旋轉(zhuǎn)及穿越障礙。旋轉(zhuǎn)機(jī)器人受可調(diào)旋轉(zhuǎn)桿缸的控制。機(jī)器人每步可繞z支點轉(zhuǎn)動1.6度左右，直到達(dá)到預(yù)期的態(tài)勢。 該機(jī)器人的控制系統(tǒng)的基礎(chǔ)是一個主輔電腦。 主計算機(jī)(見圖 2)總部設(shè)在地面并直接受人操縱。 輔計算機(jī)嵌于在機(jī)器體中如圖3所示。 利用安裝在機(jī)器人上的信號傳感器發(fā)出的反饋信息，輔助計算機(jī)控制機(jī)器人的移動和姿態(tài)來實現(xiàn)在玻璃表面上的自動導(dǎo)航。通過視覺傳感系統(tǒng)及主輔計算機(jī)與RS422的連接，主電腦可獲取信息，查明機(jī)器人的位置。 在緊急情況下,操作員可根據(jù)實際情況直接控制機(jī)器人。 圖4. 攀登機(jī)器人在商業(yè)大廈外的現(xiàn)場演示 機(jī)器人通過交替吸吮及釋放安裝在縱橫交叉桿缸上的吸管杯來實現(xiàn)移動的。輔助電腦打開或關(guān)閉信號來連接或拔下真空發(fā)生器的氣源, 實現(xiàn)吸吮或釋放相應(yīng)的吸管杯。真空公尺可衡量相關(guān)的真空吸管杯和檢查機(jī)器人的安全性。如果真空吸管杯指數(shù)少于40kpa, 主計算機(jī) 就收到一條警報信號。圖 4描繪了一架先進(jìn)的清洗機(jī)器人攀爬坐落在香港城市廣場的一棟商業(yè)大廈。 3. 視覺傳感技術(shù) 3.1視覺傳感硬件系統(tǒng) 視覺傳感硬件系統(tǒng)包括一個型號為索尼EVI-d30(j)面向CCD相機(jī), 兩根激光二極管及捕獲卡,如圖5所示. 照相機(jī)的控制弦接收來自計算機(jī)的指令。 照相機(jī)的視頻輸出舷將視頻信號發(fā)送到采集卡然后是顯示在電腦屏幕上,使操作人可以關(guān)注玻璃表面上機(jī)器人周圍的情況。固定在相機(jī)上的兩束激光二極管作為傳感系統(tǒng)的'眼睛', 會釋放出兩束激光以找到窗框并產(chǎn)生兩個激光點。相機(jī)和激光二極管的擺放姿態(tài)要隨電腦改變，確保光源能到達(dá)窗框。激光器的發(fā)射點是機(jī)器人的參考點。參考點到窗框的距離及機(jī)器人相對窗框的位置可以通過分析兩激光點在平面圖上的像素坐標(biāo)U和V來確定。 3.2 位置測量 測量中將會運用到三角理論。 圖6（左視圖）說明了如何利用視覺傳感系統(tǒng)測量機(jī)器人的位置。 L表示激光器的發(fā)射點，L1是激光射在窗框的點， L2是L1在圖像平面上的對應(yīng)點, 此處就是I表示的中央圖形。把相機(jī)的焦點看作起點并用F表示，建立一個用F-xbybzb表示的基地坐標(biāo)，此處xb坐標(biāo)軸平行于玻璃表面，垂直于窗框, yb坐標(biāo)軸則與玻璃表面和窗框都平行，zb坐標(biāo)軸垂直于xb-yb平面，如圖6所示。把F為同一起點,可建立另一個被命名為照相機(jī)坐標(biāo)的框架，用F-xyz表示,此處的x軸平行與直線I-F即相機(jī)的主要輕支點，y同yb一樣都是坐標(biāo)框架的基礎(chǔ)，z垂直于x-y平面。 [x0,y0, z0]T、[x1,y1, z1]T [ x2,y2, z2]T分別表示點L, L1 L2的坐標(biāo)。用U和V表示坐標(biāo)在圖象平面上的坐標(biāo)，u0,v0為像素中央點I的坐標(biāo)。 因為焦點F位于線L1–L2上，則線L1–L2可用下式表示： （1） 定義為激光器相對照相機(jī)的傾斜角（繞y軸，逆時針）C為泛角（繞z軸，逆時針）。則線L–L1就可這樣表示： （2） 圖5 視覺傳感硬件系統(tǒng) 圖6 機(jī)器人位置的測量 從(1)和(2)中我們可以得出的坐標(biāo)點L1像素坐標(biāo)u, i.e。 [x1,y1, z1]T= +[x0,y0, z0]T （3） 其中 ， 其中dx和dy是兩個相鄰像素在兩個方向的圖像平面距離, 而F表示焦距。 L和L1的距離用|LL1|表示， （4） 定義a為相機(jī)在基地坐標(biāo)框架上的傾斜角度。L–L1與L–L3（平行與xb軸）之間的角度為 （5） 那么,點L和窗戶框的距離為： （6） 把(3)–(5)代入(6)中得出像素坐標(biāo)u,i.e中的d （7） 圖7. 機(jī)器人在玻璃面上 同樣的，如果機(jī)器人與兩窗框的距離d1和d2能用擬議視覺傳感方法測出，則d也可求出。值得注意是在測量距離時只需要一個激光二極管。 3.3 定位測量 圖8（視圖）描述了利用視覺傳感系統(tǒng)測量機(jī)器人的位置,此時需要兩個激光二極管。點A、B分別是激光二級光的發(fā)射點1和2。點A1和B1是窗框上相應(yīng)激光點。 C1和C2是激光二極管1和2相對相機(jī)的泛角。分別用[xL,yL, zL]T和[ xR,yR, zR]T表示左點A與右點B在相機(jī)坐標(biāo)框架中的位置。在x–y平面上，A–A1可以用表示為： （8） 注意像素坐標(biāo)的激光點A2在圖像平面上是ul和vl。在x-y平面, A2的坐標(biāo)是(f,dx(u0-ul))。那么 ，線F–A1可表示為： （9） 結(jié)合(8)和(9),可導(dǎo)出點A1的坐標(biāo)： （10） （11） 圖8. 機(jī)器人定位測量 圖9. 污垢位置的測量 同樣，假設(shè)xB1和 yB1,，可以推導(dǎo)出點B1的坐標(biāo)。最后，機(jī)器人相對窗框的泛角可得為： （12） 圖8所示，h表示機(jī)器人在玻璃上的位置，基于此機(jī)器人才可轉(zhuǎn)動其腰部,以達(dá)成預(yù)期的態(tài)勢。 3.4 污垢位置的測量 圖 9(視圖)說明如何運用定位傳感系統(tǒng)確定污垢處。 首先,激光二極管掃描整個窗戶玻璃面。然后,利用相機(jī)和兩臺激光二極管找到污垢并記錄起圖象。不需要太多時間去完成這些步驟,因為操作人員可以幫助機(jī)器人很快找到污垢,然后向機(jī)器人發(fā)出進(jìn)測量指令。二極管是固定在相機(jī)上的，它們的相對位置和姿態(tài)在獲取污垢位置的過程中不能改變。 用3.2部分的同樣方法，通過分析激光點在圖像平面上的U或V坐標(biāo)可測出機(jī)器人和污垢處的距離。在得出機(jī)器人與污垢間距離及相機(jī)泛角的基礎(chǔ)上，就可確定污垢位置。 4.試驗 室內(nèi)實驗是測量機(jī)器人和窗框的距離，確定機(jī)器人位置；測量機(jī)器人相對窗框的泛角,以確定該機(jī)器人方向；確定污垢位置。在實驗中,相機(jī)的姿勢，泛度(-100度到100度)和傾斜角(-25度到25度),受主計算機(jī)的調(diào)控。用模式識別技術(shù)來確定是否光源到達(dá)了窗框以獲得對激光點在窗框的圖象。 4.1機(jī)器人位置的測量 首先，通過獲取機(jī)器人在玻璃表面不同標(biāo)定位置的圖象及分析激光點U或V的座標(biāo)可以標(biāo)定視覺傳感系統(tǒng)。用最小二乘擬合 距離這次機(jī)器人和窗框可從刻度為2293mm u坐標(biāo)左邊的激光點ul(像素)和傾斜角度的相機(jī)(deg)。 詳細(xì)的程序標(biāo)定列在以下方面: 1. 讓機(jī)器人向任意位置移動，并測量機(jī)器人與窗框之間的距離 （例如距離D為100毫米) 然后用相機(jī)記錄下傾斜角a和像素坐標(biāo)ur(和UL)。 2. 讓機(jī)器人移動到其他位置,并且并取得了一系列的校驗數(shù)據(jù)。 3. 從等式(7)中用最小二乘擬合方法得到系數(shù)a1、a2、a3和b 通過以上校準(zhǔn)程序,我們得到a1=16.67、a2=185839.97和a3 = 1286.21。 （13） 用類似的方法, 距離D可轉(zhuǎn)換成激光點u坐標(biāo)的功能，比如： （14） 兩束激光點v坐標(biāo)的距離功能在不斷變化。通過對比，我們發(fā)現(xiàn)在這個實驗中用u坐標(biāo)測出的距離比用更精確V坐標(biāo)測出的更精確. 圖10 和11分別描述了等式(13)及(14)的 關(guān)系。 在隨后的實驗 ，等式 (13)被用來測量機(jī)器人在玻璃表面上的位置. 實驗結(jié)果即測量誤差與測量距離之間的關(guān)系如圖 12中所示，此處平方點代表不同距離的測量誤差, 而固體線指的是一種隨距離增加而產(chǎn)生的測量誤差趨勢. 當(dāng)照相機(jī)逆時針轉(zhuǎn)動90度時,機(jī)器人與左窗框之間的距離及像機(jī)傾角就可以測量出來。 為了解決這個測量距離誤差累積的問題，視覺傳感器在一系列測量后需要復(fù)位。值得注意的是相機(jī)畸變可能會影響測量d。從圖12可以看到當(dāng)距離不是很大(即<1000毫米)是測量誤差是很小的。在發(fā)生大的距離，鏡頭畸變就應(yīng)該加以考慮。 圖10 機(jī)器人與窗框距離---左側(cè)激光點u坐標(biāo)及相機(jī)傾角 圖11 機(jī)器人與窗框距離---右側(cè)激光點u坐標(biāo)及相機(jī)傾角 圖12 機(jī)器人測量誤差趨勢 4.2　機(jī)器人方向的測量 通過找到機(jī)器人方向和圖象中左右激光點的U坐標(biāo)之間的關(guān)系，視覺傳感系統(tǒng)可得到進(jìn)一步標(biāo)定 。用最小二乘法,可以從標(biāo)定中得出以下關(guān)系： ,　　　　 （15）　 圖13說明了泛角h與ul和ur坐標(biāo)之間的關(guān)系，泛角與測量誤差之間的關(guān)系已在圖14中顯示。此處平方點代表不同距離的測量誤差, 而固體線指的是一種隨距離增加而產(chǎn)生的測量誤差趨勢。應(yīng)該注意泛角誤差對整個測量誤差可能會產(chǎn)生影響。然而在某些應(yīng)用方面，泛角誤差對距離測量誤差的影響不是很大。在我們的實驗中，發(fā)現(xiàn)當(dāng)機(jī)器人在玻璃表面爬行超過水平方向2米時，機(jī)器人的泛角將會小于6度。 重力的作用將會影響機(jī)器人的位置，尤其是當(dāng)這個機(jī)器人在水平方向爬行時，在我們的實驗中，發(fā)現(xiàn)當(dāng)機(jī)器人在玻璃表面爬行超過水平方向2米時，機(jī)器人的泛角將會小于6度。當(dāng)這個泛角按順時針測量時，機(jī)器人就會順時針旋轉(zhuǎn)它的腰，以達(dá)到預(yù)期的水平或垂直的位置。當(dāng)這個泛角按逆時針測量時，機(jī)器人就會逆時針旋轉(zhuǎn)它的腰，以達(dá)到預(yù)期的位置。 圖13 基于機(jī)器人位置的測量 圖14 位置測量誤差趨向 4．3 污垢位置的測量 模式識別技術(shù)用于找出污垢進(jìn)行清理,然后獲取激光點的圖象。圖15描繪了圖象定位污垢處。等式（14)被用來測量機(jī)器人和污垢處的距離。在測量了距離及相機(jī)泛角度的基礎(chǔ)上, 才能確定污垢的位置。定位污垢處的實驗結(jié)果見表1 圖15 用于定位污垢的圖象 (deg) 傾斜角度 像素坐標(biāo)u（piexl） D（mm） 測量錯誤（mm） 1 37 11 1364 798．2 （2.6,3.7） 2 65 17 1400 633.3 (3.2,1.6) 3 52 22 1410 577.0 (2.5,2.1) 4 53 11.6 1370 768.6 (3.5,2.6) 5 54 5 1325 1066.1 (7.1,3.4) 6 75 2.4 1311 1205.6 (10.3,2.0) 7 67 9 1348 890.3 (6.1,2.0) 8 65 5 1327 1050.1 (7.7,2.6) 9 78 10.4 1358 830.0 (5.9,1.4) 表一 用于定位污垢的試驗結(jié)果 5.結(jié)論 本文描述了視覺傳感應(yīng)用的爬墻機(jī)器人清洗玻璃的高樓大廈。機(jī)器人以黏附的方式吸附在墻面上，并可以方便地移動和轉(zhuǎn)動。在機(jī)器人上安裝的視覺傳感系統(tǒng)是由一臺已經(jīng)定位的CCD照相機(jī)，二個激光二極管和其他輔助部分組成。基于校準(zhǔn)實驗，已經(jīng)定位的機(jī)器人有其位置定向之間的關(guān)系， 在這幅圖像內(nèi)可以知道的兩個激光點的同等物，和照相機(jī)的傾斜角度。使用這些關(guān)系，可以方便地測量出機(jī)器人的位置和方向，并且要被清潔的臟的地方也可以找到。實驗結(jié)果證明這個視覺傳感系統(tǒng)應(yīng)用在爬壁機(jī)器人是有效的。