基于MATLAB的圖像融合算法[共34頁]
《基于MATLAB的圖像融合算法[共34頁]》由會員分享,可在線閱讀,更多相關(guān)《基于MATLAB的圖像融合算法[共34頁](34頁珍藏版)》請在裝配圖網(wǎng)上搜索。
1、畢業(yè)設計 基于MATLAB的圖像融合算法 摘要 圖像融合能夠?qū)⒉煌愋蛡鞲衅鳙@取的同一對象的圖像數(shù)據(jù)進行空間配準。并且采用一定的算法將各圖像數(shù)據(jù)所含的信息優(yōu)勢或互補性有機的結(jié)合起來產(chǎn)生新的圖像數(shù)據(jù)。這種新數(shù)據(jù)具有描述所研究對象的較優(yōu)化的信息表征,同單一信息源相比,能減少或抑制對被感知對象或環(huán)境解釋中可能存在的多義性、不完全性、不確定性和誤差,最大限度的利用各種信息源提供的信息。 圖像融合分為像素級、特征級、決策級三個層次,其中像素級圖像融合能夠提供其它層次上的融合處理所不具有的更豐富、更精確、更可靠的細節(jié)信息,有利于圖像的進一步分析、處理和理解,它在整個圖像融合技術(shù)中是
2、最為復雜、實施難度最大的融合處理技術(shù)。本文的研究工作是圍繞像素級圖像融合展開的,針對像素級圖像融合技術(shù)中需要解決的關(guān)鍵問題,研究了多種像素級圖像融合方法。 本論文的主要的研究內(nèi)容有: 首先介紹了圖像信息融合的概念、優(yōu)勢、發(fā)展歷史和應用領(lǐng)域,并介紹了圖像融合的三個層次及常用的空域圖像融合方法,空域融合方法有像素平均法、像素最大最小法、像素加權(quán)平均法,頻域融合方法包括圖像的多尺度分解、圖像的小波變換、基于小波變換的圖像融合方法。圖像的預處理有濾波(鄰域平均濾波法、中值濾波法)和圖像配準。最后,對于圖像融合系統(tǒng)來說,融合圖像質(zhì)量的評價顯得特別重要,本文探討了圖像融合質(zhì)量的評價問題,總結(jié)了融合效果
3、的主、客觀評價標準,作為本課題性能分析的判斷標準。 關(guān)鍵詞:圖像配準;圖像融合;空域融合法;小波變換;評價標準 MATLAB-based image fusion algorithm Abstract The same object gotten from different sensors can be registered spatially by mage fusion. The information advantages or the complements of all the image data can be co
4、mbined to produce new image data using some fusion algorithms. The new data can describe the optimized information of the studied object. Compared with single information source, the new data can reduce or restrain the ambiguity, the incompleteness, the uncertainty and the error, which may appears i
5、n the explanation of the studied object or the environment, and make full use of the information provided by all kinds of resources. Image fusion consists of such three levels as the Pixel level,the feature level and the decision level,among which the Pixel level image fusion can Provide more abun
6、dant, accurate and reliable detailed information that doesn’t exist on the other levels and It is the most complicated in the whole image fusion techniques and also is the most difficult to implement in the fusion Processing techniques. this dissertation Progresses mainly around the Pixel level imag
7、e fusion and proposes a variety of Pixel level image fusion techniques according to the key Problems in the Pixel level image fusion techniques. The major research and findings are as follows: First we introduce the concepts, advantages,developments and applications. Three levels of image fusion
8、and image fusion techniques in common use are also reviewed. Airspace Image Fusion such as simple fusion method (pixel average, maximal or minimal pixel selection), Frequency-domain image fusion methods include the multiresolution image fusion techniques based on multi-scale pyramid decomposition, a
9、nd the image fusion method based on wavelet transform Image Pre-processing like Filter processing (neighborhood average filter, median filtering method) and Image Registration. in the end, evaluation for fusion image is vital to fusion system. This dissertation probes into the image fusion quality a
10、ssessment and deduces a set of indexes as the criteria to analyze the performances of this discussion. Keywords: Image Registration;Image Fusion;Airspace integration method;Wavelet Transform;Evaluation criteria 目錄 第一章 緒論 6 1.1 圖像融合的概念 6 1.2圖像融合的主要研究內(nèi)容 7 1.2.1 圖像融合的層次 7 1.2.2 圖
11、像融合算法的發(fā)展 9 1.2.3圖像融合的步驟 9 1.3 圖像融合技術(shù)的發(fā)展現(xiàn)狀 10 1.4 本文的研究工作 10 第二章 圖像預處理 11 2.1 圖像的校正 11 2.2 圖像濾波技術(shù) 11 2.2.1 鄰域平均法 12 2.2.2 中值濾波 12 2.3 圖像配準 13 2.3.1 圖像配準概述 13 2.3.2 手動圖像配準 14 2.3.3 基于圖像特征的匹配算法 15 第三章 圖像融合 16 3.1 加權(quán)平均融合法 16 3.2 像素灰度值選大/小融合方法 16 3.3 主分量融合法 17 3.4 IHS變換法 19 3.5 小波變換融合法
12、20 3.5.1 小波的定義及特點 20 3.5.2 基于小波變換的圖像融合方法原理 25 3.5.3 圖像融合規(guī)則及融合因子 26 第四章 圖像融合效果評價 27 4.1 主觀評價 27 4.2 客觀評價 27 4.2.1 基于光譜特征的評價 27 4.2.2 基于信息量的評價 28 4.2.3 基于統(tǒng)計特性的評價 29 4.2.4 基于信噪比的評價 30 總結(jié)與展望 31 謝辭 32 參考文獻 32 第一章 緒論 圖像融合技術(shù)(Image Fusion Technology)作為多傳感器信息融合的一個非常重要的分支—可視信息的融合,近20年來,引起了世界
13、范圍內(nèi)的廣泛關(guān)注和研究熱潮。圖像融合就是通過多幅圖像冗余數(shù)據(jù)互補得到一幅新的圖像,在這幅圖像中能反應多重原始圖像中的信息。圖像融合的目的是充分利用多個待融合源圖像中包含的冗余信息和互補信息,融合后的圖像應該更適合于人類視覺感知或計算機后續(xù)處理,減少不確定性。圖像融合技術(shù)在遙感、醫(yī)學、自然資源勘探、海洋資源管理、生物學等領(lǐng)域占有極其重要的地位,對于國防安全和經(jīng)濟建設具有十分重要的戰(zhàn)略意義。 圖像融合的方法與具體的處理對象類型、處理等級有關(guān)。這主要是各類圖像的解析度不同、表現(xiàn)的內(nèi)容不同,相應的處理方法也要根據(jù)具體情況而定。 本章首先介紹了多傳感器圖像融合的基礎理論及發(fā)展現(xiàn)狀,在此基礎上介紹了像
14、素級圖像融合方法的原理及應用,最后,給出論文的內(nèi)容安排。 1.1 圖像融合的概念 圖像融合是二十世紀70年代后期提出的新概念,是多傳感器信息中可視信息部分的融合,是將多源信道所采集的關(guān)于同一目標圖像經(jīng)過一定的圖像處理,提取各自信道的信息,最后綜合成統(tǒng)一圖像或綜合圖像特性以供觀察或進一步處理。它是一門綜合了傳感器、圖像處理、信號處理、顯示、計算機和人工智能等技術(shù)的現(xiàn)代高新技術(shù)。由于圖像融合系統(tǒng)具有突出的探測優(yōu)越性(時空覆蓋寬、目標分辨力與測量維數(shù)高、重構(gòu)能力好、兀余性、互補性、時間優(yōu)越性及相對低成本性等),在技術(shù)先進國家受到高度重視并己取得相當?shù)倪M展。 圖像融合的形式大致可分為以下3種
15、: (l)多傳感器不同時獲取的圖像的融合; (2)多傳感器同時獲取的圖像的融合; (3)單一傳感器不同時間,或者不同環(huán)境條件下獲取的圖像的融合。 圖像融合能夠充分利用這些時間或空間上冗余或互補的圖像信息,依據(jù)一定的融合算法合成一幅滿足某種需要的新圖像,從而獲得對場景的進一步分析、理解以及目標的檢測、識別或跟蹤。以兩個傳感器A、B為例,其信息構(gòu)成的示意圖如圖1-1所示。 圖1-1 多源圖像的信息構(gòu)成 通過圖像融合可以強化圖像中的有用信息、增加圖像理解的可靠性、獲得更為精確的結(jié)果,使系統(tǒng)變得更加實用。同時,使系統(tǒng)具有良好的魯棒性,例如,可以
16、增加置信度、減少模糊性、改善分類性等。圖像融合的層次可分為:像素級、特征級和決策級。 目前,將圖像融合技術(shù)應用于數(shù)字圖像處理的主要目的有以下幾種: (1)增加圖像中有用信息的含量,改善圖像的清晰度,增強在單一傳感器圖像中無法看見/看清的特性; (2)改善圖像的空間分辨率,增加光譜信息的含量,為改善檢測/分類/理解/識別性能獲取補充的圖像信息; (3)通過不同時刻的圖像序列融合來檢測場景/目標的變化情況; (4)通過融合多個二維圖像產(chǎn)生具有立體視覺的三維圖像,可用于三維重構(gòu)或立體投影,測量等; (5)利用來自其它傳感器的圖像來代替/彌補某一傳感器圖像中的丟失/故障信息。 顯然,圖像
17、融合技術(shù)不同于一般意義上的圖像增強,它是計算機視覺、圖像理解領(lǐng)域的一項新技術(shù)。 1.2圖像融合的主要研究內(nèi)容 1.2.1 圖像融合的層次 圖像融合是采用某種算法對兩幅或多幅不同的源圖像進行綜合處理,最終形成一幅新的圖像。它可以強化圖像中有用信息,增加圖像理解的可靠性,獲得更為準確的結(jié)果。在各種融合應用中,由于應用目的、所處理的輸入數(shù)據(jù)及融合處理前對數(shù)據(jù)預處理程度不同,使得融合系統(tǒng)在不同層次上對多源數(shù)據(jù)進行處理,每個層次表示不同的數(shù)據(jù)抽象級別。根據(jù)抽象程度可將圖像融合系統(tǒng)分為三級:像素級、特征級和決策級。融合的層次不同,所采用的算法、適用的范圍也不相同。下圖示意了在圖像處理全過程中,圖
18、像融合所處的位置與層次。 圖1-2 三個不同層次上的多源圖像融合示意圖 (1)像素級圖像融 像素級圖像融合是在嚴格配準的條件下,對各圖像傳感器輸出的信號,直接進行信息的綜合與分析。像素級圖像融合是在基礎層面上進行的信息融合,其主要完成的任務是對多傳感器目標和背景要素的測量結(jié)果進行融合處理。像素級圖像融合是直接在原始數(shù)據(jù)層上進行的融合,該層次的融合準確性最高,能夠提供其它層次上的融合處理所不具有的更豐富、更精確、更可靠的細節(jié)信息,有利于圖像的進一步分析、處理與理解。像素級圖像融合是目前在實際中應用最廣泛的圖像融合方式,也是特征級圖像融合和
19、決策級的基礎,但缺點是預處理的信息量最大,處理時間較長,對通信帶寬的要求高。在進行像素級圖像融合之前,必須對參加融合的各圖像進行精確的配準,其配準精度一般達到像素級,因此,像素級融合是圖像融合中最為復雜且實施難度最大的融合。 像素級圖像融合通常用于:多源圖像復合、圖像分析和理解。 圖1-3 像素級數(shù)據(jù)融合原理示意圖 (2)特征級圖像融合 特征級圖像融合是對源圖像進行預處理和特征提取后獲得的特征信息(如邊緣、形狀、輪廓、區(qū)域等)進行綜合。特征級融合屬于中間層次的信息融合,它既保留了足夠數(shù)量的重要信息,又可對信息進行壓縮,有利于實時
20、處理。它使用參數(shù)模板、統(tǒng)計分析、模式相關(guān)等方法完成幾何關(guān)聯(lián)、特征提取和目標識別等功能,以利于系統(tǒng)判決。一般從源圖像中提取的典型特征信息有:線型、邊緣、紋理、光譜、相似亮度區(qū)域、相思景深區(qū)域等。在特征級圖像融合過程中,由于提取的特征直接與決策分析有關(guān),因而融合結(jié)果能最大限度地給出決策分析所需要的特征信息。盡管在模式識別、圖像處理和計算機視覺等領(lǐng)域,已經(jīng)對特征提取和基于特征的圖像分類、分割等問題進行了深入的研究,但是這一問題至今仍是困擾計算機視覺研究領(lǐng)域的一個難題,有待于從融合角度進一步研究和提高。 圖1-4 特征級數(shù)據(jù)融合原理示意圖 (3)決策級圖像融
21、合 決策級圖像融合是一種更高層次的信息融合,其結(jié)果將為各種控制或決策提供依據(jù)。這種方法是首先對各個源數(shù)據(jù)進行處理,分別得出判斷和識別的結(jié)果,融合中心將這些結(jié)果按照一定的準則和每個數(shù)據(jù)源決策的可信度進行協(xié)調(diào),以取得最優(yōu)的決策結(jié)果。決策級融合方法主要是基于認知模型的方法,需要大型數(shù)據(jù)庫和專家決策系統(tǒng),進行分析、推理、識別和判決。此種融合實時性好,并且有一定的容錯能力,但其預處理代價較高,圖像中的原始信息的損失最多。 圖1-5 決策級融合原理示意圖 圖像融合的三個層次與多傳感器信息融合的三個層次有一定的對應關(guān)系,在實際應用中,應根據(jù)數(shù)據(jù)融合特
22、點、原始數(shù)據(jù)特點、可用資源及目標要求,選擇適當?shù)臄?shù)據(jù)融合層次及融合方法,才能構(gòu)成高效的數(shù)據(jù)融合系統(tǒng)和獲得最優(yōu)的融合效果。圖像融合的三個層次不僅能夠獨立進行,而且它們有著密切相關(guān)性,還可以作為一個整體同時進行分層次融合,前一級的融合結(jié)果可作為后一級的輸入。 1.2.2 圖像融合算法的發(fā)展 對圖像進行融合處理的目的主要有銳化圖像、改善幾何矯正、色彩矯正、改善分類特性、彌補某種圖像中丟失的數(shù)據(jù)、檢測或觀測大地環(huán)境的變化等等。其采取的融合方法主要有IHS(明度-色度-飽和度:Intensity-Hue-saturation)變換、平均、加權(quán)平均、差分及比率、高通濾波等。這些方法在進行融合處理時
23、都不對參加融合的圖像進行分解變換,融合處理只是在一個層次上進行的,因此均屬于早期的圖像融合方法。 到80年代中期,人們又提出了基于金字塔的圖像融合方法,其中包括拉普拉斯金字塔、梯度金字塔、比率低通金字塔等,并開始將圖像融合技術(shù)應用于一般圖像(可見光圖像、紅外圖像、多聚焦圖像、遙感圖像等)的處理。90年代,隨著小波理論的發(fā)展與廣泛應用,小波變換技術(shù)為圖像融合提供了新的工具,使圖像融合技術(shù)的研究呈不斷上升趨勢,應用的領(lǐng)域也遍及到遙感圖像處理、計算機視覺、自動目標檢測、城市規(guī)劃、交通管制、機器人導航、決策支持系統(tǒng)、大型經(jīng)濟信息、醫(yī)學圖像處理等。 1.2.3圖像融合的步驟 對于某個具體的圖像融合
24、系統(tǒng)而言,它所接受的信息可以是單一層次上的信息,也可以是幾種層次上的信息。融合的基本策略就是先對同一層次上的信息進行融合,從而獲得更高層次的融合后的信息,然后再進行相應層次的融合。因此,圖像融合本質(zhì)上是一個由低(層)至高(層)對多源信息融合、逐層抽象的信息處理過程。 一般情況下,由于各個成像傳感器所在的平臺各異,且成像模式不同,同時還會受到各種環(huán)境因素的影響,對同一場景或目標所成的多源圖像間會出現(xiàn)位移、畸變以及噪聲污染等問題,因此,多傳感器圖像在融合之前必須進行一系列的預處理。源圖像經(jīng)預處理后,接下來就是根據(jù)具體的應用目的不同,采用不同的融合算法對多個源圖像在不同的層次上進行融合處理,同時還
25、要對融合結(jié)果進行質(zhì)量評價,形成具有反饋的系統(tǒng),從而有利于選擇最為合適的融合方式以得到最優(yōu)的融合結(jié)果。最后,將得到的融合結(jié)果應用于各種不同的場合。由于像素級圖像融合在整個圖像融合技術(shù)中是最為復雜、實施難度最大的融合,因而本論文重點對它進行探討和研究。 圖1-6 圖像融合一般步驟 1.3 圖像融合技術(shù)的發(fā)展現(xiàn)狀 1979年,Daily等人[9]首先把對雷達圖像和Landsat-Mss圖像的復合圖像應用于地質(zhì)解釋,其對圖像的處理過程可以看作是最簡單的圖像融合。1981年,Laner和Todd對Landsat-RBV和Mss圖
26、像數(shù)據(jù)進行了融合試驗。到80年代中后期,圖像融合技術(shù)逐漸開始引起人們的關(guān)注,陸續(xù)有人將圖像融合技術(shù)應用于遙感多光譜圖像的分析和處理。90年代開始,圖像融合技術(shù)開始成為遙感圖像處理和分析中的研究熱點之一。對遙感圖像進行融合處理的目的主要有銳化圖像、改善幾何矯正、色彩矯正、改善分類特性、彌補某種圖像中丟失的數(shù)據(jù)、檢測/觀測大地環(huán)境的變化等等。這個時期人們采用的融合方法主要有IHS變換、平均、加權(quán)平均、差分及比率、主分量分析(PCA)、高通濾波等。這些方法在進行融合處理時都不對參加融合的圖像進行分解變換,融合處理只是在一個層次上進行。 到80年代末,人們才開始將圖像融合技術(shù)應用于一般圖像處理(可見
27、光圖像、紅外圖像等)。90年代后,圖像融合技術(shù)的研究呈不斷上升趨勢,應用的領(lǐng)域也遍及遙感圖像處理、可見光圖像處理、紅外圖像處理、醫(yī)學圖像處理等。尤其是近幾年,多傳感器(多源)圖像融合技術(shù)己成為計算機視覺、自動目標識別、機器人、軍事應用等領(lǐng)域的熱點研究問題。 1.4 本文的研究工作 本文的研究基于MATLAB的圖像融合算法。涉及圖像融合前的預處理,濾波去噪和圖像配準,采取手動配準獲取精準的配準圖像,在空域內(nèi)的像素級圖像融合采用簡單直接的加權(quán)平均法,在頻域內(nèi)的小波變換融合,最后對融合結(jié)果進行評價。 第二章 圖像預處理 圖像傳感器在獲得原始數(shù)據(jù)的過程中存在不同的干擾,使得獲在取的圖像
28、中往往存在或多或少的噪聲。為了避免噪聲的傳播擴散,使后面圖像融合的質(zhì)量和性能下降,必須在融合前對源圖像進行幾何校正、去噪和增強處理。此外,在進行像素級融合前,還必須對源圖像進行有效而精確的配準處理,以去除不同傳感器的系統(tǒng)誤差和偶然誤差,這些為圖像融合所做的準備統(tǒng)稱為圖像預處理。 2.1 圖像的校正 圖像校正主要分為兩類:幾何校正和灰度校正。 (1)幾何校正 圖象幾何校正的思路是通過一些已知的參考點,即無失真圖象的某些象素點和畸變圖象相應象素的坐標間對應關(guān)系,擬合出上述多項式中的系數(shù),并作為恢復其它象素的基礎。 幾何校正的基本方法是:首先建立幾何校正的數(shù)學模型;其次利用已知條
29、件確定模型參數(shù);最后根據(jù)模型對圖像進行幾何校正。具體操作通常分兩步: ?、賹D像進行空間坐標變換;首先建立圖像像點坐標(行、列號)和物方(或參考圖)對應點坐標間的映射關(guān)系,解求映射關(guān)系中的未知參數(shù),然后根據(jù)映射關(guān)系對圖像各個像素坐標進行校正; ②確定各像素的灰度值(灰度內(nèi)插)。 圖2-1 幾何校正處理過程 (2)灰度校正 根據(jù)圖像不同失真情況以及所需的不同圖像特征可以采用不同的修正方法。通常使用的主要有三種: (1)灰度級校正。針對圖像成像不均勻如曝光不均勻,使圖像半邊暗半邊亮,對圖像逐點進行不同程度的灰度級校正
30、,目的是使整幅圖像灰度均勻。 (2)灰度變換。針對圖像某一部分或整幅圖像曝光不足使用灰度變換,其目的是增強圖像灰度對比度。 (3)直方圖修正。能夠使圖像具有所需要的灰度分布,從而有選擇地突出所需要的圖像特征,來滿足人們的需要。 2.2 圖像濾波技術(shù) 在圖像采集、傳輸過程中,由于輸入轉(zhuǎn)換器、周圍環(huán)境、電壓波動等多種因素的影響,圖像不可避免地含有各種各樣的隨機干擾信號,這些信號就是我們所講的噪聲,它們或與圖像內(nèi)容有關(guān),或無關(guān)。但相同的是都會導致圖像失真,使圖像模糊,甚至掩蓋圖像的重要特征,給后續(xù)的圖像分析和處理帶來不利影響。 圖像噪聲的種類很多,分類的標準也不少。例如,按其產(chǎn)生的
31、原因可分為外部噪聲和內(nèi)部噪聲;按噪聲服從的分布將其分為隨機噪聲(高斯噪聲)和椒鹽噪聲;根據(jù)噪聲與信號之間的關(guān)系分為加性噪聲和乘性噪聲等。針對不同的噪聲,其去噪方法大致可分為以下兩大類: (1)空域濾波去噪是指在空間域內(nèi)對圖像像素的灰度值直接運算處理的方法。常用的空間濾波去噪方法主要有均值濾波、中值濾波、維納濾波以及空間域低通濾波法,其中,維納濾波是一種自適應的濾波方法,比一般的濾波器具有更好的選擇性,可以更好地保護圖像邊緣,尤其對加性高斯白噪聲的抑制效果很好。在此簡單介紹兩種空域濾波法: (2)變換域去噪是指在圖像的某種變化域內(nèi),對源圖像經(jīng)過變換后的系數(shù)進行相應處理,然后再進行反變
32、換達到圖像去噪目的的一種方法。常用的去噪方法主要有頻率域低通濾波法和基于小波變換法,其中小波去噪的方法大致可分為基于小波變換模極大值原理、相鄰尺度間小波系數(shù)相關(guān)性以及閾值法三大類。目前,基于小波變換的去噪方法尚處于不斷發(fā)展的階段,總體來說,去噪效果較好但計算非常復雜,不同的重構(gòu)方法對信號重構(gòu)的誤差影響很大,也會影響到去噪的效果。 2.2.1 鄰域平均法 鄰域平均法按直接對圖像作低通濾波處理??捎糜谙S機相加噪聲。 常用的(低通濾波器的脈沖響應函數(shù))有 這里的作用域為33,共有9個像素灰度參加運算,用運算結(jié)果代替中心像素的像素灰度。 根據(jù)需要,可選用55,77等不同作用域的。
33、矩陣中心的元素值占的比例越小,平滑作用越強,會使圖像越模糊;的作用域越大,平滑作用越強,亦導致圖像越模糊。 原則:使矩陣的元素之和與其前面的系數(shù)相乘的結(jié)果為1,以在平滑過程中處理結(jié)果的像素灰度不超過允許的像素最大灰度值。用這種方法作平滑處理,圖像四周圍邊緣的像素需特殊處理。 兩種特殊處理辦法(對33的情形): ① 把原圖像從MN轉(zhuǎn)化為(M+2)(N+2),所加大的兩行和兩列的像素灰度均取0,然后對加大后的像素平滑處理,結(jié)果又舍去所加的兩行的零灰度信息,僅取MN。 ② 不處理原始圖像4個邊緣的像素,使處理后4個邊緣的像素灰度保持原始灰度,或人為地賦予特殊灰度。 2.2.2 中值濾波
34、 作為抑制噪聲的非線性處理方法,中值濾波是從一維信號處理的中值濾波技術(shù)發(fā)展而來的。 其原理是在圖像畫面中開一個一維的小窗口,它應該包含奇數(shù)個像素,按像素的灰度值從小到大排列起來,然后用中間灰度值來代替原排列的中間像素的灰度值。窗口然后從左到右移動,直到邊界。窗口下移一行,再從左到右進行。經(jīng)過中值濾波變換后,某象素的輸出等于該象素鄰域中各象素灰度的中間灰度值。其操作流程如下所示: 50,60,300,100,120,80,190,、、、 ↓→→順序排列象素灰度值50,60,100,120,300, ↓用中間灰度值100代替原中間灰度值300,
35、 50,60,100,100,120,80,190,、、、 ↓右移窗口得 50,60,100,100,120,80,190,、、、 ↓→→順序排列象素灰度值60,80,100,100,120 ↓中間灰度值100與原中間灰度值100相同,不用換 50,60,100,100,120,80,190,、、、 ↓右移窗口得 50,60,100,
36、100,120,80,190,、、、 這樣對圖像灰度的跳躍有平滑效果。 考慮到一般圖像在兩維方向上均具有相關(guān)性,因此,活動窗口一般選為兩維窗口(如33,55或77等),窗口形狀常用: 2.3 圖像配準 2.3.1 圖像配準概述 圖像配準(或圖像匹配)是評價兩幅或多幅圖像的相似性以確定同名點的過程。圖像配準算法就是設法建立兩幅圖像之間的對應關(guān)系,確定相應幾何變換參數(shù),對兩幅圖像中的一幅進行幾何變換的方法。 像配準的一般過程是在多源圖像數(shù)據(jù)經(jīng)過嚴密的幾何糾正處理、改正了系統(tǒng)誤差之后,將影像投影到同一地面坐標系統(tǒng)上,然后在各影像上選取少量的控制點,通過特征點的自動選取或是
37、計算其間的相似性、粗略配準點的估計位置、精確確定配準點以及估計配準變換參數(shù)等處理,從而實現(xiàn)影像的精確配準。 按照配準算法所利用的圖像信息,可以分為以下兩類 (1)基于灰度的圖像配準方法。該類方法直接利用整幅圖像的灰度度量兩幅圖像之間的相似性,然后采用搜索方法尋找使相似性度量最大或最小值點,從而確定兩幅圖像之間的變換模型參數(shù)。該方法不需要對圖像作特征提取,直接利用全部可用的圖像灰度,提高了配準算法的估計精度和魯棒性,但是由于匹配點周圍區(qū)域的點的灰度都參與計算,因此,其計算量大,速度慢。 (2)基于圖像特征的圖像配準方法。將從圖像灰度中提取出來的某些顯著特征作為匹配基元,用于匹配的特征通常為
38、點、線、區(qū)域等。算法過程主要分為特征提取和特征匹配。在特征匹配前,首先要從待匹配的多幅圖像中提取出灰度變化明顯的點、線、區(qū)域等特征,組成特征集。然后,在各幅圖像所對應的特征集中利用特征匹配算法盡可能的將存在匹配關(guān)系的特征對選擇出來。對于非特征像素點利用插值等方法處理,推算出對應的匹配關(guān)系,從而實現(xiàn)多幅圖像之間逐像素的配準。由于提取了圖像的顯著特征,大大壓縮了信息的數(shù)據(jù)量,同時較好的保持了圖像的位移、旋轉(zhuǎn)、比例等方面的特征,因此,該方法在匹配時計算量小、速度快,是較為實用的方法。 按自動化程度可以分為人工、半自動和全自動三種類型 。 2.3.2 手動圖像配準 我們可以利用Matla
39、b自帶的圖像處理工具箱來完成配準需要。圖像處理工具箱(Matlab Image Processing Toolbox)提供了一套全方位的參照標準算法和圖形工具,用于進行圖像處理、分析、可視化和算法開發(fā)??捎闷鋵τ性雸D像或退化圖像進行去噪或還原、增強圖像以獲得更高清晰度、提取特征、分析形狀和紋理以及對兩個圖像進行匹配。 利用Matlab Image Processing Toolbox中的圖像配準工具實現(xiàn)線性正投影、仿射、投影、多項式、分段線性、局部加權(quán)平均配準的過程。 (1)手動選擇匹配點對 該工具箱提供的配準方法均需手工選擇圖像間的匹配點對(control points pair),均
40、屬于交互配準方法。 假設input image(輸入圖像)為欲進行配準的圖像,base image為配準是的參考圖像。以下是我參考matlab幫助給出了簡介。 1.線性正投影(linear conformal):最簡單。平面映射成平面。 當輸入輸入圖像與參考圖像對比,只是存在全局的平移、旋轉(zhuǎn)、縮放或其三者組合的差別時(正方形仍對應正方形),選擇此配準方法。此方法至少需要2對匹配點。 2.仿射(affine):將平行線轉(zhuǎn)換成平行線。 當輸入圖像形狀存在切變現(xiàn)象(正方形對應平行四邊形),選此法。至少需3對匹配點。 3.投影(projective):將直線映射成直線。 如果
41、輸入圖像呈現(xiàn)傾斜,翹起現(xiàn)象,選此法。至少需4對匹配點。 4.多項式(polynomial):將直線映射成曲線。 如果輸入圖像出現(xiàn)不規(guī)則曲變,采用此法。Matlab中提供有2、3、4次冪的實現(xiàn),分別至少需要6,10,10對匹配點。 5.分段線性(piecewise linear) 如果輸入圖像的各個局部之間的退化模式明顯不一樣,選此法。至少需要4對匹配點。 6.局部加權(quán)平均(local weighted mean) 與分段線性一致,但效果較之好。至少需要6對(推薦12對)匹配點。 (2)手動配準的基本過程如下圖所示: 圖2-1 手動圖像配準一般流程 2.
42、3.3 基于圖像特征的匹配算法 Harris角點檢測算法 角點是二維圖像亮度變化劇烈或圖像邊緣曲線上曲率極大值的點,它決定了目標的輪廓特征,被廣泛應用于攝像機標定、虛擬場景重建、運動估計、圖像配準等計算機視覺處理任務中,這些點在保留圖像圖形重要特征的同時,可以有效地減少信息的數(shù)據(jù)量,使得實時處理成為可能。 Harris角點檢測算法基本原理描述如下:建立下面矩陣M: 其中I(x,y)是亮度值,這里用灰度表示。通過分析上面矩陣可以看出如果在一點上矩陣M的兩個特征值很大,則在該點向
43、任意方向上的一個很小的移動都會引起灰度值的較大變化。這也就說明該點是一個角點。計算角點的函數(shù)如下: (2.2) 其中k參數(shù)設為0.04(Harris設定的最優(yōu)參數(shù))。 令A=,B=,C=,D= 則矩陣 表示圖像I在x方向的導數(shù),表示圖像在y方向的導數(shù)。求出R的值,若為正則對應點為角點,若為負則是一般邊界點。 該算法易受噪聲的影響。為了減小噪聲的干擾,在對圖像進行偏導計算以后用高斯濾波器對數(shù)據(jù)進行平滑。按此方法求出的角點數(shù)量很多。為了減少匹配計算量,可以對想要獲得的角點數(shù)量進行限制。限制方法是確定一個閾值,僅僅選取R值大于這個閾值的點作為角點。這個閾值
44、根據(jù)需要的檢點數(shù)量來確定。 第三章 圖像融合 常用的像素級圖像融合方法有: (l)空域融合方法:①加權(quán)平均法;②像素灰度值取大/小法;③主分量法(PCA)。 (2)變換域融合方法:①IHS變換法;②小波變換法 3.1 加權(quán)平均融合法 空域法是把圖像看作是平面中各個像素組成的集合,然后直接對這一二維函數(shù)進行相應的處理。 加權(quán)平均方法將源圖像對應像素的灰度值進行加權(quán)平均,生成新的圖像,它是最直接的融合方法。其中平均方法是加權(quán)平均的特例,使用平均方法進行圖像融合,提高了融合圖像的信噪比,但削弱了圖像的對比度,尤其對于只出現(xiàn)在其中一幅圖像上的有用信號。 假設參加
45、融合的兩個圖像分別為A、B,圖像大小為MN,經(jīng)融合后得到融合圖像C,那么,對A、B兩個源圖像的像素灰度值加權(quán)平均融合過程可以表示為: C(n1,n2)=ω1A(nl,n2)+ω2B(nl,n2) (2-1) 式中: n1表示圖像中像素的行號,nl=l,2,3,...……M; n2表示圖像中像素的列號,n2=1,2,3,...……N; ω1表示加權(quán)系數(shù)1; ω2表示加權(quán)系數(shù)2;通常ω1+ω2=1。 圖像灰度值的平均可看作是灰度值加權(quán)平均的特例,即ω1=ω2=0.5。 加權(quán)平均法的優(yōu)點是簡單直觀,適合實時處理。但簡單的疊加會使融合圖像的信噪比降低;當融合圖像的灰度值差異很大時,
46、就會出現(xiàn)明顯的拼接痕跡,不利于人眼識別和后續(xù)的目標識別過程。 3.2 像素灰度值選大/小融合方法 假設參加融合的兩個原圖像分別為A、B,圖像大小為MN,經(jīng)融合后得到的融合圖像為F,那么: 基于像素的灰度值取大圖像融合方法可表示為 基于像素的灰度值取小圖像融合方法可表示為 式中:m為圖像中像素的行號,n=1,2,…,M; n為圖像中像素的列號,n=1,2,…,N; 即在融合處理時,比較源圖像A、B中對應位置(m,n)處像素的灰度值的大小,以其中灰度值大/小的像素(可能來自圖像A或B)作為融合后圖像F在位置(m,n)處的像素。這種融合方法只是簡單地
47、選擇參加融合的源圖像中灰度值大/小的像素作為融合后的像素,該融合方法的適用場合非常有限。簡單的圖像融合方法具有實現(xiàn)簡單,融合速度快的優(yōu)點。但在多數(shù)應用場合,這些簡單的圖像融合方法的局限性是顯而易見的,無法獲得滿意的融合效果。 3.3 主分量融合法 主分量(PCA)變換,又稱K-L變換,它是一種基于目標特性的最佳正交變換。在進行許多問題的分析時,多個變量的情況是經(jīng)常遇到的。變量太多,無疑會增加分析問題的難度和復雜性,而且在許多實際問題中,多個變量之間具有一定的相關(guān)性。能否在各個變量之間相關(guān)關(guān)系研究的基礎上,用較少的新變量代替原來較多的變量,而且使這些較少的新變量盡可能多地保留原來的變量所
48、反應的信息,主分量分析就是實現(xiàn)這個目標的一種強有力的方法,它是把原來多個變量化為少數(shù)幾個綜合指標的一種統(tǒng)計分析方法,從數(shù)學角度來看,這是一種降維處理技術(shù),用較少的幾個綜合指標來代替原來較多的變量指標,而且使這些較少的綜合指標既能盡量地反映原來較多指標所反映的信息,同時它們之間又彼此獨立。針對主成分分析的特性,將其應用于圖像融合,可以把多波段的圖像信息最大限度的表現(xiàn)在融合后的新圖像中。圖像PCA變換的結(jié)果在舍棄相關(guān)性較差的次要成分后進行反變換所恢復出的圖像是原圖像在統(tǒng)計意義上的最佳逼近。 (1)主分量分析原理 各源圖像的原始數(shù)據(jù)可表示為: 其中,m和n分別為源圖像個數(shù)(或稱變量數(shù))和每
49、幅圖像中像素數(shù);矩陣中的每一行向量表示一幅源圖像。 一般圖像的線性變換可以用下面的式子表示: 式中X為待變換圖像數(shù)據(jù)矩陣,Y為變換后的數(shù)據(jù)矩陣,T為實現(xiàn)這一線性變換的變換矩陣。如果變換矩陣T是正交矩陣,并且它是由源圖像數(shù)據(jù)矩陣X的協(xié)方差矩陣C的特征向量所組成,則上式的線性變換稱為K-L變換,并且K-L變換后的數(shù)據(jù)矩陣的每一行向量為K-L變換的一個主分量。 (2)主分量變換的過程 用于圖像的K-L變換的過程如下: ①根據(jù)原始圖像數(shù)據(jù)矩陣X,求出它的協(xié)方差矩陣C: X的協(xié)方差矩陣為: ②求出協(xié)方差矩陣的特征值和特征向量,并組成變
50、換矩陣,具體如下: 寫出特征方程: 式中:I為單位矩陣,U為特征向量。 解上述的特征方程即可求出協(xié)方差矩陣C的各個特征值,并將其按的順序排列,求得各特征值相對應的單位特征向量(經(jīng)歸一化) : ③得到變換矩陣,其中,是以各個特征向量為列構(gòu)成的矩陣,且矩陣是正交矩陣,即矩陣滿足: (單位矩陣)。 ④將變換矩陣T代入Y=TX,將得到K-L變換的具體表達式: 式中Y矩陣的行向量為第j個主分量。 經(jīng)過K-L變換后,得到一組m個新的變量,它們依次被稱為第一主分量,第二主分量,…第m主分量。在PCA反變換時,只需運用到前m個主分量,這也正是主分量名稱的由來。 PCA變換用于圖像融
51、合的基本原理是:首先計算參加融合的兩幅源圖像的協(xié)方差矩陣,然后求其特征值對應的特征向量,最后利用與最大特征值相對應的特征向量來確定兩幅圖像的加權(quán)系數(shù)。 圖3-1 基于PCA變換的圖像融合方法 PCA融合算法的優(yōu)點在于,它適用于多光譜圖像的所有波段(IHS變換只能用3個波段),但其不足之處在于,由于PCA融合算法中只是用高分辨率圖像簡單替換低分辨率圖像的第一主成分,故低分辨率圖像第一主成分分量會損失一部分反映光譜特性的信息,使得融合后圖像的光譜畸變嚴重。用PCA方法確定加權(quán)系數(shù)優(yōu)于加權(quán)平均融合方法中提到的根據(jù)像素灰度值自適應確定加權(quán)系數(shù)的方法
52、,得到的融合圖像效果相對較好,但是對比度的提高沒有顯著的效果。 3.4 IHS變換法 IHS分別表示強度I(Intensity)、色調(diào)H(Hue)和飽和度S(Saturation),它們是從人眼中認識顏色的三個特征。強度是光作用在人眼所引起明亮程度的感覺,確定像素的整體亮度,與物體的反射率成正比。而色調(diào)和飽和度又統(tǒng)稱為色度,反映顏色信息。色調(diào)反映了顏色的類別,飽和度則是彩色光所呈現(xiàn)彩色的深淺程度,這兩個分量與人感受彩色的方式是緊密相連的。IHS變換有效地將RGB顏色信息表示成強度和色度信息,因此可以分離出大部分光譜信息,有利于圖像光譜信息的保持。 IHS 變換是指將RGB(Red-G
53、reen-Blue,紅-綠-藍) 三原色信號表示的彩色圖像轉(zhuǎn)換為I(亮度),H(色調(diào))和S(飽和度)三個分量來表示圖像信息。通常的色彩顯示是通過RGB( 紅綠藍)信號的亮度值所確定的, RGB 彩色坐標系統(tǒng)中R、G、B呈非線性關(guān)系,使調(diào)整色調(diào)的定量操作較為困難。而IHS 彩色坐標系統(tǒng)中, 三個分量具有相對的獨立性,可以分別對他們進行控制,并且能夠準確定量地描述顏色特征。同時, 圖像從RGB 轉(zhuǎn)換到IHS這一彩色空間變換有效地分離了代表空間亮度信息的I 分量和代表光譜彩色信息的H 和S分量。 IHS變換的形式有多種,都是基于不同的彩色空間模型建立的,它們之間主要的不同在于亮度分量上。在此介紹H
54、arrison和Jupp于1990年提出的變換模型,它是目前在多光譜圖像融合領(lǐng)域中最常見的變換模型。 正變換公式如下所示: 將多光譜圖像RGB三通道進行IHS變換,變換后的I分量與PAN全色圖像進行直方圖匹配,用匹配后的圖像替換原圖像的I分量再反變換,反變換如下式: 傳統(tǒng)的基于IHS 變換法的圖像融合步驟: 將多光譜的彩色圖像由RGB 轉(zhuǎn)換為IHS 格式, 而后將全色圖像與多光譜的I 分量進行直方圖匹配, 再將匹配后的全色圖像替換掉多光譜圖像的I 分量, 最后將替換后的多光譜圖像進行HIS—>RGB轉(zhuǎn)換生成融合圖像。算法融合流程如下圖:
55、 圖3-2 基于HIS變換融合流程圖 基于IHS 變換的融合方法特點是: 算法簡單易于實現(xiàn), 圖像的高頻細節(jié)信息保留較好但光譜信息損失較大。因為IHS 變換法很好的保留了全色圖像的高空間分辨率的細節(jié)信息, 所以在一般的地質(zhì)遙感工作領(lǐng)域中普通的IHS 變換法可以滿足基本要求, 但是對于一些大面積、低分辨率衛(wèi)星圖像, 多光譜圖像所提供的彩色信息在解譯工作中則變得更為重要。比如土地利用、植被監(jiān)測等項目更注重遙感圖像的色彩信息, 所以普通的IHS 方法并不能很好的滿足要求。基于此我們針對傳統(tǒng)IHS 變換法中多光譜信息損失嚴重的缺點提出了改進方案。 3.5 小
56、波變換融合法 “小波”就是小區(qū)域、長度有限、均值為0的波形。所謂“小”是指它具有衰減性;而稱之為“波”則是指它的波動性,其振幅正負相間的震蕩形式。與Fourier變換相比,小波變換是時間(空間)頻率的局部化分析,它通過伸縮平移運算對信號(函數(shù))逐步進行多尺度細化,最終達到高頻處時間細分,低頻處頻率細分,能自動適應時頻信號分析的要求,從而可聚焦到信號的任意細節(jié),解決了Fourier變換的困難問題,成為繼Fourier變換以來在科學方法上的重大突破。有人把小波變換稱為“數(shù)學顯微鏡”。 3.5.1 小波的定義及特點 (1)連續(xù)小波 設為一平方可積函數(shù),即,若其傅里葉變換滿足條件 (2-
57、1) 則稱為一個基本小波或小波母函數(shù)。并稱式(2-l)為小波函數(shù)的可容許性條件。 將小波母函數(shù)進行伸縮平移,設其伸縮因子(尺度因子)為α,平移因子為τ,平移伸縮后的函數(shù)為,則有 稱為連續(xù)小波基函數(shù)。 將任意空間中的函數(shù)在小波基下展開稱這種展開為函數(shù)的連續(xù)小波變換(Continue Wvelet Transform,簡稱WT),表達式為: 其逆變換為: 其中: (2)離散小波變換DWT 連續(xù)小波變換中,尺度與時間都是連續(xù)變換的,小波基函數(shù)具有很大的相關(guān)性,因此信號f(t)的連續(xù)小波變換系數(shù)的信息量是冗余的。減小小波變換系數(shù)兀余度的做法是將小波基函數(shù)
58、的α,τ限定在一些離散點上取值,一種最通常的離散方法就是將尺度按冪級數(shù)進行離散,即取 (m為整數(shù),≠1,一般取=2)。 對于位移的離散化,通常對τ進行均勻離散取值,以覆蓋整個時間軸。為了不丟失信息,我們要求采樣間隔τ滿足Nyqulst采樣定理,即采樣頻率大于等于該尺度下頻率通帶的二倍。當α==1時,=,則每當m增加一倍,對應的頻帶減小一半,可見采樣頻率可以降低一半,也就是采樣間隔可以增大一倍,因此,如果尺度m=0時τ的間隔為,則在尺度為時,間隔可以取,此時可以表示為 為了簡化起見,把t軸用歸一化,于是上式就變?yōu)椤? 任意函數(shù)f(t)的離散小波變換為:
- 溫馨提示:
1: 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
2: 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
3.本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
5. 裝配圖網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2023年六年級數(shù)學下冊6整理和復習2圖形與幾何第7課時圖形的位置練習課件新人教版
- 2023年六年級數(shù)學下冊6整理和復習2圖形與幾何第1課時圖形的認識與測量1平面圖形的認識練習課件新人教版
- 2023年六年級數(shù)學下冊6整理和復習1數(shù)與代數(shù)第10課時比和比例2作業(yè)課件新人教版
- 2023年六年級數(shù)學下冊4比例1比例的意義和基本性質(zhì)第3課時解比例練習課件新人教版
- 2023年六年級數(shù)學下冊3圓柱與圓錐1圓柱第7課時圓柱的體積3作業(yè)課件新人教版
- 2023年六年級數(shù)學下冊3圓柱與圓錐1圓柱第1節(jié)圓柱的認識作業(yè)課件新人教版
- 2023年六年級數(shù)學下冊2百分數(shù)(二)第1節(jié)折扣和成數(shù)作業(yè)課件新人教版
- 2023年六年級數(shù)學下冊1負數(shù)第1課時負數(shù)的初步認識作業(yè)課件新人教版
- 2023年六年級數(shù)學上冊期末復習考前模擬期末模擬訓練二作業(yè)課件蘇教版
- 2023年六年級數(shù)學上冊期末豐收園作業(yè)課件蘇教版
- 2023年六年級數(shù)學上冊易錯清單十二課件新人教版
- 標準工時講義
- 2021年一年級語文上冊第六單元知識要點習題課件新人教版
- 2022春一年級語文下冊課文5識字測評習題課件新人教版
- 2023年六年級數(shù)學下冊6整理和復習4數(shù)學思考第1課時數(shù)學思考1練習課件新人教版