《最小二乘曲線擬合與參數(shù)辨識.ppt》由會員分享，可在線閱讀，更多相關《最小二乘曲線擬合與參數(shù)辨識.ppt（53頁珍藏版）》請在裝配圖網(wǎng)上搜索。
1、m次獨立試驗的數(shù)據(jù),1、引言,,1801年初，天文學家皮亞齊發(fā)現(xiàn)了谷神星。 1801年末，天文愛好者奧博斯，在高斯預 言的時間里，再次發(fā)現(xiàn)谷神星。 1802年又成功地預測了智神星的軌道。,高斯自己獨創(chuàng)了一套行星軌道計算 理論。 高斯僅用1小時就算出了谷神星的 軌道形狀，并進行了預測,1794年，高斯提出了最小二乘的思想。,,未知量的最可能值是使各項實際觀測值和計算值之間差的平方乘以其精確度的數(shù)值以后的和為最小。,1794年，高斯提出的最小二乘的基本原理是,2、最小二乘辨識方法的基本概念,通過試驗確定熱敏電阻阻值和溫度間的關系,當測量沒有任何誤差時，僅需2個測量值。 每次測量總是存在隨機誤差。
2、,, 使 最小 /* minimax problem */,太復雜, 使 最小,不可導，求解困難, 使 最小,測量誤差的平方和最小,常見做法：,2.1 利用最小二乘法求模型參數(shù),根據(jù)最小二乘的準則有,根據(jù)求極值的方法，對上式求導,,,,2.1 利用最小二乘法求模型參數(shù),,,,,,,,2.2 一般最小二乘法原理及算法,,,2.2 一般最小二乘法原理及算法,,若考慮被辨識系統(tǒng)或觀測信息中含有噪聲,,如果定義,,2.2 一般最小二乘法原理及算法,,,,2.2 一般最小二乘法原理及算法,,2.2 一般最小二乘法原理及算法,,,2.2 一般最小二乘法原理及算法,,2.2 一般
3、最小二乘法原理及算法,,證明：,,,,,證明：,,根據(jù)第（1）式的證明，顯然有,2.2 一般最小二乘法原理及算法,解：由題意得量測方程,,,,,,2.2 一般最小二乘法原理及算法,2.3 加權最小二乘法原理及算法,一般最小二乘估計精度不高的原因之一是對測量數(shù)據(jù)同等對待 各次測量數(shù)據(jù)很難在相同的條件下獲得的 有的測量值置信度高，有的測量值置信度低的問題 對不同置信度的測量值采用加權的辦法分別對待 置信度高的，權重取得大些；置信度低的，權重取的小些,,,2.3 加權最小二乘法原理及算法,,,2.3 加權最小二乘法原理及算法,,2.3 加權最小二乘法原理及算法,,馬爾可夫估計,,,,2.3 加權最小
4、二乘法原理及算法,例3.2 用2臺儀器對未知標量各直接測量一次， 量測量分別為z1和z2，儀器的測量誤差均值為0，方 差分別為r和4r的隨機量，求其最小二乘估計，并 計算估計的均方誤差。,2.3 加權最小二乘法原理及算法,解：由題意得量測方程,,,例3.4 考慮仿真對象,,選擇如下的辨識模型進行一般的最小二乘參數(shù)辨識。,,2.3 加權最小二乘法原理及算法,4階M序列,輸出信號,,,,,,,一般最小二乘參數(shù)辨識流程圖,1 線性最小二乘問題,一、最小二乘問題的一般提法,在實際應用中，經(jīng)常遇到下列數(shù)據(jù)處理問題：,已知函數(shù) 在m個點上的數(shù)據(jù)表，尋求其近似函數(shù)。,設 的近似函數(shù)為,其中 是
5、某函數(shù)族中的已知線性無關函數(shù)。,稱為 殘向量,尋求一組常數(shù) ，要求,的2-范數(shù)達到最小。,,,則得到最小二乘問題：,,上述問題的解也稱為方程組 的最小二乘解。,當 時稱之為超定（或矛盾）方程組。,所謂”曲線擬合”,是指根據(jù)給定的數(shù)據(jù)表,尋找一個 簡單的表達式來”擬合”該組數(shù)據(jù),此處的”擬合”的含義 為:不要求該表達式對應的近似曲線完全通過所有的數(shù) 據(jù)點,只要求該近似曲線能夠反映數(shù)據(jù)的基本變化趨勢.,,二、最小二乘多項式擬合,引例1：考察某種纖維的強度與其拉伸倍數(shù)的關系. 下表是實際測定的24個纖維樣品的強度與相應的 拉伸倍數(shù)的數(shù)據(jù)記錄:,可以看出,纖維強度隨 拉伸倍數(shù)
6、增加而增加,,并且24個點大致分 布在一條直線附近,,,該直線稱為這一問題的數(shù)學模型。,因此可認為強度與 拉伸倍數(shù)之間的主 要關系是線性關系,怎樣確定a,b,使得直線能較好地反映所給數(shù)據(jù)的基 本“變化趨勢”?,采用最小二乘的思想,令,問題轉化為求參數(shù) 使 達到最小值。,這種求線性函數(shù)y=a+bx的過程稱為線性擬合。,,一般地，設 的近似函數(shù)為,尋求 ，使得,則稱 為函數(shù) 的多項式擬合。,滿足下列法方程組：,非線性擬合,某些非線性擬合問題可轉化為線性擬合問題,線性化處理：,令,則,由線性擬合方法可得到 和 ，從而得到 和 。,又如：若非線性函數(shù)取為,令,其中,,,三、最小
7、二乘問題解的存在性、唯一性,方程組 相容的充要條件是,滿秩分解,證明：,記,不妨假設 的前 列 線性無關,令,其中,,(滿秩分解),其中,其中,因此，對任何 階矩陣總存在滿秩分解,證明：,充分性,設 是 的解,,,必要性,設 是方程組的最小二乘解,記 ,,由極值的必要條件知：,即,,方程組 必存在最小二乘解。,證明：,記,則存在滿秩分解,法方程組可寫成：,證明：,由定理7.1.3知， 是一個最小二乘解。,設 是方程組的任一最小二乘解，下證：,,唯一性易證,解：,,,,解：,例2：求一個形如 ( 為常數(shù))的經(jīng)驗公 式，使它能和下表給出的數(shù)據(jù)相擬合:,,對 兩邊取對數(shù)得,,令,此時,寫出法方程組,其中,
最小二乘曲線擬合與參數(shù)辨識.ppt
