曲線擬合最小二乘法ppt課件

《曲線擬合最小二乘法ppt課件》由會(huì)員分享，可在線閱讀，更多相關(guān)《曲線擬合最小二乘法ppt課件（30頁珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

曲線擬合,曲線擬合問題,仍然是已知 x1 … xn ; y1 … yn, 求一個(gè)簡(jiǎn)單易算的近似函數(shù) f(x) 來擬合這些數(shù)據(jù)。,但是① n 很大；,② yi 本身是測(cè)量值，不準(zhǔn)確，即 yi ? f (xi),這時(shí)沒必要取 f(xi) = yi , 而要使 ?i=f(xi) ? yi 總體上 盡可能地小。,這種構(gòu)造近似函數(shù) 的方法稱為曲線擬合，f(x) 稱為擬合函數(shù),稱為“殘差”,1,,,y=f(x),y=p(x),插值,2,,,求一條曲線,使數(shù)據(jù)點(diǎn)均在離此曲線的上方或下方不遠(yuǎn)處,所求的曲線稱為擬合曲線,它既能反映數(shù)據(jù)的總體分布,又不至于出現(xiàn)局部較大的波動(dòng),更能反映被逼近函數(shù)的特性,使求得的逼近函數(shù)與已知函數(shù)從總體上來說其偏差按某種方法度量達(dá)到最小。,擬合,3,與函數(shù)插值問題不同,曲線擬合不要求曲線通過所有已知點(diǎn),而是要求得到的近似函數(shù)能反映數(shù)據(jù)的基本關(guān)系。在某種意義上,曲線擬合更有實(shí)用價(jià)值。 兩種逼近概念: 插值: 在節(jié)點(diǎn)處函數(shù)值相同. 擬合: 在數(shù)據(jù)點(diǎn)處誤差平方和最小 在對(duì)給出的實(shí)驗(yàn)(或觀測(cè))數(shù)據(jù) 作曲線擬合時(shí),怎樣才算擬合得最好呢？,,4,常見做法：,使 最小,較復(fù)雜，,使 最小,不可導(dǎo)，求解困難,使 最小,“使 ?i=P(xi) ? yi 盡可能地小”有不同的準(zhǔn)則,5,曲線擬合的最小二乘法,一、擬合問題的提出及其最小二乘法,6,例 某物質(zhì)的溶解度y和溫度x的關(guān)系經(jīng)測(cè)定滿足下面數(shù)據(jù)表，試建立該問題的數(shù)學(xué)模型.,將(x, y)的數(shù)據(jù)點(diǎn)描在一坐標(biāo)紙上，則如下圖所示.,7,y與x近似成拋物線關(guān)系，,數(shù)據(jù)點(diǎn)分布在一拋物線的兩側(cè).,從圖中可見，,因此，可以猜測(cè),即有,這就是本問題的數(shù)學(xué)模型.,8,確定了問題的數(shù)學(xué)模型后，,即,這里,是線性無關(guān)函數(shù)系，,為待定常數(shù).,9,在例1中，設(shè)函數(shù),誤差為,我們希望猜想的數(shù)學(xué)模型應(yīng)盡量接近觀測(cè)數(shù)據(jù)，,即使得誤差帶權(quán)平方和,越小越好.,10,11,根據(jù)最小二乘原理，應(yīng)取 和 使 有極小值，故 和 應(yīng)滿足下列條件：,（1）直線擬合 設(shè)已知數(shù)據(jù)點(diǎn) ,分布大致為一條直線。作擬合直線 ,該直線不是通過所有的數(shù)據(jù)點(diǎn) ,而是使偏差平方和,,,,,為最小。,,,,,,,12,即得如下方程組,,例 設(shè)有某實(shí)驗(yàn)數(shù)據(jù)如下： 1 2 3 4 1.36 1.37 1.95 2.28 14.094 16.844 18.475 20.963,,,,,,,,,,用最小二乘法求以上數(shù)據(jù)的擬合函數(shù) 解:把表中所給數(shù)據(jù)畫在坐標(biāo)紙上,將會(huì)看到數(shù)據(jù)點(diǎn)的分布可以用一條直線來近似地描述,設(shè)所求的,13,擬合直線為 記x1=1.36, x2=1.37, x3 =1.95 x4 =2.28, y1 =14.094, y2= 16.844, y3=18.475, y4=20.963 則正規(guī)方程組為,,,,,其中,將以上數(shù)據(jù)代入上式正規(guī)方程組,得,14,解得,即得擬合直線,15,,,（2）多項(xiàng)式擬合 有時(shí)所給數(shù)據(jù)點(diǎn)的分布并不一定近似地呈一條直線,這時(shí)仍用直線擬合顯然是不合適的,可用多項(xiàng)式擬合。對(duì)于給定的一組數(shù)據(jù) 尋求次數(shù)不超過n (nm ) 的多項(xiàng)式，,,,來擬合所給定的數(shù)據(jù)，與線性擬合類似，使偏差的 平方和,,為最小,16,由于Q可以看作是關(guān)于 ( j=0,1,2,…, n)的多元函數(shù), 故上述擬合多項(xiàng)式的構(gòu)造問題可歸結(jié)為多元函數(shù)的極值問題。令,,得,,即有,17,,這是關(guān)于系數(shù) 的線性方程組，通常稱為正規(guī)方程組?？梢宰C明，正規(guī)方程組有惟一解。,,例 設(shè)某實(shí)驗(yàn)數(shù)據(jù)如下： 1 2 3 4 5 6 0 1 2 3 4 5 5 2 1 1 2 3,,,,,,,,,,,,用最小二乘法求一個(gè)多項(xiàng)式擬合這組數(shù)據(jù),18,解：將已給數(shù)據(jù)點(diǎn)描在坐標(biāo)系中，可以看出這些點(diǎn) 接近一條拋物線，因此設(shè)所求的多項(xiàng)式為,,由法方程組（3.2）, 經(jīng)計(jì)算得,m=6,,,其法方程組為,,解之得,,,所求的多項(xiàng)式為,19,幾種常見的數(shù)據(jù)擬合情況。圖 ( a ) 表示數(shù)據(jù)接近于直線，故宜采用線性函數(shù) 擬合；圖(b)數(shù)據(jù)分布接近于拋物線。可采擬合；二次多項(xiàng)式,,,擬合；,,(a),(b),20,圖 ( c ) 的數(shù)據(jù)分布特點(diǎn)是開始曲線上升較快隨后逐 漸變慢,宜采用雙曲線型函數(shù) 或指數(shù)型函 數(shù) 圖 ( d ) 的數(shù)據(jù)分布特點(diǎn)是開始曲線下降快,隨后逐漸變慢,宜采用 或 或 等數(shù)據(jù)擬合。,,,,,,( c ),( d ),21,例3.13 設(shè)某實(shí)驗(yàn)數(shù)據(jù)如下: 1 2 3 4 5 6 0 0.5 1 1.5 2 2.5 2.0 1.0 0.9 0.6 0.4 0.3,,,,,,,,,,,,用最小二乘法求擬合曲線,解:將已給數(shù)據(jù)點(diǎn)描在坐標(biāo)系中下圖所示,可以看出這些點(diǎn)接近指數(shù)曲線,因而可取指數(shù)函數(shù) 作為擬合函數(shù).對(duì)函數(shù) 兩邊取對(duì)數(shù)得. 令 得 則就得到線性模型,,,,,,22,則正規(guī)方程組為,,其中,,,,,將以上數(shù)據(jù)代入上式正規(guī)方程組，得,,解得,,由 得,,,,,,23,由 得,于是得到擬合指數(shù)函數(shù)為,（4）超定方程組的最小二乘解 設(shè)線性方程組Ax=b中， ,b是m維已知向量，x是n維解向量，當(dāng)m＞n，即方程組中方程的個(gè)數(shù)多于未知量的個(gè)數(shù)時(shí)，稱此方程組為超定方程組。一般來說，超定方程組無解（此時(shí)為矛盾方程組),這時(shí)需要尋求方程組的一個(gè)“最近似”的解. 記 ,稱使 ,即 最小的解 為方程組Ax=b的最小二乘解。,,,,,,25,定理 是Ax=b的最小二乘解的充分必要條件為 是 的解. 證明:充分性 若存在n維向量 ,使 任取一n維向量 ,令 ,則 且,,,,,,,,,,,,所以 是Ax=b的最小二乘解。,26,必要性:r的第i個(gè)分量為, ,記,,,,由多元函數(shù)求極值的必要條件，可得,,,即,,,,由線性代數(shù)知識(shí)知,上式寫成矩陣形式為,,它是關(guān)于的線性方程組,也就是我們所說的正規(guī)方程組或法方程組?？梢宰C明如果A是列滿秩的,則方程組（5.48）存在惟一解,27,例 求超定方程組,,的最小二乘解,并求 誤差平方和。,解:方程組寫成矩陣形式為,,正規(guī)方程組為,,28,,即,,解得,,此時(shí),誤差平方和為,,,29,我們已經(jīng)討論了最小二乘意義下的曲線擬合問題,由于方程比較簡(jiǎn)單,實(shí)際中應(yīng)用廣泛,特別是因?yàn)槿魏芜B續(xù)函數(shù)至少在一個(gè)較小的鄰域內(nèi)可以用多項(xiàng)式任意逼近,因此用多項(xiàng)式作數(shù)據(jù)擬合,有它的特殊重要性。從而在許多實(shí)際問題中,不論具體函數(shù)關(guān)系如何,都可用多項(xiàng)式作近似擬合,但用多項(xiàng)式擬合時(shí),當(dāng)n較大時(shí)(n≥7),其法方程的系數(shù)矩陣的條件數(shù)一般較大,所以往往是病態(tài)的,因而給求解工作帶來了困難。,,,,30,