系統(tǒng)辨識(shí)與濾波最小二乘法辨識(shí).ppt

《系統(tǒng)辨識(shí)與濾波最小二乘法辨識(shí).ppt》由會(huì)員分享，可在線閱讀，更多相關(guān)《系統(tǒng)辨識(shí)與濾波最小二乘法辨識(shí).ppt（34頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

第5章 最小二乘法辨識(shí),把待辨識(shí)的系統(tǒng)看作“黑箱”，只考慮系統(tǒng)的輸入－輸出特性，而不強(qiáng)調(diào)系統(tǒng)的內(nèi)部機(jī)理。 本章主要討論單輸入－單輸出系統(tǒng)的差分方程作為模型的系統(tǒng)辨識(shí)問(wèn)題。 差分方程模型的辨識(shí)問(wèn)題包括階的確定和參數(shù)估計(jì)2個(gè)方面。 本章討論采用最小二乘法進(jìn)行參數(shù)估計(jì)。,1、最小二乘法,設(shè)單輸入－單輸出線性定常系統(tǒng)的差分方程為 （1） 式中： 為輸入信號(hào)； 為理論上的輸出值。 的觀測(cè)值 可表示為 式中 為隨機(jī)干擾，則： 將 代入差分方程中，有 （4）,往往把 看作白噪聲 設(shè) 則式（4）可寫成 （5） 假設(shè) 不僅包含了 的測(cè)量誤差，而且還包含 的測(cè)量誤差和系統(tǒng)內(nèi)部噪聲。 假定 是不相關(guān)隨機(jī)序列。 現(xiàn)分別測(cè)出 個(gè)輸入輸出值 ，,列出Ｎ個(gè)方程為：,設(shè),可得到 （8） 式中： 為N維輸出向量； 為N維噪聲向量； 為 維參數(shù)向量； 為 測(cè)量矩陣。 式（8）式一個(gè)含有 個(gè)未知參數(shù)，由N個(gè)方程組成方程組。 當(dāng) ，方程數(shù)少于未知數(shù)數(shù)目，則方程組的解是不定的。 當(dāng) ，方程數(shù)正好與未知數(shù)相等，當(dāng)噪聲 時(shí)，就能準(zhǔn)確的解出,如果噪聲 ，則 從上式可以看出噪聲 對(duì)參數(shù)估計(jì)有影響，為了盡量減少噪聲 對(duì) 估值的影響，應(yīng)取 此時(shí)，要采用數(shù)理統(tǒng)計(jì)的方法求 的值，以減少噪聲對(duì) 估計(jì)值的影響。,最小二乘估計(jì)算法,設(shè) 表示 的最優(yōu)估值， 表示 的最優(yōu)估值，則有 式中,設(shè) 表示 與 之差，即 將 稱為殘差。把 分別代入上式可得殘差 。設(shè) 則有,最小二乘估計(jì)要求殘差的平方和為最小，即按照目標(biāo)函數(shù) 為最小來(lái)確定估值 。 求J對(duì) 的偏導(dǎo)數(shù)并令其等于0，可得 J為極小值的充分條件是 即矩陣 為正定矩陣。,這種辨識(shí)方法稱為一次完成的最小二乘估計(jì)，用來(lái)辨識(shí)的數(shù)據(jù)長(zhǎng)度是 。算法表明，全部 組數(shù)據(jù)是一次計(jì)算完畢的，這種方法常用于離線辨識(shí)。 優(yōu)點(diǎn)：辨識(shí)精度高。 缺點(diǎn)：每取到一組新數(shù)據(jù)后，都需要重新解方程組，每算一次都需要用全部數(shù)據(jù)，致使計(jì)算的存儲(chǔ)量越來(lái)越大，計(jì)算量也逐漸增加。,2、最小二乘遞推算法,令 則有,考慮目標(biāo)函數(shù) 極小化，可求得 （10） 當(dāng)新數(shù)據(jù) 取得時(shí)，有 其中：,令 則 應(yīng)用矩陣求逆引理，可得 和 的遞推關(guān)系式 矩陣求逆引理：設(shè)A為 矩陣，B和C為 矩陣，并且A， 和 都是非奇異矩陣，則有矩陣恒等式,令 ， ， ，根據(jù)引理有 由于 為標(biāo)量，則 而,由于上式中第二項(xiàng)為 把它代入原式，消去同類項(xiàng)，經(jīng)整理得 此式即為最小二乘的遞推算式。 利用此式計(jì)算 ， 時(shí)要已知 ， （前次估計(jì)值）， （歷史數(shù)據(jù)）和新觀測(cè)值 。,算法所需存貯空間分析： 算法中， 為2n+1個(gè)存貯單元（ ），而 是 維矩陣，顯然，將 換成 后，存貯量大為減少（因?yàn)閚為模型的階數(shù)，一般遠(yuǎn)遠(yuǎn)小于N） 遞推公式的直觀意義： 如果用 表示預(yù)報(bào)值，那么 表示預(yù)報(bào)誤差，這就表明，新的參數(shù)估計(jì)值 是根據(jù)預(yù)報(bào)偏差來(lái)對(duì)原估計(jì)值 進(jìn)行修正，修正的幅度大小是按最小二乘準(zhǔn)則來(lái)確定的。,為了進(jìn)行遞推計(jì)算，需要給出 和 的初值 和 ，有兩種給出初值的方法。 1）設(shè) 為N的初始值，則根據(jù)公式可算出初值 2）假定 是充分大的常數(shù)， 為 單位矩陣,則經(jīng)過(guò)若干次遞推之后能得到較好的參數(shù)估計(jì)。,3、最小二乘估計(jì)量的統(tǒng)計(jì)特性,1、無(wú)偏性 定理1：假設(shè)模型（5）式中的 是均值為零的平穩(wěn)獨(dú)立隨機(jī)序列，則最小二乘估計(jì)量 是具有無(wú)偏性的，即 其中 表示參數(shù)的真實(shí)值。 證明：令誤差向量 ，由式（8） 可知,將它代入（10）式得 對(duì)上式兩邊取數(shù)學(xué)期望，并應(yīng)用 為獨(dú)立，零均值得統(tǒng)計(jì)特性，可得 證畢。 2、誤差協(xié)方差 定理2：如果 是均值為零，方差為 的白噪聲序列，則最小二乘估計(jì)誤差 的協(xié)方差矩陣是,證明：定義誤差向量的協(xié)方差矩陣是 證畢。 上式可寫為 當(dāng) 時(shí)，上式為零，即 以概率1趨近 。 因此，當(dāng) 為不相關(guān)隨機(jī)序列時(shí)，最小二乘估計(jì)具有無(wú)偏性和一致性。如果系統(tǒng)的參數(shù)估計(jì)具有這種特性，就稱系統(tǒng)具有可辨識(shí)性。,現(xiàn)舉例說(shuō)明最小二乘法的估計(jì)精度 例5.1：設(shè)單輸入－單輸出系統(tǒng)的差分方程為 設(shè) 是幅值為1的偽隨機(jī)二位式序列，噪聲 是一個(gè)方差 可調(diào)的正態(tài)分布 隨機(jī)序列。 從方程中可看到 ，因此 真實(shí)的 為 取觀測(cè)數(shù)據(jù)長(zhǎng)度 ，當(dāng)噪聲均方差 取不同值時(shí)，系統(tǒng)參數(shù)的最小二乘估計(jì)值如下表,表5.1 參數(shù)估值表,計(jì)算結(jié)果表明，當(dāng)不存在噪聲時(shí)，可以獲得精確的估值 。估值 的均方差隨著噪聲均方差 的增大而增大。,3）漸進(jìn)正態(tài)性 定理3：假設(shè) 是均值為零，方差為 的正態(tài)白噪聲，則最小二乘參數(shù)估計(jì)值 服從正態(tài)分布，即 4）有效性 定理4：假設(shè) 是均值為零，方差為 的正態(tài)白噪聲，則最小二乘參數(shù)估計(jì)量 是有效估計(jì)量，即參數(shù)估計(jì)誤差的協(xié)方差達(dá)到Cramer-Rao不等式（克拉默─勞下限 ）的下界 其中M為Fisher信息矩陣。,4、適應(yīng)算法,隨著更多觀測(cè)數(shù)據(jù)的處理，遞推最小二乘法對(duì)線性定常系統(tǒng)的參數(shù)估計(jì)并非越來(lái)越精確，有時(shí)會(huì)發(fā)現(xiàn)由此得到的參數(shù)估計(jì)量與實(shí)際參數(shù)之間的誤差越來(lái)越大，即出現(xiàn)“數(shù)據(jù)飽和”現(xiàn)象。 這是因?yàn)? 是正定的，而 中 是非負(fù)定的，所以 都是正定的。根據(jù)遞推最小二乘法中公式，可得： 所以 隨著遞推次數(shù)的增加， 越來(lái)越小，這會(huì)導(dǎo)致新采樣值對(duì)參數(shù)估計(jì)的修正不再起作用，即產(chǎn)生“數(shù)據(jù)飽和”現(xiàn)象。,另外，由于遞推在有窮字長(zhǎng)的計(jì)算機(jī)上實(shí)現(xiàn)時(shí)，每步都存在舍入誤差。因此數(shù)據(jù)飽和后，由于這些原因致使新的采樣值不僅對(duì)參數(shù)估計(jì)不起改進(jìn)作用，反而可能使所計(jì)算的 失去正定性，甚至失去對(duì)稱性，造成參數(shù)的估計(jì)值和真實(shí)參數(shù)之間的偏差越來(lái)越大。 為了克服數(shù)據(jù)飽和現(xiàn)象，可以用降低舊數(shù)據(jù)影響的辦法來(lái)修正算法。而對(duì)于時(shí)變系統(tǒng)，估計(jì)k時(shí)刻的參數(shù)最好用k時(shí)刻附近的數(shù)據(jù)估計(jì)較準(zhǔn)確。否則新數(shù)據(jù)所帶來(lái)的信息將被就數(shù)據(jù)所淹沒(méi)。 幾種算法：漸消記憶法，限定記憶法與振蕩記憶法,1）漸消記憶法,該法的思想是對(duì)過(guò)去數(shù)據(jù)乘上加權(quán)因子 ，利用加權(quán)來(lái)人為地降低老數(shù)據(jù)的作用。 考慮下列目標(biāo)函數(shù) 其中 ，當(dāng) 時(shí)就是標(biāo)準(zhǔn)的最小二乘算法，可以證明其遞推算法是,4－1－a,4－1－b,4－1－c,證明：令 則,利用矩陣求逆,令,證畢,一般情況下,比較適宜，太小了會(huì)降低,參數(shù)估計(jì)的精度。 的一個(gè)很好的選擇是令,典型取值,,4-2,2）限定記憶法,這種估計(jì)算法只用最新的N個(gè)數(shù)據(jù)，在此前的數(shù)據(jù)，全部刪除掉。 如考慮一個(gè)固定長(zhǎng)度為N的矩形窗，每一時(shí)刻一個(gè)新數(shù)據(jù)點(diǎn)增加進(jìn)來(lái)，一個(gè)老數(shù)據(jù)點(diǎn)剔除出去，這樣就保持了每次都只取最新的N組數(shù)據(jù)。 用下標(biāo) 表示用第 組直到 組觀測(cè)值計(jì)算到的各種變量，例如 表示第 組直到 組一共N＋1組觀測(cè)數(shù)據(jù)計(jì)算到的參數(shù)估計(jì)值。 而 表示第 組到 組一共N組觀測(cè)數(shù)據(jù)計(jì)算到的參數(shù)估計(jì)值。,這樣，遞推方程（4－1）中， 則可寫成 為了保持?jǐn)?shù)據(jù)窗的長(zhǎng)度等于N，要從上三式中剔除i時(shí)刻的觀測(cè)值，即求 其中：,利用矩陣求逆運(yùn)算，可得,該式就是限定記憶的最小二乘遞推法,3）振蕩記憶算法,振蕩記憶算法指整段剔除N組數(shù)據(jù)的方法，即當(dāng)數(shù)據(jù)長(zhǎng)度已經(jīng)達(dá)到2N時(shí)，可剔除開始的N個(gè)數(shù)據(jù)。其有用的數(shù)據(jù)在N到2N之間變化,練習(xí),根據(jù)遞推最小二乘算法，矩陣求逆公式以及公式(4-1-b),(4-1-c)和（4-2），推導(dǎo)公式(4-1-a),