回歸分析基本方法：最小二乘法.ppt

《回歸分析基本方法：最小二乘法.ppt》由會員分享，可在線閱讀，更多相關(guān)《回歸分析基本方法：最小二乘法.ppt（45頁珍藏版）》請在裝配圖網(wǎng)上搜索。

假設(shè)檢驗(yàn)的基本思想基于小概率原理的反證法,二、假設(shè)檢驗(yàn)的步驟,1、提出假設(shè)，包括原假設(shè)和備擇假設(shè)2、構(gòu)造相應(yīng)的檢驗(yàn)統(tǒng)計量，確定其分布形式；根據(jù)樣本數(shù)據(jù)計算統(tǒng)計量的值；3、確定顯著性水平?和臨界值；4、作出結(jié)論。（根據(jù)所計算的統(tǒng)計量的值與臨界值比較確定是否拒絕原假設(shè)）,原假設(shè)TheNullHypothesis,1.陳述需要檢驗(yàn)的假設(shè)例如:H0:??=452.原假設(shè)用H0表示3.總是包含等號“=”（比如=,?,?)4.檢驗(yàn)以“假定原假設(shè)為真”開始,平均每天上網(wǎng)玩游戲時間不是5小時。,如何設(shè)定假設(shè)檢驗(yàn)？,H0:?=5H1:???5,例題1,據(jù)報導(dǎo)，美國全職教授年薪的數(shù)學(xué)期望值為68000美元，標(biāo)準(zhǔn)差為5000美元。一個由36名大學(xué)全職教授組成的樣本表明，平均薪水為72000美元，檢驗(yàn)報導(dǎo)的可信性。（顯著性水平為0.02）,,H0,,臨界值,臨界值,?/2,,?/2,樣本統(tǒng)計量,,,,,拒絕域,拒絕域,非拒絕域,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,接受域與拒絕域,抽樣分布,1-?,,置信度,,（1）H0：μ=68000H1；μ≠68000（2）檢驗(yàn)統(tǒng)計量服從Z分布檢驗(yàn)統(tǒng)計量:,（3）α=0.02，查正態(tài)分布表得：Z=2.04，接受域?yàn)椋ǎ?.04，2.04）結(jié)論：拒絕假定。,質(zhì)檢員認(rèn)為在整個工作流程中平均裝盒量符合標(biāo)準(zhǔn)：沒有超過368克。隨機(jī)抽取25盒為樣本，均值?X=372.5克，標(biāo)準(zhǔn)差s=15克。試在?=0.05的條件下進(jìn)行檢驗(yàn)。給出你的結(jié)論。,,,368克.,例題2,,,,,,,,,,,,,,,,,,,,,,,,,,,t,0,?,,,拒絕H,0,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,t,0,,,拒絕H,0,,,,?,接受域與拒絕域,H0:?????0H1:??0,,必須顯著低于?才會拒絕,,小的數(shù)值與H0不矛盾.，因此不會拒絕H0,,左側(cè)檢驗(yàn),右側(cè)檢驗(yàn),（1）H0：μ≤368H1；μ>368（2）檢驗(yàn)統(tǒng)計量服從t分布檢驗(yàn)統(tǒng)計量:,（3）α=0.05，查t分布表得：t=2.064，接受域?yàn)椋ǎ蓿?.064）結(jié)論：接受原假定。,假設(shè)檢驗(yàn)中的兩類錯誤檢驗(yàn)決策錯誤,第一類錯誤棄真錯誤,后果往往較為嚴(yán)重出現(xiàn)第一類錯誤的概率為?,等于顯著性水平第二類錯誤存?zhèn)五e誤,出現(xiàn)第二類錯誤的概率為??,,檢驗(yàn)決策結(jié)果,,,,,,,,,,,,,,,,,,,,,實(shí)際情況,,,,,實(shí)際情況,,,,,,,,,,,,,,,,,,,,,,,,,,,H0為真,,,H0為假,,,決策,,H,0,為真,,H,0,為假,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,不拒絕,,正確,錯誤,,不拒絕,,,H,0,置信水平1-α,第二類錯誤?,,,,,,,,,,,,,,,,,,,,,,,,拒絕,,錯誤,正確,,拒絕,,H,0,,第一類錯誤?,檢驗(yàn)?zāi)芰?-?,,,第三章回歸分析的基本方法：最小二乘法,本章重點(diǎn),經(jīng)濟(jì)學(xué)理論模型最小二乘法實(shí)例應(yīng)用,2020/6/8,14,中山大學(xué)南方學(xué)院經(jīng)濟(jì)系,,,本章分析思路,建立經(jīng)濟(jì)學(xué)的理論模型運(yùn)用最小二乘法進(jìn)行參數(shù)估計實(shí)例運(yùn)用,2020/6/8,中山大學(xué)南方學(xué)院經(jīng)濟(jì)系,15,,,回歸分析,研究步驟：首先，要確定所研究的問題（因變量），并根據(jù)經(jīng)濟(jì)理論，找出與該問題相關(guān)的、有影響力的經(jīng)濟(jì)因素（自變量），并建立因變量與自變量的關(guān)系式（經(jīng)濟(jì)模型）。,2020/6/8,中山大學(xué)南方學(xué)院經(jīng)濟(jì)系,16,,其次，按照科學(xué)的方法收集相應(yīng)變量的實(shí)際數(shù)據(jù)。最后，對所研究的問題作出結(jié)論。,2020/6/8,中山大學(xué)南方學(xué)院經(jīng)濟(jì)系,17,第一節(jié)理論模型的建立,簡單回歸模型是指兩個變量的線性模型，其中一個是因變量，一個是自變量。也稱為“二元線性方程”。用數(shù)學(xué)公式表示就是：,2020/6/8,中山大學(xué)南方學(xué)院經(jīng)濟(jì)系,18,,建立x解釋y的模型時，面臨三個問題：（1）既然兩個變量之間沒有一個確切的關(guān)系，應(yīng)該如何考慮其他影響Y的因素？（2）Y和X的函數(shù)關(guān)系是怎樣的？（3）怎樣知道是否準(zhǔn)確測定出了y和x之間的關(guān)系（因果性效應(yīng)）？,2020/6/8,中山大學(xué)南方學(xué)院經(jīng)濟(jì)系,19,20,計量經(jīng)濟(jì)學(xué)分析的應(yīng)用：y和x：某一個總體的兩個變量感興趣：用x來解釋y，或者說是研究y如何隨x而變化如：（Y）大豆的產(chǎn)出與（X）化肥的用量；（Y）工資收入與（X）受教育的年數(shù)；（Y）社區(qū)的犯罪率與（X）警察的數(shù)量。,,,在自己建立經(jīng)濟(jì)模型的過程中，如何取舍解釋變量，一定要問個為什么。計量經(jīng)濟(jì)學(xué)家首先就是要擺事實(shí)、講道理，這是作為計量經(jīng)濟(jì)學(xué)家必備的素質(zhì)。1、消費(fèi)與收入之間的關(guān)系；2、產(chǎn)品的銷量與產(chǎn)品價格的關(guān)系；3、GDP與投資、經(jīng)濟(jì)運(yùn)行的關(guān)系。,2020/6/8,中山大學(xué)南方學(xué)院經(jīng)濟(jì)系,21,22,一元回歸的術(shù)語,自變量(independentvariable)解釋變量(explanatoryvariable)控制變量(controlvariable)預(yù)測變量(predictorvariable)回歸元(regressor),因變量(dependentvariable)被解釋變量(explainedvariable)響應(yīng)變量(responsevariable)被預(yù)測變量(predictedvariable)回歸子(regressand),23,一元回歸模型的定義,變量ε：隨機(jī)誤差項(xiàng)或隨機(jī)擾動項(xiàng)表示：除X之外其他影響Y的因素,24,隨機(jī)誤差項(xiàng)ε的產(chǎn)生,一、理論的不確定性（現(xiàn)象的內(nèi)在隨機(jī)性）二、模型的簡化核心變量與非核心變量忽略影響較小的因素三、數(shù)據(jù)測量、收集的誤差四、模型函數(shù)形式設(shè)定錯誤,25,模型表述了Y和X之間的線性關(guān)系。簡單線性回歸模型（Simplelinearregressionmodel）又稱做兩變量或雙變量線性回歸模型(Thetwovariableregressionmodel)β：y和x關(guān)系式中的斜率參數(shù)（slopeparameter）α：截距參數(shù)（interceptparameter）,26,例1大豆產(chǎn)出和施肥量,農(nóng)業(yè)研究者對（其他因素不變時）化肥用量如何影響大豆產(chǎn)出量感興趣。隨機(jī)誤差項(xiàng)ε包括了：土壤質(zhì)量、降雨量等因素影響的效果由β給出系數(shù)β度量了在其他條件不變的情況下，施肥量對產(chǎn)出量的影響：Δyield=βΔfertilizer,假使大豆的產(chǎn)出由以下模型所決定：,27,例2簡單的工資方程,表示一個人的工資水平與他的受教育程度及其他非觀測因素的關(guān)系：,Wage:工資水平Educ:受教育的年數(shù)β:(在其他條件不變的情況下)每增加一年教育所獲得的工資增長。其他非觀測因素ε線性性顯示，不管X的初始值為多少，它的任何一單位變化對Y的影響都是相同的。,28,計量經(jīng)濟(jì)分析中的因果性效應(yīng)與其他條件不變,其他條件不變：包含在隨機(jī)誤差項(xiàng)中的其他所有相關(guān)因素均保持固定不變。因果性效應(yīng)：其他條件不變情況下，一個變量對另一個變量產(chǎn)生的影響。,第二節(jié)實(shí)際數(shù)據(jù)的收集,當(dāng)我們建立了經(jīng)濟(jì)理論上的關(guān)系式后，接下來就要從實(shí)際中收集數(shù)據(jù)。Y和X是兩個變量，我們要收集有關(guān)Y和X的數(shù)據(jù)，就要對N個研究對象進(jìn)行觀察，從而收集到N組數(shù)據(jù)，這每一組數(shù)據(jù)叫做一個“樣本”，每個樣本有一個對應(yīng)的Y與X的值。,2020/6/8,中山大學(xué)南方學(xué)院經(jīng)濟(jì)系,29,,于是，我們的回歸模型就可以表示為：我們用所得到的數(shù)據(jù)，采用回歸分析的方法來對模型中的參數(shù)進(jìn)行估計。這樣我們就可以得到參數(shù)的估計值。被普遍采用的方法是“最小二乘法”。,2020/6/8,中山大學(xué)南方學(xué)院經(jīng)濟(jì)系,30,,,第三節(jié)最小二乘法,普通最小二乘估計量(ordinaryleastsquares)OLS估計量,2020/6/8,中山大學(xué)南方學(xué)院經(jīng)濟(jì)系,31,32,（1）OLS殘差的平方和最小。數(shù)學(xué)表述為：,OLS估計量的代數(shù)性質(zhì),OLS估計值是以使殘差和為零的參數(shù)估計值來選擇的。,即OLS的一階條件,,我們試圖找到這樣一條直線，它到每一實(shí)際落點(diǎn)的距離的總和為最小。由于實(shí)際落點(diǎn)到直線的距離有正也有負(fù)值，即誤差有正值和負(fù)值，我們用誤差項(xiàng)的平方值來測定其絕對距離。所以我們可以通過全微分來求極值。,2020/6/8,中山大學(xué)南方學(xué)院經(jīng)濟(jì)系,33,,我們得出：設(shè)一階導(dǎo)數(shù)為零，可得：,2020/6/8,中山大學(xué)南方學(xué)院經(jīng)濟(jì)系,34,2020/6/8,中山大學(xué)南方學(xué)院經(jīng)濟(jì)系,35,然后我們再求二階偏導(dǎo)：由于二階偏導(dǎo)大于零，所以我們確信這種所求的結(jié)果是最小值。這就是最小二乘法。,2020/6/8,中山大學(xué)南方學(xué)院經(jīng)濟(jì)系,36,一元線性回歸模型的假設(shè)條件,2020/6/8,中山大學(xué)南方學(xué)院經(jīng)濟(jì)系,37,1.X與Y之間的關(guān)系是線性的。2.X是非隨機(jī)的變量，它的值是確定的。3.誤差項(xiàng)的期望為0：E(εi)=0。4.對于所有觀測值，誤差項(xiàng)具有相同的方差，即E(ε2)=σ2——同方差假定5.隨機(jī)變量εi之間統(tǒng)計上是獨(dú)立的，因此對所有的i≠j，E(εiεj)=0—無序列相關(guān)假定6.誤差項(xiàng)服從正態(tài)分布。假設(shè)1—5：古典線性回歸模型的定義,第四節(jié)最小二乘法實(shí)用實(shí)例,計量經(jīng)濟(jì)的回歸分析主要是根據(jù)經(jīng)濟(jì)理論的數(shù)學(xué)模型和實(shí)際的經(jīng)濟(jì)數(shù)據(jù)來計算出符合實(shí)際的、可應(yīng)用經(jīng)濟(jì)分析的參數(shù)方程。例如：我們估算某個地區(qū)的消費(fèi)函數(shù)。根據(jù)經(jīng)濟(jì)理論，人們的消費(fèi)額取決于他們的收入，也就是說消費(fèi)與收入有線性關(guān)系，消費(fèi)是因變量，收入是自變量。收入越多消費(fèi)也越多，收入越少消費(fèi)也越少。,2020/6/8,中山大學(xué)南方學(xué)院經(jīng)濟(jì)系,38,,用數(shù)學(xué)模型表示如下：這里，C表示因變量消費(fèi)額，Y表示可支配收入。按照經(jīng)濟(jì)理論，參數(shù)系數(shù)應(yīng)該大于零，或者說消費(fèi)額與可支配收入的正相關(guān)的關(guān)系。,2020/6/8,中山大學(xué)南方學(xué)院經(jīng)濟(jì)系,39,,我們把收集到的數(shù)據(jù)做成一個散點(diǎn)圖。并用回歸方法估計出來的回歸結(jié)果如下（表3-2）:C=131.8368+0.8663*Y這個分析的結(jié)果告訴我們，當(dāng)收入等于零時，此人應(yīng)該靠借大約132元來度日；人均的消費(fèi)是收入的86.6％，也就是說，平均每掙一百元，應(yīng)該花掉八十六元六角三分錢。,2020/6/8,中山大學(xué)南方學(xué)院經(jīng)濟(jì)系,40,這樣，我們先從理論上的經(jīng)濟(jì)模型入手，再有采集的實(shí)際經(jīng)濟(jì)數(shù)據(jù)，然后用計量經(jīng)濟(jì)學(xué)的回歸分析方法估計出適合于實(shí)際數(shù)據(jù)的數(shù)學(xué)模型。當(dāng)然，我們還要對這個估計出來的數(shù)學(xué)模型進(jìn)行統(tǒng)計測試，檢驗(yàn)其估計參數(shù)的合理性和有效性。當(dāng)其估計參數(shù)被測試為合理并且有效時，我們就可以說我們的經(jīng)濟(jì)理論被實(shí)踐證明是正確的。這樣，我們也就可以用這個模型來進(jìn)行經(jīng)濟(jì)預(yù)測。,2020/6/8,中山大學(xué)南方學(xué)院經(jīng)濟(jì)系,41,,以上的例題，我們用的是一個橫截面的數(shù)據(jù)來進(jìn)行回歸分析的，同時我們也可以用時間序列數(shù)據(jù)來進(jìn)行分析，分析的方法和步驟也是一樣的。如我們分析不同年份的消費(fèi)與可支配收入的關(guān)系。,2020/6/8,中山大學(xué)南方學(xué)院經(jīng)濟(jì)系,42,第五節(jié)最小二乘法,在實(shí)際經(jīng)濟(jì)研究過程中，我們所面對的理論模型往往有幾個或者很多自變量。那么，簡單的模型就不夠用了。下面我們來簡單討論一下多變量的通用模型。當(dāng)數(shù)據(jù)中有一個因變量和K個自變量時，那么我們的回歸分析模型就應(yīng)該是：,2020/6/8,中山大學(xué)南方學(xué)院經(jīng)濟(jì)系,43,,這里，i=1,2,…,n.β是估計參數(shù)，也就是模型的系數(shù)。E是模型的誤差項(xiàng)。如果我們用矩陣的方式來表示就是：Y＝Xβ＋e如果我們用實(shí)際數(shù)據(jù)來估計一個線性模型Y＝Xβ＋e，β是這個模型中的真實(shí)的參數(shù)值。,2020/6/8,中山大學(xué)南方學(xué)院經(jīng)濟(jì)系,44,最佳估計值,當(dāng)估計值滿足以下三個條件的時候，我們求出的估計值是最佳的估計值。（1）“線性的”是指Y＝Xβ＋e這個線性模型；（2）“無偏的”是指E(β)=β。（3）“最好的”是指估計參數(shù)的方差會是最小的。只有當(dāng)這些條件都滿足了，我們的估計參數(shù)才是最優(yōu)的。,2020/6/8,中山大學(xué)南方學(xué)院經(jīng)濟(jì)系,45,