26、狀態(tài)或零常返狀態(tài)，則對
（2）若j為正常返狀態(tài)且周期為d，則
推論3.3.2： 對, 有
推論3.3.3：有限狀態(tài)的Markov鏈，不可能全為非常返狀態(tài)，也不可能有零常返狀態(tài)，從而
不可約的有限Markov鏈?zhǔn)钦７档摹?
推論3.3.4：若Markov鏈有一個零常返狀態(tài)，則必有無限個零常返狀態(tài)。
例3.3.3：設(shè)Markov鏈的狀態(tài)空間為E={1, 2 ，3，4,
27、5}，轉(zhuǎn)移矩陣為
試確定常返狀態(tài)，非常返狀態(tài)，并對常返狀態(tài)i確定其平均回轉(zhuǎn)時間。
3.3.2 平穩(wěn)分布與極限分布
定義3.3.1：對于Markov鏈，概率分布稱為平穩(wěn)分布，若
問題：為什么稱之為平穩(wěn)分布？
定義3.3.2：（1）稱Markov鏈?zhǔn)潜闅v的，如果所有狀態(tài)相通且均是周期為1的正常返狀態(tài)。
（2）對于遍歷的Markov鏈，極限 稱為Markov鏈的極限分布。
注：
定理3.3.3 對于不可約非周期的Markov鏈：
（1）若它是遍歷的，則是平穩(wěn)分布且是唯一的平穩(wěn)分布
28、。
（2）若狀態(tài)都是非常返的或全為零常返的，則平穩(wěn)分布不存在。
例3.3.4：設(shè)Markov鏈的轉(zhuǎn)移矩陣為
求極限分布。
例3.3.5：設(shè)有6個車站，車站中間的公路連接情況如下圖所示：汽車每天可以從一個車站駛向與之直接相鄰的車站，并在夜晚到達(dá)車站留宿，次日凌晨重復(fù)相同的活動。設(shè)每天凌晨汽車開往鄰近的任何一個車站都是等可能的，試說明很長時間后，各站每晚留宿的汽車比例趨于穩(wěn)定。求出這個比例以便正確地設(shè)置各站的服務(wù)規(guī)模。
29、
例3.3.6 設(shè)甲袋中有k個白球和1個黑球，乙袋中有k+1個白球，每次從兩袋中各任取一球，交換后放入對方的袋中。證明經(jīng)過n次交換后，黑球仍在甲袋中的概率滿足
例3.3.7 我國某種商品在國外的銷售情況共有連續(xù)24個季度的數(shù)據(jù)（其中1表示暢銷，2表示滯銷）：
1，1，2，1， 2，2，1，1，1，2，1，2，1，1，2，2，1，1，2，1，2，1，1，1
如果該商品銷售情況近似滿足時齊次與Markov性：
（1） 試確定銷售狀態(tài)的一步轉(zhuǎn)移概率矩陣。
（2） 如果現(xiàn)在是暢銷，試預(yù)測這之后的第四個季度的銷售狀況。
（3） 如果
30、影響銷售的所有因素不變，試預(yù)測長期的銷售狀況。
3.4 Markov鏈的應(yīng)用
群體消失模型（分枝過程）：
考慮一個能產(chǎn)生同類后代的個體組成的群體，每一個體生命結(jié)束時以概率產(chǎn)生了j個新的后代，與別的個體產(chǎn)生的后代的個數(shù)相互獨立。初始個體數(shù)以表示，稱為第零代的總數(shù)；第零代的后代構(gòu)成第一代，其總數(shù)記為，第一代的每個個體以同樣的分布產(chǎn)生第二代，……，一般地，以記第n代的總數(shù)。此Markov鏈稱為分枝過程。
假設(shè)，則有
其中表示第n-1代的第i個成員的后代的個數(shù)
31、。
考慮以下幾個問題：
（1） （2） 的意義
（3）
定理3.4.1：
3.5連續(xù)時間Markov鏈
3.5.1 連續(xù)時間Markov鏈
定義3.5.1：過程的狀態(tài)空間E為離散空間，若對一切及有成立，則稱是一個連續(xù)時間Markov鏈。
轉(zhuǎn)移概率
轉(zhuǎn)移概率矩陣
定義3.5.2：稱連續(xù)
32、時間Markov鏈?zhǔn)菚r齊的，若與s無關(guān)。簡記,相應(yīng)地記
定理3.5.1：設(shè)是連續(xù)時間Markov鏈，假定在時刻0過程剛剛到達(dá)。以記過程在離開i之前在i停留的時間，則服從指數(shù)分布。
說明：構(gòu)造連續(xù)時間Markov鏈的方法
（1）在轉(zhuǎn)移到下一個狀態(tài)之前處于狀態(tài)i的時間服從參數(shù)為的指數(shù)分布。
（2）在過程離開狀態(tài)i時，將以概率到達(dá)j，且
定義3.5.3 稱一個連續(xù)時間Markov鏈?zhǔn)钦齽t的，若以概率1在任意有限長的時間內(nèi)轉(zhuǎn)移的次數(shù)是有限的。
例3.5.1（Poisson過程）參數(shù)為
33、的Poisson過程，取值為。由第2章可知，它在任意一個狀態(tài)i停留的時間服從指數(shù)分布，并且在離開i時以概率1轉(zhuǎn)移到i+1，由Poisson過程的獨立增量性看出它在i停留的時間與狀態(tài)的轉(zhuǎn)移是獨立的，從而Poisson過程是時齊的連續(xù)時間Markov鏈。
例3.5.2（Yule過程）考察生物群體繁殖過程的模型。設(shè)群體中各個生物體的繁殖是相互獨立的，強度為的Poisson過程，并且群體中沒有死亡，此過程稱為Yule過程，此過程是一個連續(xù)時間Markov鏈。
例3.5.3（生滅過程）仍然考慮一個生物群體
34、的繁殖模型。每個個體生育后代如例3.5.2的假定，但是每個個體將以指數(shù)速率死亡，這是一個生滅過程。
例3.5.4（M/M/S排隊系統(tǒng)）顧客的來到是參數(shù)為的Poisson過程。服務(wù)人員數(shù)為s個，每個顧客接受服務(wù)的時間服從參數(shù)為的指數(shù)分布。遵循先來先服務(wù)，若服務(wù)員沒有空閑時間就排隊的原則。以記t時刻系統(tǒng)中的總?cè)藬?shù)，則是一個生滅過程（來到看作出生，離去看作死亡），來到率是服從參數(shù)為的Poisson過程，離去過程的參數(shù)會發(fā)生變化，以記系統(tǒng)中有n個顧客時的離去率，則
3.5.2 Kolmogorov微分方
35、程
定理3.5.2：時齊連續(xù)時間Markov鏈的轉(zhuǎn)移概率滿足：
（1）
（2）
（3 — 連續(xù)時間Markov鏈的C-K方程。
證明 ：
定理3.5.3
推論3.5.1：對有限狀態(tài)時齊的連續(xù)時間Markov鏈，有
注：對于無限狀態(tài)的情況，一般只能得到
定理3.5.4 kolmogorov微分方程
對一切 且，有
（1）向后方程
（2）在適當(dāng)?shù)恼齽t條件下，有向前方程
36、
例3.5.5：討論Poisson過程的微分方程及轉(zhuǎn)移概率。
例3.5.6：類似Poisson過程，給出Yule過程的轉(zhuǎn)移概率。
例3.5.7：討論生滅過程的微分方程。
第三章練習(xí)題
1、設(shè)今日有雨明日也有雨的概率為0.7，今日無雨明日有雨的概率為0.5。求星期一有雨，星期三也有雨的概率。
2、設(shè)Markov鏈的狀態(tài)空間為E={1,2,3,4,5,6}，其一步轉(zhuǎn)移概率矩陣為
試確定狀態(tài)的周期，常返性，并給此Markov鏈分類。
3、若，證明：（1） （2
37、）
4、 將兩個紅球、四個白球分別放入甲乙兩個盒子中。每次從兩個盒子中各取一球交換，以 記第n次交換后甲盒中的紅球數(shù)。
（1）試說明是一個Markov鏈并求轉(zhuǎn)移矩陣P
（2）試證明是遍歷的。
（3）求它的極限分布。
5、對于Yule過程計算群體總數(shù)從1增長到N的平均時間。
6、考慮有兩個狀態(tài)的連續(xù)時間Markov鏈，狀態(tài)為0和1，鏈在離開0到達(dá)1之前在狀態(tài)0停留的時間服從參數(shù)為的指數(shù)分布，相應(yīng)地在1停留的時間是參數(shù)為的指數(shù)變量。對此建立kolmogorov微分方程，并求其解。
38、
第四章 更新過程
4.1 更新過程的定義及若干分布
4.1.1 更新過程的定義
事件發(fā)生的時間間隔是獨立同分布的非負(fù)隨機變量，這樣得到的計數(shù)過程叫做更新過程，其數(shù)學(xué)表達(dá)式如下：
定義4.1.1：設(shè){，n=1,2,}是一列獨立同分布的非負(fù)隨機變量，分布函數(shù)為F(x)﹙設(shè)F(0)=P{X=0}≠1，記=，則0＜≤+∞﹚。令，n≥1，T=0。我們把由定義的計數(shù)過程稱為更新過程。
例子：機器零件的更換。在時刻0，安裝上一個新零件并開始運行，設(shè)此零件在T時刻損壞，馬上用一個新的來替換（假設(shè)替換不需要時間），則第二個零件在T時刻開始運行，設(shè)它在T時刻損壞，同樣馬上換
39、第三個，很自然可以認(rèn)為這些零件的使用壽命是獨立同分布的，那么到t時刻為止所更換的零件數(shù)目就構(gòu)成一個更新過程。
說明：（1）在更新過程中事件發(fā)生一次叫做一次更新，X表示第n-1次和第n次更新的間隔時間，T是第n次更新發(fā)生的時刻，N(t)就是t時刻之前發(fā)生的總的更新次數(shù)。
（2）Poisson過程是更新過程。
4.1.2 N(t)的分布及E[N(t)]的一些性質(zhì)
問題一：在有限時間[0,t]內(nèi)是否會發(fā)生無窮多次更新，即N(t)= ∞？
問題二：求N(t)的分布 P{N(t)=n}
問題三：以M(t)記E[N(t)]
40、，求M(t)（M(t)叫做更新函數(shù)）。
注：M(t)是t的不減函數(shù)，且對0≤t＜∞，M(t) ＜+∞
例4.1.1：考慮一個時間離散的更新過程{N，j=1,2}，在每個時刻獨立地做Bernoulli試驗，設(shè)成功的概率為p，失敗的概率為q=1-p。以試驗成功作為事件（更新），求此過程的更新函數(shù)M(k)。
4.2 更新方程
定義 4.2.1： 若的導(dǎo)數(shù)存在，則其導(dǎo)數(shù)稱為更新密度，記為。
由= 知 m(t)==。
其中是的密度
41、函數(shù)。
定理4.2.1：和分別滿足積分方程
其中。
定義4.2.2: (更新方程)稱如下形式的積分方程為更新方程
其中為已知，為分布函數(shù)，且當(dāng)〈0時，均為0。
定理4.2.2：設(shè)更新方程中為有界函數(shù)，則方程存在唯一的在有限區(qū)間內(nèi)有界的解
其中是的更新函數(shù)。
例4.2.1：（Wald等式）設(shè) (i=1，2)，證明：
4.3 更新定理
定理4.3.1 Feller初等更新定理
記，則。若。
42、
定義4.3.1（格點分布）：若存在，使得，則稱隨機變量服從格點分布。同時稱滿足上述條件的最大的為此格點分布的周期。
定理4.3.2 Blackwell更新定理
記
(1) 若不是格點分布，則對一切，當(dāng)時，有。
(2) 若是格點分布，周期為，則當(dāng)時，有。
定理4.3.3 關(guān)鍵更新定理
記，設(shè)函數(shù)滿足：(1)非負(fù)不增；(2) ＜。 是更新方程的解，那么
(1) 若不是格點分布，有
(2) 若是格點分布，對于，有
例4.3.1：某控
43、制器用1節(jié)電池供電，設(shè)電池壽命（=1,2,……）服從均值為45小時的正態(tài)分布，電池失效時需要去倉庫領(lǐng)取，領(lǐng)取新電池的時間（=1,2,……）服從期望為0.5小時的均勻分布。求長時間工作時，控制器更換電池的速率。
例4.3.2：設(shè)有一個單服務(wù)員銀行，顧客到達(dá)可看作速率為的Poisson分布，服務(wù)員為每一位顧客服務(wù)的時間是，服從均值為的指數(shù)分布。顧客到達(dá)門口只能在服務(wù)員空閑時才準(zhǔn)進(jìn)來。試求：
（1） 顧客進(jìn)銀行的速率.
（2） 服務(wù)員工作的時間所占營業(yè)時間的比例.
例4.3.3:考慮離
44、散時間的更新過程（n=0,1,2,……），在每個時間點獨立地做Bernoulli試驗，設(shè)試驗成功的概率為p，失敗的概率為q=1—p，以試驗成功作為更新事件，并以記此過程的更新函數(shù)，求其更新率
例4.3.4:某電話交換臺的電話呼叫次數(shù)服從平均1分鐘次的Poisson過程，通話時間，，……是相互獨立且服從同一分布的隨機變量序列，滿足E[]< ,假定通話時電話打不進(jìn)來，用表示到時刻t為止電話打進(jìn)來的次數(shù)，
試證：
例4.3.5:（剩余壽命與年齡的極限分布） 以表示時刻t
45、的剩余壽命，即從t開始到下次更新剩余的時間，為t時刻的年齡。求r(t)和的極限分布。
4.4 Lundberg—Cramer 破產(chǎn)論
設(shè)保險公司在時刻t的盈余可表示為：
， t 0
u—初始資本；c—保險費率；—第k次索賠額
—到時刻t為止發(fā)生的索賠次數(shù).
古典破產(chǎn)模型的三個假定：
假設(shè)1：{，k 1}是恒正的獨立同分布的隨機變量序列，記
，x 0；；
是參數(shù)為 的Poisson過程，并且與相互獨立。
——破產(chǎn)時
——破產(chǎn)概率
46、
假定2:：，其中> 0 ，稱為相對安全負(fù)荷.
假定3：調(diào)節(jié)系數(shù)存在唯一性假定
首先，要求個體索賠額的矩母函數(shù)
至少在包含原點的某個鄰域內(nèi)存在；
其次，要求方程 存在正解， 記為R.
定理4.4.1 若假定1~假定3成立，則有
（1）;
（2）Lundberg不等式： ,
（3）Lundberg—Cramer 近似：存在正常數(shù)C，使得
~ , . 即
47、
習(xí) 題
1、判斷下列命題是否正確：
（1） < n > t
（2） n t
（3） > n < t
2、更新過程的來到間隔……服從參數(shù)為的分布。
（1）試求的分布；
（2）對更新過程，證明當(dāng)時，有 a.s. , 其中
（3）試證 a.s.
3.設(shè)，，計算
第五章 Brown運動
5.1 基本概念
48、與性質(zhì)
定義5.1.1：隨機過程如果滿足：
（1）
（2）具有平穩(wěn)獨立增量
（3）對每個服從正態(tài)分布
則稱為Brown運動，也稱為Wiener過程。常記為或
注：如果稱之為標(biāo)準(zhǔn)Brown運動。
如果是標(biāo)準(zhǔn)Brown運動。
性質(zhì)5.1.1：Brown運動是具有下述性質(zhì)的隨機過程
（1）（正態(tài)增量）
（2）（獨立增量）獨立于過程的過去狀態(tài)
（3）（路徑的連續(xù)性）是t的連續(xù)函數(shù)
注：性質(zhì)5.1.1中沒有假定，因此稱之為始于的Brown運動。也記為。易見
例5.1.1：設(shè)是標(biāo)準(zhǔn)Brown運動，計算和
定義5.1.2：Brown運動
49、的二次變差定義為當(dāng)取遍[0,t]的分割,且時，依概率收斂意義下的極限
下面是Brown運動的路徑性質(zhì)。從時刻0到時刻T對Brown運動的一次觀察稱為Brown運動在區(qū)間[0,T]上的一個路徑。Brown運動的幾乎所有樣本路徑都具有下述性質(zhì)。
（1） 是t的連續(xù)函數(shù)
（2） 在任意區(qū)間（無論區(qū)間多么?。┥隙疾皇菃握{(diào)的
（3） 在任意點都不是可微的
（4） 在任意區(qū)間（無論區(qū)間多么小）上都是無限變差的
（5） 對任意t，在[0,t]上的二次變差等于t
5.2 Gauss過程
定義5.2.1：所謂的Gauss過程是指所有有限維分布都是多元正態(tài)分布的隨
50、機過程。
注：本節(jié)的主要目的是證明Brown運動是特殊的Gauss過程。
引理5.2.1 設(shè)是相互獨立的，則。其中均值，協(xié)方差矩陣
定理5.2.1 Brown運動是均值函數(shù)為m(t)=0,協(xié)方差函數(shù)為的Gauss過程。
例5.2.1 設(shè)是Brown運動，求B(1)+B(2)+B(3)+B(4)的分布
例5.2.2 求的分布
例5.2.3 求概率
5.3 Brown運動的幾種變化
5.3.1 Brown橋 (Brown Bridge)
定義5.3.1 設(shè)是Brown運動。令，則稱隨機過程為Brown橋。
51、 （數(shù)理金融中經(jīng)常用到的過程）
注：因為Brown運動是Gauss過程，所以Brown橋也是Gauss過程，其n維分布由均值函數(shù)和協(xié)方差函數(shù)完全確定。且對，有
5.3.2 有吸收值的Brown運動
設(shè)為Brown運動首次擊中的時刻，，令則是擊中后，永遠(yuǎn)停留在的Brown運動。
5.3.3 在原點反射的Brown運動
由定義的過程稱為在原點反射的Brown運動。它的概率分布為：
5.3.4 幾何Brown運動
由定義的過程稱為幾何Brown運動
例5.3.1 （股票期權(quán)的價值）設(shè)某人擁有某種股票的
52、交割時刻為T，交割價格為K的歐式看漲期權(quán)，即他具有在時刻T以固定的價格K購買一股這種股票的權(quán)利。假設(shè)這種股票目前的價格為y，并按照幾何Brown運動變化，我們計算擁有這個期權(quán)的平均價值。
5.3.5 有漂移的Brown運動
設(shè)B(t)是標(biāo)準(zhǔn)Brown運動，我們稱為漂移的Brown運動，其中常數(shù)稱為漂移系數(shù)。
例5.3.2 （行使股票期權(quán)）假設(shè)某人有在將來某個時刻以固定價格A購買一股股票的期權(quán)，與現(xiàn)在的市價無關(guān)。不妨取現(xiàn)在的市價為0，并假定其變化遵循有負(fù)漂移系數(shù)的Brown運動。問在什么時候行使期權(quán)？
習(xí)題：
1、設(shè)為標(biāo)準(zhǔn)Brown運動，驗證是Brown橋。
2、設(shè)為標(biāo)準(zhǔn)Brown運動，計算條件概率，問事件與是否獨立？
3、設(shè)、為相互獨立的標(biāo)準(zhǔn)Brown運動，試證是Brown運動。
55
應(yīng)用隨機過程 期末復(fù)習(xí)資料
