張德祿-多模態(tài)話語分析理論與外語教學(xué)

《張德祿-多模態(tài)話語分析理論與外語教學(xué)》由會員分享，可在線閱讀，更多相關(guān)《張德祿-多模態(tài)話語分析理論與外語教學(xué)（83頁珍藏版）》請在裝配圖網(wǎng)上搜索。

多模態(tài)話語分析 理論及在教學(xué)中的應(yīng)用,張德祿 dlzh@,1,目錄,1. 引言 2. 理論基礎(chǔ) 3. 符號資源 4. 多模態(tài)設(shè)計 5. 多模態(tài)語法 6. 模態(tài)之間的關(guān)系 7. 模態(tài)選擇及用途 8. 多模態(tài)讀寫 9. 問題與不足 10. 將來的研究,2,1.引言 多模態(tài)性在歷史上沒有受到人們的重視; 在現(xiàn)代語言學(xué)研究中：被看作非語言特征和伴隨語言特征；一種語言的輔助表達(dá)系統(tǒng)，沒有作為意義表達(dá)模態(tài)來研究。 多模態(tài)產(chǎn)生的原因： （1）是話語分析理論發(fā)展的一個歷史階段：人們發(fā)現(xiàn)話語的意義很大一部分是由非語言特征實現(xiàn)的。 （2）人類話語越來越多模態(tài)化：多媒體和網(wǎng)絡(luò)的產(chǎn)生促進(jìn)了多模態(tài)話語的研究；人類的交際過程需要聽覺、視覺、觸覺并用；在一些領(lǐng)域，交際的主模態(tài)已經(jīng)由語言轉(zhuǎn)為圖像或其它模態(tài)，網(wǎng)頁、電影、畫展等。,3,1.1 多模態(tài)話語分析研究 1.最早的研究者之一是R. Barthes，在他1977年發(fā)表的論文《圖像的修辭》（ Rhetoric of the image）中探討了圖像在表達(dá)意義上與語言的相互作用。另外幾個主要的研究者包括： 2. Kress， G. and van Leeuwen， T. (1996; 1998; 2001; 2002)研究了模態(tài)與媒體的關(guān)系，專門探討了多模態(tài)現(xiàn)象規(guī)則地表達(dá)意義的現(xiàn)象，包括視覺圖象、顏色的語法，以及報紙的版面設(shè)計和不同媒介的作用等。 3. O'Halloran， K. L. (1999a；1999b; 2000; 2003; 2004)不僅研究多模態(tài)的理論建構(gòu)，還專門研究了數(shù)學(xué)語篇中的多模態(tài)現(xiàn)象。 5. Royce， T. (1998a; 1998b; 2002)研究了不同符號在多模態(tài)話語中的互補(bǔ)性，以及在第二語言課堂教學(xué)中多模態(tài)的協(xié)同性等。 還有其他許多研究者：Jewitt 2008；New London Group (1996)；Lemke, J. (2002)；Bednarek & Martin （2010）。,4,1.2 模態(tài)與媒體（Mode vs medium） 模態(tài)（modality）來自于mode/model(方式、模式），表示可對比和對立的符號系統(tǒng)； 媒體是符號分布印跡的物質(zhì)手段，如產(chǎn)生語篇采用印刷的或手寫的手段，說話時發(fā)出的聲音，身體的動作，或計算機(jī)顯示器上的光脈沖( Scollon & Levine 2004) 。 我們感受客觀世界的視覺、聽覺、觸覺、味覺、嗅覺是不同的感知模態(tài)，但眼、耳、手、舌、鼻則是媒體。 這樣，模態(tài)是用某種媒體表達(dá)信息的特殊方式。媒體是表達(dá)信息的物理工具。,5,1.3 單模態(tài) (monomodality) vs 多模態(tài) (multimodality 單模態(tài)是只通過一種模態(tài)進(jìn)行交際活動的現(xiàn)象，如說話、聽錄音、讀書。前者為通過聽覺模態(tài)；后者為通過視覺模態(tài)。 多模態(tài)表達(dá)可以分解為同時表達(dá)意義的兩個或兩個以上的單模態(tài)(Bernsen 2002) 。我們每天在看報紙、雜志、廣告、招貼畫、故事書、教科書、活頁文選、百科全書、說明書、計算機(jī)界面時，甚至在我們相互交往時都離不開多模態(tài)。我們談話時手舞足蹈，有聲有色，也意味著使用了多模態(tài)。 多模態(tài)話語：運用聽覺、視覺、觸覺等多種感覺，通過語言、圖像、聲音、動作等多種手段和符號資源進(jìn)行交際的現(xiàn)象。,6,2. 理論基礎(chǔ),多模態(tài)話語分析理論的基礎(chǔ)是社會符號學(xué) 索緒爾：能指（signifier)----所指(signified)。只研究個體符號的特性；只研究“Langue”，不研究“parole”。 皮爾斯發(fā)展了符號范疇：圖標(biāo)、索引和語符。他論述的媒介、對象、解釋三位一體的三角關(guān)系。 韓禮德提出了“語言是社會符號”的理論。社會符號學(xué)優(yōu)先研究的是把所指行為作為實例，并把社會的所指實踐作為經(jīng)常的、可重復(fù)的、可識辨的類型。社會有意義的實踐構(gòu)成各種文化(社會符號系統(tǒng)) 。符號系統(tǒng)是對這些實踐的抽象(如從言語得到語言符號) 。 Saussure → Langue Parole ← Halliday Pierce,7,社會符號學(xué)沒有必要區(qū)分理論符號學(xué)和應(yīng)用符號學(xué)，它與話語分析、多媒體分析、教育研究、文化人類學(xué)、政治社會學(xué)有更緊密的關(guān)系。 再者，它也回答了索緒爾符號學(xué)所難以擺脫的一個悖論：這個理論一方面把語言看作是靜態(tài)的不變的，另一方面又不得不承認(rèn)“所指的變化導(dǎo)致概念的變化”，“思想可能被迫接受符號的物質(zhì)狀態(tài)給它提供的特殊方式” (Lemke 2005) 。這說明語言結(jié)構(gòu)底層的常規(guī)是不固定的，而是受到實際言語的影響。(Beaugrande 1991: 2 - 27)。 社會符號學(xué)把語言看作眾多符號之一，各種符號系統(tǒng)都能夠用以社會交際，體現(xiàn)講話者的意義。這樣，交際就是多模態(tài)的了。,8,3.符號資源,符號系統(tǒng)實際上是符號資源( semiotic resource)系統(tǒng)，人們通過可識別的、多半是習(xí)慣性的(有時是原創(chuàng)的)方法從這些資源中選擇，就可以進(jìn)行有意義的活動(Lemke 1993) 。 所謂習(xí)慣性的方法指可確認(rèn)的符號架構(gòu)( semiotic formations) ，是一個社團(tuán)中的成員同時采用一些符號資源形成的經(jīng)常的、可重復(fù)的、可識別的、有意義的、文化的和歷史的特殊符號類型。如某一時期的文學(xué)語類是符號架構(gòu)。同樣，建筑風(fēng)格、房子類型、宗教儀式、特定節(jié)日、飲食、衣著的特定樣式都可以定義為可行動的有規(guī)律的范式，對社會是有意義的實踐的范式。,9,Kress(2001)認(rèn)為，所有的模態(tài)(視覺的、姿態(tài)的、動作的) ，像語言一樣，在社會使用過程中共同形成社會資源的模態(tài)(Halliday 1985, Kress 1997) 。 傳統(tǒng)上書寫和口語的模態(tài)強(qiáng)調(diào)語言方面，而把其他資源，如姿勢、語音音律、注視、動作等看作是“副語言的”，不把這些看作是能與語言同時作用的完整的符號資源。多模態(tài)話語分析把它們提高到相同的層面。,10,媒體資源的分類 （1） 語言與非語言 張德祿（2009）對媒體的類別根據(jù)是否語言和是否身體的對外語教學(xué)中的媒體系統(tǒng)做了歸類： 非語言媒體 表達(dá)意義的非語言媒體包括交際者的肢體動作和交際者在意義表達(dá)中所使用的非語言手段，如工具、環(huán)境等。,11,肢體媒體： (1) 與頭部有關(guān)的動作，包括眼神、擠眼、凝視、搖頭、點頭、仰頭、低頭、歡喜的表情、傷心的表情、嫉恨的表情、凝重的表情、大笑、呲牙咧嘴以及鼻子和耳朵的動作形成的媒體符號等。 (2) 由手臂和腿形成的媒體符號，包括手勢，手臂的狀態(tài)、形成的形狀、搖動等，腿的并立、踢跳、彎伸等。 (3) 軀干的動作，如姿勢、移動、搖擺、模擬等。,12,非肢體媒體 主要包括工具和環(huán)境兩個方面。 隨著現(xiàn)代科學(xué)技術(shù)的發(fā)展，交際者肢體以外的交際媒體變得十分發(fā)達(dá)。從起初的音響設(shè)備到現(xiàn)在的網(wǎng)絡(luò)平臺、同聲傳譯室等都是工具性媒體。 除此之外，交際者還可以利用環(huán)境中已有的所有符號系統(tǒng)來進(jìn)行交際，包括現(xiàn)場環(huán)境中的人和物、有象征意義的符號等(見圖1。),13,語言媒體 從傳統(tǒng)的語言學(xué)研究的角度講，實現(xiàn)意義傳播的媒體形式主要有兩種：聲波傳導(dǎo)的聲音符號和由筆等生成的書寫符號。這兩種媒體是語言傳播信息的主要媒介。但隨著信息技術(shù)的不斷發(fā)展，其他技術(shù)開始用于語言信息的傳播，如計算機(jī)文字輸入、計算機(jī)語音識別等，但最后的傳播媒體仍然是聲音或者字符。 伴語言媒體 對語言意義的傳遞起到輔助、補(bǔ)充和強(qiáng)化的作用，包括音響、聲音的大小、音調(diào)、聲音的頻率、口音、語氣、以及字體形狀、大小、空間的布局等。這些伴隨語言的媒體特征對意義整體的表達(dá)起著十分重要的作用，有時是關(guān)鍵作用，因為它可以引起整體意義的改變，如用聲調(diào)表達(dá)態(tài)度。,14,15,（2） 靜態(tài)與動態(tài) Thibault(2004)對符號資源的研究比較具體。他從身體動力學(xué)的研究區(qū)分動態(tài)的和靜態(tài)的: (1)靜態(tài)的表達(dá)媒體,如文字、圖片、表格、繪畫等。 (2)動態(tài)的研究指面對面的互動、動畫、電影、使用錄像機(jī)等。,16,（3） 兩個層次與三個層次 根據(jù)系統(tǒng)的復(fù)雜性，媒體系統(tǒng)可以分為兩個層次的和三個層次的。 兩個層次的符號系統(tǒng)比較簡單，是符號的能指和所指可一一對應(yīng)，不通過詞匯語法的系統(tǒng)，例如：交通信號系統(tǒng)是兩個層次的符號系統(tǒng)： 語言是三個層次的符號系統(tǒng)。,17,（ 4）. 維度 媒體的維度是一個重要的區(qū)分條件，因為維度之間的區(qū)別很重要，可以直接影響對符號的識別難度。媒體的維度現(xiàn)在一般還是局限在四個之內(nèi)： 一維的是線性的：口語和書面語； 二維的是平面的：平面圖畫； 三維的是立體的：立體圖形； 四維的是動態(tài)的，是可移動的三維符號系統(tǒng)，如電影、動畫等。,18,4. 設(shè)計,設(shè)計是制造語篇和識讀語篇的過程。 書面語占統(tǒng)治地位的設(shè)計：寫作的邏輯曾經(jīng)塑造了頁面的順序和書本。 新媒體時代的設(shè)計：當(dāng)今占統(tǒng)治地位的媒體是屏幕，不管是游戲機(jī)、移動電話、個人電腦或者電視和錄像。因此現(xiàn)在屏幕的邏輯正在塑造新的順序和對屏幕的安排。雖然文字寫作可以出現(xiàn)在屏幕上，但它從屬于圖像，如同過去圖像可出現(xiàn)于書本上，但從屬于文字寫作。因此圖像將越來越塑造寫作的出現(xiàn)和用途，這一過程已在公眾信息傳遞的事例中出現(xiàn)。 過去，作者的形象和寫作的方式占統(tǒng)治地位；在新的屏幕設(shè)計中，設(shè)計者和圖像的模式占統(tǒng)治地位。(Kress 2004)。,19,Kress (2004)重視設(shè)計者的作用。所有符號資源都具有社會意義，屬于特定文化。多模態(tài)符號(詞語、文字、信件、色彩、字體)的復(fù)雜信息反映了設(shè)計者的盡量選用多種符號表達(dá)意義的意愿。 設(shè)計者根據(jù)符號特殊的修辭目的，用盡各種手段來勸誘那些有機(jī)遇接觸該信息的人們。頁面/網(wǎng)址的設(shè)計者不再是權(quán)威性語篇的“作者”，但他是材料的提供者，按照想象中讀者的所謂特點進(jìn)行安排。 設(shè)計者的作用是將材料集中，加工為訪問者可提取的“信息”。屏幕設(shè)計要考慮訪問者的興趣。對訪問者來說,“信息是個體選擇的材料，經(jīng)他們轉(zhuǎn)換，成為可以解決有生世界問題的知識”。,20,設(shè)計是在一定語境下進(jìn)行的。在多模態(tài)信息傳遞中，關(guān)鍵是選擇相應(yīng)的設(shè)計。如果表達(dá)和塑造信息時有多種方法，有待回答的問題是： 就要傳遞的內(nèi)容或意義來說，哪一種模態(tài)最好? 哪一種模態(tài)在塑造所傳播信息時最能符合設(shè)計者的興趣? 設(shè)計者的聽眾或他自己最喜愛哪一種媒體? 在選擇某個媒體或模態(tài)而不是其他時，設(shè)計者對自己的定位? 所有這些都需要作出抉擇。,21,根據(jù)新倫敦小組(New London Group 2000)的觀點，任何制造意義的過程基本上都是設(shè)計行為。一般有三個部分: 第一,已有資源：根據(jù)“可利用的設(shè)計”，擇取某些符號資源和常規(guī)，如話語形式、語類和方言。 第二,設(shè)計過程,：包括將符號資源轉(zhuǎn)變成自己的聲音，將老材料作新用途等。根據(jù)這一觀點，讀和聽、寫和說是進(jìn)行設(shè)計的實例，因為每個人都可利用可利用的設(shè)計來產(chǎn)生意義，根據(jù)各自的興趣和個人經(jīng)驗，將所讀到和聽到的材料轉(zhuǎn)化成意義。,22,第三, “重新設(shè)計”：由設(shè)計過程產(chǎn)生的資源或重新產(chǎn)生的意義，又可成為一種新的可利用的設(shè)計，具有制造意義潛力的新的資源。 這樣，設(shè)計的觀點不僅應(yīng)用于原創(chuàng)性活動，更應(yīng)當(dāng)看作是日常經(jīng)歷的核心部分，因而這是教育過程中應(yīng)當(dāng)強(qiáng)調(diào)的重要成分。(Williamson 2005)。,23,5. 語法,在多模態(tài)話語選擇中最關(guān)鍵的因素是如何使不同模態(tài)的相互配合來獲得最佳交際效果，而這種模態(tài)之間的配合主要是在形式層面，特別是語法層面表現(xiàn)出來的。 根據(jù)系統(tǒng)功能語言學(xué)理論（Halliday, 1973; 1985），語言要同時體現(xiàn)三種元功能——概念功能、人際功能、謀篇功能。 那么，從多模態(tài)話語的角度講，除了語言之外，其他符號系統(tǒng)也同樣是實現(xiàn)三個元功能的系統(tǒng)，如Kress and van Leeuwen (1996) 和 O'Toole (1994) 把多元功能的思想延伸到圖像上，提出視覺語法的概念；O'Toole (1994) 則提出了一個以多元功能分析為基礎(chǔ)的，用于分析圖畫的模式。,24,例如，Kress and van Leeuwen (1996)建立了一個圖像分析的社會符號學(xué)框架。 模擬系統(tǒng)功能語言學(xué)中的功能語法的及物性系統(tǒng)，他們把把圖像的語法系統(tǒng)分為敘事類和概念類。在敘事類中，有行動過程、反應(yīng)過程和心理與話語過程。行動過程表示圖像所表現(xiàn)的動作和行為，由動作者和一個矢量，再加情景成分組成。,25,26,The dentist is examining the patient’s teeth.,,,,反應(yīng)過程也是由矢量組成的，是一個或多個圖像中的參與者的目光的方向構(gòu)成的。心理和言語過程是矢量由話語和思維形成的，在圖像中通常由言語泡或思維泡組成。,27,這樣話語的敘事表現(xiàn)可以由下圖表示：,28,圖像的概念類過程實際上表達(dá)語言的關(guān)系過程的主要內(nèi)容，分為分類過程、分析過程和象征過程。 分類過程表示一組相似的參與者，個體特征、距離和等級相同，溝通從屬于一個更高層次的參與者，它可以是顯性的，也可以是隱性的。 分析過程實際上表示整體部分，即整體可以分析為部分。其關(guān)系是整體部分關(guān)系。另外，他們還區(qū)分了窮盡的和包含的，類型學(xué)和拓?fù)鋵W(xué)的分析過程。 象征過程表示參與者是什么或者意味著什么。它可以有兩個參與者，一個是承載者，另一個表示其意義或者身份，是象征屬性。,29,30,31,與此同時，他們還討論了體現(xiàn)人際意義的特征，包括距離、接觸、視點和情態(tài)等。 從這個角度講，我們有兩個問題需要考慮： 一是每個符號系統(tǒng)的語法如何確定？ 二是各個符號系統(tǒng)的語法如何相互協(xié)作來共同實現(xiàn)三個元功能？,32,6.多模態(tài)話語的形式及其關(guān)系,6.1 多模態(tài)話語的形式 媒體只有通過形式層面的組織和模式化才具有直接表達(dá)意義的能力。 形式對媒介進(jìn)行組織有兩種手段：一是直接賦予某個媒介符號某種意義。由這種符號組成的符號系統(tǒng)通常沒有能產(chǎn)性、沒有任意性； 二是把一定的媒介符號進(jìn)行組合，然后賦予這種組合一定的意義，這就是語法的作用。由這種符號和符號組成規(guī)則形成的符號系統(tǒng)具有任意性、能產(chǎn)性、雙分性，由三個層次的代碼組成（媒介、形式（詞匯語法）和意義）。語言屬于這一類。 語言：詞匯—語法 圖像：圖符—圖形語法 音響：音符—聲響語法 接觸：實體--感觸語法,33,6.2 多模態(tài)話語形式之間的關(guān)系 運用多模態(tài)的理由：一種模態(tài)不足以表達(dá)清楚交際者的意義，從而利用另一者來強(qiáng)化、補(bǔ)充、調(diào)節(jié)、協(xié)同，達(dá)到更加充分，或者盡量充分表達(dá)意義，讓聽話者理解話語的目的。 關(guān)系：互補(bǔ) vs 非互補(bǔ) 互補(bǔ)：強(qiáng)化（突出、主次、擴(kuò)充） vs 非強(qiáng)化（交叉、聯(lián)合、協(xié)調(diào)） 非互補(bǔ)：交疊（冗余、排斥、抵消）vs 內(nèi)包（部分、具體）vs 語境交互（獨立vs 依賴）,34,35,借用韓禮德的功能語法研究中的邏輯語義關(guān)系，來表示不同模態(tài)之間的關(guān)系： 說明 詳述 例證 擴(kuò)展 延伸 時間 邏輯語義 增強(qiáng) 空間 關(guān)系 因果 話語 投射 思想 邏輯語義關(guān)系（Martinec & Salway, 2005).,36,7.外語教學(xué)中的模態(tài)選擇,7.1 模態(tài)選擇程序 對多模態(tài)話語理論框架進(jìn)行選擇的基本程序是： 意義選擇：在文化語境中，受意識形態(tài)的支配和體裁系統(tǒng)的制約，根據(jù)具體的情景語境，選擇要表達(dá)的意義，包括概念意義、人際意義和謀篇意義； 意義體現(xiàn)：所選擇的意義要以合適的模態(tài)表達(dá)出來：即時的—口語；安靜的—手勢； 同樣，對多模態(tài)的選擇也是受語境的制約的：噪音—聲音+手勢。,37,不同模態(tài)之間的相互配合問題：語義表達(dá)的需要；交際的需要。我們在選擇中所要考慮的關(guān)鍵因素是在一定的情景中，如何選擇合適模態(tài)來有效地表達(dá)所要傳達(dá)的意義。 模態(tài)與媒體基本上是形式和實體的關(guān)系。模態(tài)語法確定選擇什么樣的媒體。如視覺語法確定不同視覺媒體之間的相互配合。例如，課堂教學(xué)：熟悉的事物：語言講解；不熟悉的事物：講解 + 實物 （圖像等）。,38,7.2 模態(tài)選擇的動因 總體原則：充分利用現(xiàn)代媒體技術(shù)，最大限度地充分表達(dá)講話者的意義，取得最佳效果，為更好地利用現(xiàn)代技術(shù)提供一個合適的理論框架。 基本思路：人類交際中意義的體現(xiàn)具有多模態(tài)特點：在形式層面涉及不同模態(tài)的詞匯語法系統(tǒng)之間的關(guān)系；形式層面由媒體來體現(xiàn)?，F(xiàn)代媒體技術(shù)都主要是在媒體層面，所以充分利用好現(xiàn)代媒體技術(shù)是重要的研究課題。 在多模態(tài)話語交際框架下，對模態(tài)的選擇可以從三個角度進(jìn)行： （1）為外語教學(xué)提供教學(xué)情景和便利條件（工具）； （2）為外語教學(xué)提供輔助條件（助手）； （3）為多模態(tài)話語交際提供多通道話語意義表達(dá)方式（補(bǔ)充）。,39,7.2.1 作為工具 多媒體技術(shù)的發(fā)展實際上為提供盡可能真實的語境的提供了便利條件，可以提供圖像、錄像、聲音，作為學(xué)習(xí)的實際環(huán)境。利用從真實交際場合中得到的錄像材料作為： （1）學(xué)習(xí)材料，讓學(xué)生了解和認(rèn)識真實語境的實際情況，使獲得的語境知識更加具體； （2）背景信息，讓學(xué)生與錄像中的交際者在錄像提供的語境中進(jìn)行交際。 發(fā)展現(xiàn)代多媒體技術(shù)的一個最基本的理念是多模態(tài)交際可以使受話人通過多通道獲得信息，比單模態(tài)話語更容易使受話者理解和記憶。 如 PPT: 文字、語音、圖形、圖像、錄像：視覺和聽覺,40,7.2.2. 作為助手 為教師提供條件，使他的工作容易進(jìn)行；現(xiàn)代技術(shù)還可以從內(nèi)部提供動力，使教師和學(xué)生從內(nèi)心愿意從事這種活動，把外因轉(zhuǎn)化為內(nèi)因。 第一，特殊的東西、大的東西、顏色艷麗或者濃的東西更能吸引人們的注意力，這就是突出，把事物前景化。例如，在教學(xué)中在PPT畫面上用藝術(shù)體、黑體、大體字，可以使文字突出；在文字中加上圖片可以更能引起學(xué)生的注意等。 第二，美麗的東西、怪誕的東西、幽默的東西更能引起人們的興趣，提高學(xué)生的參與度，所以，在教學(xué)中，用現(xiàn)代技術(shù)提供美麗的圖片，幽默的簡筆畫，美麗的環(huán)境介紹可以使學(xué)生積極參與，注意力集中。 第三，有挑戰(zhàn)性的環(huán)境，或?qū)沟沫h(huán)境，或者幽默的環(huán)境，可以激發(fā)人們參與的熱情，如提供一些有一定難度的破解題，謎題；描述一個對抗的語境；或者提供一項交際任務(wù)等。,41,7.2.3. 作為補(bǔ)充 模態(tài)的選擇要以增加正效應(yīng)為原則，具體可以包括：互相強(qiáng)化、互相協(xié)調(diào)、前景背景、整體部分（抽象具體）等關(guān)系。 1. 強(qiáng)化關(guān)系 用PPT顯示句子“Peter was killed in a traffic accident”， 并可同時讀出這個句子，在PPT畫面上配上皮特發(fā)生車禍的照片，或者放一段發(fā)生車禍的錄像片，配上發(fā)生車禍?zhǔn)堑穆曇舻取?2. 協(xié)調(diào)關(guān)系 協(xié)調(diào)關(guān)系是利用多模態(tài)之間的協(xié)調(diào)性，就是還原人類社會交際的本來面目，即由一種媒體不能獨自完成的交際任務(wù)可以由其他媒體來補(bǔ)充。例如，在講包括下面一個對話的故事時，如果沒有圖畫，我們會不知所云： [1] Big Nutbrown Hare， “I love you as high as I can reach.” Little Nutbrown Hare， “That is quite high. I wish I had arms like that.” 但是如果我們配上圖畫就很容易了，而且還很幽默。,42,43,3. 前景背景關(guān)系 第三種選擇多模態(tài)教學(xué)的依據(jù)是語言交際中的前景和背景的關(guān)系。在外語教學(xué)中，語言交際顯然都是處在前景中，由其他模態(tài)提供背景。例如，在戲劇的開始，首先出現(xiàn)一個布景，提供事件發(fā)生的時間、地點、環(huán)境，還可以包括人物等。 4. 整體部分（抽象具體）關(guān)系 在多媒體時代，教師可以通過選擇合適的媒體來提供具體的信息，從而使學(xué)生能更清楚地理解所教的內(nèi)容。例如，當(dāng)你教授一種新奇的動物或者植物時，你一般首先提供名稱，然后做些簡單的講解。學(xué)生仍然不知所云。但如果提供一個照片，如果條件允許的話，提供一段有關(guān)這種動物或者植物的錄像，會使學(xué)生一目了然。,44,7.3.4 多模態(tài)選擇的目標(biāo) 從經(jīng)濟(jì)的角度講，使用單模態(tài)要比用多模態(tài)要簡單、省力，所以使用多模態(tài)進(jìn)行交際必然要有一定的理由，組成這些理由的最主要因素是使用多模態(tài)的所要取得的效果或者目標(biāo)；形成多模態(tài)選擇的動因可以總結(jié)為一下幾個方面：,45,1. 補(bǔ)缺，一種模態(tài)不足以表達(dá)意義，或不能使聽話者理解意義，用另一種來補(bǔ)充剩余的意義，即一種模態(tài)只能體現(xiàn)要表達(dá)的部分意義，另一部分需要通過另一種模態(tài)來體現(xiàn)，例如：在較遠(yuǎn)的距離內(nèi)或者噪雜的環(huán)境中喊叫某個人時同時打手勢；在幽默圖畫中只提供語境依賴性強(qiáng)的書面話語，或者在錄像中提供同類口頭話語。圖畫沒有文字則不能把整體意義表達(dá)出來；同樣錄像沒有口頭話語也會使看者一頭霧水。 2. 強(qiáng)化，一種模態(tài)表達(dá)整體意義，另一種來突出部分意義，例如：（重音、黑體、前景圖像、彩色等） 目的：使重點意義突出。,46,3. 吸引注意力，一種模態(tài)表達(dá)基本的意義，另一種來更加具體和形象地重現(xiàn)這種意義；例如，用文字標(biāo)出某個動物或者植物的名稱，用圖像把這種動物或者植物的典型形式表現(xiàn)出來；用語言藝術(shù)、圖像、動作來幽默的表達(dá)意義，吸引聽話者的注意力等； 形象 幽默 激發(fā)興趣 目的：使讀者或聽話者把注意力轉(zhuǎn)移到話語交際上來。,47,4.抒發(fā)情感，用一種模態(tài)來表達(dá)基本的概念意義，用另一種模態(tài)來表達(dá)人際意義，包括態(tài)度、情感、目的等，例如：在用文字描述游行事件的同時，用照片再現(xiàn)當(dāng)時的場景，用一定的角度和方式把警察表現(xiàn)為邪惡的人，或者用相同的方法把他們表現(xiàn)為英雄，都屬于這一類。 喜愛 憎恨 目的：力圖左右聽話者或者讀者的態(tài)度和價值觀等，使其轉(zhuǎn)向有利于自己的觀點和態(tài)度。,48,5. 易理解，一種模態(tài)表達(dá)比較抽象、概括、偏僻、難度特別大、深奧道理或者結(jié)論等，用另一種模態(tài)來提供其實例、說明、關(guān)系等使理解更加容易。例如，在談?wù)擙垥r，在中國人頭腦中出現(xiàn)的形象是中國雄偉榮耀的、代表皇帝的龍。即使說的是西方的龍，如果不加說明，也是如此；用文字說明則需要很多的話語，但用圖形方式表現(xiàn)出來則十分容易理解，因為根據(jù)形象本身我們就可以發(fā)現(xiàn)，西方的龍是邪惡的化身。這類多模態(tài)的用途還包括用表格表示數(shù)量和關(guān)系、用簡化圖表示理論框架、用流程圖表示進(jìn)程等。 具體化、形象化、圖形化、關(guān)系化 目的：使所交流的信息易于被聽話者理解和接受，避免模糊和不確定性理解。,49,8. 多模態(tài)讀寫 （多元識作）,多模態(tài)讀寫(Multiliteracy)指具有閱讀可接觸到的所有媒體和模態(tài)的信息，并能據(jù)此產(chǎn)生相應(yīng)的材料，如閱讀互聯(lián)網(wǎng)或互動的多媒體的能力。 傳統(tǒng)的以讀寫為主的讀寫能力在多媒體時代已不夠用。 其次，在教育中，教室里不斷增加使用多種媒體，如圖像操作軟件、電子音樂、科學(xué)模擬、存在于計算機(jī)上的虛擬劇場等。多模態(tài)化和多元符號學(xué)試圖把這些信遞形式理論化，探討各種圖像、詞語和動作的模態(tài)如何互相依賴，以產(chǎn)生整體意義(Williamson 2005) 。,50,重要的是有時一種模態(tài)需要依賴其他模態(tài)來完成信遞行為，如沒有口述的詞語說明，圖表會一無意義；沒有模型課件，教師用手做的節(jié)奏性動作也就沒有意義；因而每一種模態(tài)，作為符號資源，對所做的表達(dá)都有貢獻(xiàn)。 學(xué)生的任務(wù)是將教師的各模式和符號資源轉(zhuǎn)變?yōu)槔斫狻?51,多模態(tài)讀寫是多元讀寫能力（Multiliteracies）的主要組成部分；多元讀寫能力也包括多元模態(tài)讀寫能力。 在全球化的今天，多元讀寫能力用來描寫語言和文化的多樣性和對變異的尊重。雖然多元文化概念擴(kuò)展了對知識的看法，它也加大了能接觸不同“讀寫方法”和不能接觸這些讀寫方法的識讀者之間的鴻溝。 這樣，讀寫能力有兩層意思，文化讀寫能力和技術(shù)讀寫能力，后者就是多模態(tài)讀寫能力。,52,8.1多元讀寫能力的類型 Thwaites(1999)提出了六種主要的多元讀寫能力，分別是： 1.科技讀寫能力：在多模態(tài)話語時代，許多模態(tài)是由科技手段實現(xiàn)的，如網(wǎng)絡(luò)、計算機(jī)、PPT等。所以，提高多元讀寫能力需要學(xué)生學(xué)好學(xué)習(xí)現(xiàn)代科技知識，掌握現(xiàn)代技術(shù)設(shè)備的使用和操作。 2.模態(tài)讀寫能力：學(xué)習(xí)了解有哪些媒體可以用作交際的手段，各自可實現(xiàn)什么模態(tài)，以及這些模態(tài)之間在體現(xiàn)語篇的整體意義中的關(guān)系。 3. 文化讀寫能力：文化讀寫能力是多元讀寫能力中最關(guān)鍵的能力，它包括相關(guān)的業(yè)務(wù)知識、有關(guān)社會的基本知識，相關(guān)的道德標(biāo)準(zhǔn)和原則等。,53,4. 政治讀寫能力：政治讀寫能力包括有成熟的政治立場和覺悟，掌握有關(guān)政治的知識，對政治的敏感度，以及對政治現(xiàn)象的解讀能力。 5. 批評讀寫能力：多元讀寫能力的重要組成部分之一是對選擇的模態(tài)和表達(dá)的意義有批評能力。學(xué)生不僅要學(xué)會相關(guān)的知識，還必須要有自己的觀點。 6.后現(xiàn)代讀寫能力( postmodern literacy) (Thwaites, 1999)：后現(xiàn)代主義推崇解構(gòu)主義，強(qiáng)調(diào)變異性、獨特性、異質(zhì)性和多元化，反對以規(guī)范和定律來認(rèn)識事物。這和多模態(tài)交際的出現(xiàn)是一致的。,54,8.2 多元讀寫能力的培養(yǎng) 除了學(xué)生要主動學(xué)習(xí)之外，再一個關(guān)鍵因素是老師在學(xué)生的多元讀寫能力的發(fā)展方面的作用。新倫敦小組（the New London Group, 1996）提出了以下四個方面的教學(xué)方式：實景實踐、明確指導(dǎo)、批評性解讀、轉(zhuǎn)化的實踐。 已有的建立在語境、交際、知識、形式、功能、認(rèn)知等基礎(chǔ)上的教學(xué)方法很多，那么為什么新倫敦小組會提出這些方面呢？這四者之間是什么關(guān)系呢？按照新倫敦小組的觀點（1996），它們之間沒有先后關(guān)系，或者存在復(fù)雜的關(guān)系，難以以一種模式來固定的。 實際上，這四個方面是任何學(xué)習(xí)都涉及的過程，只是在以前的教學(xué)方法中，每個方法通常只強(qiáng)調(diào)其中一個方面，而忽略其他。例如，語法翻譯法等強(qiáng)調(diào)知識學(xué)習(xí)的重要性，把一切看作知識，而忽視了實踐能力；而交際教學(xué)法、情景教學(xué)法、任務(wù)教學(xué)法等則強(qiáng)調(diào)實踐的重要性，而忽視其他；反思教學(xué)法強(qiáng)調(diào)反思的作用。,55,(1) 實景實踐 實景實踐的關(guān)鍵因素是完全投入到實踐的交際過程中，以學(xué)習(xí)者已經(jīng)有的經(jīng)歷和已經(jīng)掌握的知識為基礎(chǔ)來發(fā)展某些基本技能或者獲取某些知識，這個過程也需要把學(xué)習(xí)者的文化或次文化態(tài)度考慮在內(nèi)，而不是把學(xué)習(xí)者當(dāng)作訓(xùn)練的對象。這是個設(shè)計過程。 學(xué)生需要運用一系列話語來浸入實際的訓(xùn)練中，也就是說，學(xué)生需要進(jìn)行真正的社會實踐來學(xué)習(xí)。在這個過程中，可以有教師的指導(dǎo)。新倫敦小組所推崇的實踐教學(xué)方法是浸入法，即學(xué)生需要完全進(jìn)入實際社會交際中來提高多元讀寫能力，所以，交際教學(xué)法、任務(wù)教學(xué)法、商談教學(xué)法都是直接用語言及相關(guān)模態(tài)進(jìn)行交際的，可以在多模態(tài)教學(xué)中發(fā)揮作用。,56,實景實踐說起來容易，但做起來難。在三個方面需要在這個基礎(chǔ)上向外延伸。 第一、多元讀寫能力包括多種能力，在實踐中同時學(xué)習(xí)這些能力很難； 第二、在多模態(tài)話語時代，要學(xué)習(xí)符號資源不僅是語言，而且是很多其他模態(tài)。新倫敦小組（1996）把它們總結(jié)為以下類別： （1）語言類：語言表達(dá)、詞匯和隱喻、情態(tài)、及物性、過程的正規(guī)化、信息結(jié)構(gòu)、局部連貫關(guān)系、宏觀連貫關(guān)系； （2）視覺類：顏色、視角、前景化與背景化等； （3）身勢類：行為、身體動作、手勢、感覺、情感、身勢語、空間關(guān)系等； （4）空間類：生態(tài)系統(tǒng)、地理位置、建筑系統(tǒng)等； （5）聲音類：音樂、聲響等。,57,這么多類別的模態(tài)系統(tǒng)同時學(xué)習(xí)難度很大； 第三、可以進(jìn)行浸入式學(xué)習(xí)的環(huán)境更是有限，不僅是受時空的影響，而且受到科技等多種條件的影響。 所以，從這個角度講，真正的浸入式教學(xué)和學(xué)習(xí)是很少見的，因為給教學(xué)可提供的環(huán)境和條件是很難達(dá)到的。這樣，我們可以從兩個方面來克服這個問題。 一是減少需要學(xué)習(xí)的模態(tài)類型； 二是為浸入式教學(xué)提供可替代的教學(xué)模式。,58,1：篩選要求學(xué)生學(xué)習(xí)的模態(tài)和模態(tài)組合，去掉哪些對有意識交際意義不大的模態(tài)或者模態(tài)組合： （1）剔除無意識模態(tài)：在交際過程中，為了使交際成功，要選擇適合完成交際任務(wù)的模態(tài)，如在外語教學(xué)中，教學(xué)的首選模態(tài)一般是口語話語，同時，為了增強(qiáng)效果，也同時選擇黑板板書，或PPT上的圖像、動畫、彩色文字等。而老師在交際中的手勢、面部表情、動作等則是無意識產(chǎn)生的。對于這類模態(tài)，雖然在交際中是其作用的，但不必要進(jìn)行精心設(shè)計。 （2）淡化輔助性模態(tài)：在眾多交際模態(tài)中，有些起主要作用，為主模態(tài)，如教學(xué)中的口語，讀書中書面語；有些模態(tài)只是起輔助作用，用以增強(qiáng)效果，如身體的動作、PPT上顯示的文字、圖畫、動畫等。對于輔助性模態(tài)要利用好，使其產(chǎn)生增效作用，而避免無效模態(tài)和低效模態(tài)。,59,2. 用科技手段提高模擬實踐環(huán)節(jié)，如錄像、實景學(xué)習(xí)軟件等。也就是說，如果找不到合適的主模態(tài)，則需要尋找相近的、等效的或者近效的模態(tài)來替代它，以求盡量產(chǎn)生好的效果。 （1）用空間布局提供合適的實踐環(huán)境，如在教室里布置合適的環(huán)境，讓學(xué)生在假設(shè)的環(huán)境中進(jìn)行實踐活動；在教室中布置合適的桌椅布局，創(chuàng)造適合于辯論、協(xié)商、交談的環(huán)境； （2）用圖像、動畫等創(chuàng)設(shè)接近于真實語境的環(huán)境，使學(xué)生感覺在真實的語境中交際；編撰合適軟件，把真實的語境置入軟件中，在真實環(huán)境中創(chuàng)造交際環(huán)境，讓學(xué)生參與到實際交際中去等。,60,(2) 明確指導(dǎo) 明確指導(dǎo)也是一個設(shè)計過程，其主要目的是發(fā)展學(xué)生的已有資源（已有設(shè)計資源）。 明確指導(dǎo)的目標(biāo)不是像傳統(tǒng)的教學(xué)那樣，灌輸知識、進(jìn)行訓(xùn)練、死記硬背，而是讓學(xué)生： （1）明確交際的基本規(guī)律、基本程序、具體步驟等，了解相關(guān)的知識； （2）有意識地控制他們學(xué)過的東西，能夠了解那是重點，那是焦點信息；這些知識與以前已經(jīng)學(xué)過的東西有什么關(guān)系，是否是其一個部分，是否可以豐富已有資源，組成新的知識框架。 （3）教他們做到他們自己做不到的事情，學(xué)習(xí)新的知識，發(fā)展新的能力。,61,學(xué)生學(xué)習(xí)是學(xué)自己以前沒有掌握的東西，所以，必然涉及學(xué)習(xí)新的知識、技能、能力等。老師的作用是把學(xué)生引入到這些新的知識和能力中。這個過程其中一個重要步驟是要給學(xué)生明確的指導(dǎo)，包括指導(dǎo)他們?nèi)绾芜M(jìn)行活動，以及老師如何指導(dǎo)他們等。 第一、這些理論和知識首先包括元語言，即用以論述和討論這個領(lǐng)域的語言，以使學(xué)生能夠?qū)ο嚓P(guān)的領(lǐng)域進(jìn)行反思、討論、概括、推理等。 這些理論知識是需要老師教的。,62,第二，這些理論和知識包括模態(tài)的系統(tǒng)特征，如在現(xiàn)代社會交際中主要有哪些主要模態(tài)在起作用；語言作為主要的教學(xué)對象的系統(tǒng)特征，包括媒體（音系、字系）、詞匯語法和語義系統(tǒng)；以及除語言之外的其他主要模態(tài)系統(tǒng)的媒體、詞匯語法和語義系統(tǒng)，和語言與其他模態(tài)之間的關(guān)系等。 最后，這些知識還包括模態(tài)在社會交際中的基本模式和功能，包括模態(tài)選擇的基本規(guī)則和模式；不同模態(tài)的專用性、意義范圍、供用特征、功能負(fù)荷等；語言及相關(guān)模態(tài)所體現(xiàn)的領(lǐng)域的相關(guān)知識。,63,從這個角度講，實景實踐和課堂講授是一體的，無法分分孰先孰后。 在不需要明確的指導(dǎo)即可進(jìn)行的學(xué)習(xí)活動中，如口譯活動、商務(wù)活動、法庭辯論等，可以首先進(jìn)行實景實踐，然后補(bǔ)充相關(guān)的理論知識，注意事項，最佳活動程序等。 而在不經(jīng)過指導(dǎo)則無法進(jìn)行的學(xué)習(xí)活動中，則需要首先老師給予明確的指導(dǎo)，然后再進(jìn)行實踐活動。,64,(3) 批評性框定 批評性框定是使學(xué)習(xí)者能夠整理他們在實踐中已經(jīng)學(xué)過的東西，有意識地控制和理解知識系統(tǒng)和社會實踐之間的歷史、文化、社會、政治、意識形態(tài)、價值方面的關(guān)系。 批評性框定是把學(xué)習(xí)者在自然狀態(tài)下學(xué)習(xí)的知識陌生化，把它從原生態(tài)狀態(tài)提取出來，成為可以進(jìn)行研究、討論、評價、改編、總結(jié)、概括、抽象的東西。 批評性框定把語言和其他模態(tài)從行為者和解讀者兩個方面進(jìn)行解釋，把產(chǎn)出的話語放到社會文化和語境中進(jìn)行解釋。通過批評性框定，學(xué)生能夠以一定個人或社會距離以及客觀地來看待自己學(xué)習(xí)的東西，能夠建設(shè)性地批評它，解釋它在整個文化中的位置，創(chuàng)造性地延伸和應(yīng)用它，并能最后自己在此基礎(chǔ)上進(jìn)行創(chuàng)造性的工作。,65,批評性框定實際上出現(xiàn)在整個教學(xué)過程中，教師時刻在培養(yǎng)學(xué)生的批評性意識和看問題的角度和層次。 與此同時，教師也應(yīng)該專門設(shè)計教學(xué)環(huán)節(jié)來提高學(xué)生的創(chuàng)新能力，包括以下方法： 設(shè)計問題，就相關(guān)內(nèi)容發(fā)表自己的觀點，包括使用相關(guān)的模態(tài)； 閱讀相關(guān)領(lǐng)域的多模態(tài)語篇，并就其內(nèi)容的某個方面寫出自己的看法和觀點； 設(shè)計相關(guān)的題目，讓學(xué)生就這些題目創(chuàng)作多模態(tài)語篇。 批評性框定仍然是一個設(shè)計過程，但是從設(shè)計過程向再設(shè)計過渡的過程。,66,(4) 轉(zhuǎn)化的實踐 轉(zhuǎn)化的實踐是反思性活動的結(jié)果，是建立在循環(huán)課程和建構(gòu)主義教學(xué)實踐的基礎(chǔ)之上的。它屬于再設(shè)計。 學(xué)生對其所學(xué)的東西從設(shè)計和實踐上進(jìn)行反思，他把他學(xué)到的構(gòu)建意義的能力在不同的語境中用于實踐，對學(xué)生的理論知識和實踐能力的測試就把學(xué)生的這種能力作為主要測試對象。,67,這個階段把實踐中得到的知識和經(jīng)歷固化，成為學(xué)習(xí)者的知識進(jìn)入學(xué)習(xí)者的知識結(jié)構(gòu)中。 教學(xué)實踐的目標(biāo)不是就實踐而實踐，而是為了使學(xué)生掌握相關(guān)的知識，提高多元讀寫能力。從這個角度講，新倫敦小組所推崇的另一個教學(xué)方法是重復(fù)和循環(huán)教學(xué)法，對已經(jīng)學(xué)過的內(nèi)容要通過一定的方式進(jìn)行重現(xiàn)，使其循環(huán)式上升。 在設(shè)計中，要把已有的資源與新的學(xué)習(xí)內(nèi)容結(jié)合起來，在前后知識上建立通道，使其不斷深入、固化，成為學(xué)習(xí)者的知識和能力。,68,四個教學(xué)階段的關(guān)系和順序 轉(zhuǎn)化的實踐是以上三個設(shè)計過程的結(jié)果，顯然是在以上三個過程之后，但這個過程不是終結(jié)，因為許多知識和能力是要經(jīng)過反復(fù)實踐來獲得的。 轉(zhuǎn)化的實踐可以在需要時轉(zhuǎn)化為實景實踐，形成一個循環(huán)模式。 新倫敦小組認(rèn)為這四個部分不分先后，可以以任何順序進(jìn)行，所以，他們沒有設(shè)計出一個教學(xué)程序。Kalantzis, M et al (2005)根據(jù)新倫敦小組的觀點設(shè)計了多元讀寫能力自學(xué)的模式，如下圖所示。,69,,70,71,在這個模式中，有四個知識學(xué)習(xí)過程：親身經(jīng)歷、思想概念、分析過程、應(yīng)用過程。在每個過程中都有兩個可選擇的過程：一般的、普通的學(xué)習(xí)過程，由內(nèi)圓所確定的范圍表示；突出的、前景化的過程，有外圓所確定的范圍表示。 在親身經(jīng)歷中，學(xué)生通過日常生活的經(jīng)歷所學(xué)習(xí)的個人經(jīng)歷是已知的過程；學(xué)生通過浸入式學(xué)習(xí)學(xué)到的是新信息、新經(jīng)歷。 在思想概念中，學(xué)生通過定義和運用概念學(xué)習(xí)新的概念；通過把概念結(jié)合起來，組成學(xué)科知識而學(xué)習(xí)理論； 在分析過程中，學(xué)生通過從功能上分析來了解事物的因果關(guān)系；通過從批評的角度分析來認(rèn)識交際者的交際目的、動因、意圖、觀點等； 在應(yīng)用過程中，一般的來講，是學(xué)生把學(xué)習(xí)的理論恰當(dāng)?shù)貞?yīng)用到典型的語境中；學(xué)生也可以創(chuàng)新性地把知識應(yīng)用在其他的語境中，產(chǎn)生知識的轉(zhuǎn)換。,72,,圖2a 新設(shè)計學(xué)習(xí)的框架,分析評價 功能的 批評的,,,,73,這個模式一方面顯示了一個自然的學(xué)習(xí)順序（由粗箭頭表示）：學(xué)生通過實踐獲得經(jīng)驗和經(jīng)歷，然后概念化和理論化而升華，形成知識；然后通過分析和評價而成為學(xué)習(xí)者個人意義潛勢中的一個部分。在此，實踐和概念化可以根據(jù)語境的不同而調(diào)換位置。 另一方面，這些階段不是嚴(yán)格意義上階段成分，而是可以根據(jù)需要隨時改變這個順序。例如，分析和評價都需要和語境聯(lián)系起來，它們都可以通過中間的通道和直接通道打通。 第三，這個學(xué)習(xí)模式最后的結(jié)果是一個循環(huán)模式：轉(zhuǎn)化的實踐又可以應(yīng)用到實踐中作為已有的設(shè)計資源來參與另一輪的循環(huán)。,74,教學(xué)的目的是使學(xué)生學(xué)習(xí)好，因此，也應(yīng)該使其符合學(xué)生學(xué)習(xí)的一般認(rèn)知規(guī)律。因此，從這個學(xué)習(xí)模式可以演化出一個教學(xué)模式。 這個教學(xué)模式的無標(biāo)記順序是：實景實踐和明確指導(dǎo)可以根據(jù)語境的需要而變換順序。例如，在所學(xué)的對象難度大時，就需要首先需要老師的指導(dǎo)，再進(jìn)行實踐；而在以及能為主的學(xué)習(xí)任務(wù)中，則應(yīng)該把實踐放在首位，進(jìn)行浸入式學(xué)習(xí)。 這樣這個模式的無標(biāo)記模型可用圖3表示。 其整體模式由圖4表示。,75,圖3. 多元讀寫能力的培養(yǎng)教學(xué)模式,76,實景實踐,明確指導(dǎo),批評性框定,轉(zhuǎn)化的實踐,教學(xué)階段,,,圖4. 多元讀寫能力培養(yǎng)教學(xué)設(shè)計,批評性框定,,,,77,8.問題與不足,多模態(tài)話語分析理論仍在初級階段，而且其難度更大。 1. 解釋存在主觀性，不同的解讀者可能得出不同的結(jié)論。 2. 解釋沒有規(guī)律和規(guī)則可循，還沒有一套解析圖像、動畫等的方法。 3. 多維的多模態(tài)話語解析難度大。一維的文字和口語的解析方式比較簡單，開始和結(jié)尾的標(biāo)記都比較清晰，但二維的圖畫如何解析、三維的空間和思維的動畫如何解析，還需要進(jìn)一步研究。,78,9.下一步的研究,Holsonova把多模態(tài)化分析研究的不同方法分為七個視角: (1)研究不同模態(tài)之間的差異性是強(qiáng)調(diào)各模式有各自內(nèi)在的優(yōu)劣，因此不同的模態(tài)宜用于表達(dá)不同的信息類型。 (2)根據(jù)不同模態(tài)之間的相似性，重點研究不同模態(tài)的相似方面。例如，在分析語言和圖畫時，采用同樣的分析范疇。這種觀點認(rèn)為圖畫和其他視覺成分與語言一樣，也具有符號的語法。 (3)根據(jù)不同模態(tài)之間的相互作用研究各模態(tài)是否有主次? 是否彼此互補(bǔ)? 是否其中一個模態(tài)可以加強(qiáng)其他模態(tài)提供的信息? 是減少其他模態(tài)的信息還是增加信息? (4)對不同模態(tài)的模式如何可以實現(xiàn)形式化?,79,(5)對不同模態(tài)及其相互作用的感知，如有的研究使用眼跟蹤器( eye-trackers)和詞句協(xié)議( verbal protocols) 。 (6)對會話模態(tài)的復(fù)制，這方面的研究強(qiáng)調(diào)多模態(tài)產(chǎn)品的應(yīng)用不是以感知作為終結(jié)。從一個多模態(tài)成果獲得的信息可以在另一個信遞場合重建和討論。如果在傳遞過程中信息打包維持原樣或發(fā)生變化都是值得注意的現(xiàn)象。 ( 7)多模態(tài)的互動，包括我們作為個體與他人互動時或采用多模態(tài)系統(tǒng)時，使用言語、手勢、體語、面部表情，接近或凝視的情景。,80,10.結(jié)語,一.多模態(tài)基本理論 1.理論背景介紹 2.理論基礎(chǔ) 3.多模態(tài)資源 4.多模態(tài)設(shè)計 5.多模態(tài)語法 6.多模態(tài)形式之間的關(guān)系,81,二、教學(xué)中的應(yīng)用 多模態(tài)選擇的程序 多模態(tài)選擇的動因 多模態(tài)選擇的目標(biāo) 多元讀寫能力培養(yǎng),82,謝謝 請批評指正,83,