多模态语篇分析

当今，人们在交际过程中经常同时使用多种符号工具 来表达意义或创造信息。多模态（ multimodality ）也 称多符号（ multi-semiotic ），指包括口语、书面语、 图像、图表、空间以及其他可以用来构建意义的各种 符号资源。随着现代技术的发展，人们使用的交际模 态和交际媒体都发生了很大的变化。多模态话语冲击 了传统上文字在交际领域中的中心地位。在许多情况 下，语言与其它符号资源各有所长，一起构建意义。 各种模态以整合的整体共同为交际服务。

如今，我们生活在一个多模态的社会，使用各 种符号资源来完成意义表征和交际。正如 Kress （ 2001: 68 ）所提到的，在教材、报纸、 机构报告、电子媒介、网络等，图像正替代语 言成为主要的意义构建资源，或者与语言平分 秋色。在 “ 视觉文化 ” 的影响下，意义的构建往 往通过文化处所或实体来体现，视听动态图像 逐渐取代文本来传递信息。

人们通常认为现代符号学研究始于 Saussure 和 Peirce 。 Saussure （ 1916 ）认为符号学属于 社会心理学，主要研究符号的构成及其支配规 律。他认为语言学是符号学的一个组成部分。 符号包括能指和所指两方面组成。符号同符号 之间的区别构成符号系统，用于实现交际目的。 Peirce （ 1958 ）则认为符号由三方面组成：表 征、对象和解释。他重点区分了三种符号：图 像符号、指示符号和象征符号。

受 Saussure 和 Peirce 的影响，主要的符号学研究都在 寻求能够适用于所有符号的理论框架。根据 Hervey （ 1982 ）的观察， Morris 将符号学分为研究符号与存 在之间关系的语义学，符号与人的创造性使用的语用 学以及符号与符号之间关系的语形学。 Barthes 把符 号视作一种社会文化意识形态，将符号学的研究范围 扩展到整个社会，包括文学、语言、图片、电影、烹 饪和衣着等。学者们应用符号学的理论对交通信号系 统、罗马数字系统、语表意文字、文学作品、电影、 广告作了分析。

近年来的多模态研究主要有四种视角：交互社 会学的视角、认知的视角、语体学的视角和功 能符号学视角。从交互社会学的视角，学者应 用交互社会学理论研究即席话语和公共场所中 的多模态，关注人们如何在交际时采用不同模 态构建他们所处的情景和身份。其出发点不是 语篇而是人们的行为，主要代表人物有 Scollon 和 Norris 等。

从认知的视角，学者们关心的是概念化理论如 何指导交际者选择不同的模态或模态组合进行 连贯的交际。他们侧重研究理想的认知模式中 源和目标如何同时以一种以上的模态表征。其 主要代表人物有 Forceville 和 Holsanova 等人， 其主要代表作品有 Pictorial Metaphor in Advertising （ Forceville 1996 ）等。此外， Stöckl （ 2004 ）也做了相关的研究，认为不同 模态在符号属性、认知取向和语义潜势上体现 出区别性特征。

符号属性指模态的内在结构和使用者惯常使用 该模态构建意义的方式。图像对世界的表征手 段是象似性，是对现实世界的直接模拟，而语 言则是象征性的。 语言是线性结构，在认知取向上要求把线性的 符号组织成短语，短语组织成句子等。图像则 基于整体的完形感知（ gestalt-perception ）。 因此，与语言相比，图像是更快捷的意义构建 模式。心理学实验表明，图像比语言更容易吸 引读者的注意力，更容易记忆。

语体学视角关注的语体特征与多模态的关系。 Lanham （ 1983 ； 2003 ）注意到受计算机技术 的影响， “ 散文 ” 的概念已发生了变化：从书面 到电子、从静态到动态、从无声到有声等。他 认为散文分析应该包括传统的书面散文和现代 的多媒体散文，并指出计算机给文本写作提供 了动态的三维空间。因此，我们需要一种描写 这种三维文本的语法，特别是描写文字同声音 和图像的关系。 线性阅读和图像式阅读相辅相成，互为补充。

功能符号学的视角运用系统功能语言学理论， 分析包括语言之内不同模态的意义构建模式。 在多模态话语的研究上，这一视角的研究成果 最多，成为多模态研究的主要力量。其代表人 物包括 Kress ， van Leeuwen ， O’Toole ， Lemke ， O’Halloran ， Baldry ， Thibault ， Bateman 和 Martinec 等。功能符号学的多模态 分析理论基础主要来自 Halliday （ 1978 ）的语 言是社会符号的观点。

早期的功能符号学多模态研究关注用 Halliday 的系统 功能语法来分析语言之外的某种模态，如 O’Toole （ 1994 ）对油画、建筑和雕塑的分析， Kress & van Leeuwen 对图像的分析。 20 世纪 90 年代末以来，系统 功能符号学者开始关注多模态话语中模态间的分工与 整合。 O’Halloran （ 2007; 2008 ）称之为系统功能的多模态 话语分析（ Systemic Functional Multimodal Discourse Analysis ，简称 SF-MDA ）。 SF-MDA 主 要研究符号资源的意义潜势在不同层面（语境、语篇 语义、词汇语法、语音、书写 / 图形）的体现和多模态 话语中符号选择的意义整合。

一些学者运用系统功能语言学理论研究语言之 外的某种模态，较早的两部专著是 Kress 与 Van Leeuwen 合著的 Reading Images: The Grammar of Visual Design (1990/1996/2006 ） 和 O’Toole 的 Language of Displayed Art （ 1994 ）。两者都致力于视觉语法的构建：前 者关注图像，后者主要研究油画、雕塑和建筑。

有些学者认为各种模态的三个元功能具有同等 的作用。 他们根据系统功能语法中的概念功能、人际功 能和语篇功能，分析了图像的再现功能、互动 功能和构图功能。 但是视觉符号与语音层不同，有点、线条、颜 色、光等。

此外，也有些学者认为某个元功能占主导作用 （ Martinec 2005 ）。 Van Leeuwen （ 1999 ） 认为音乐中人际功能占主导地位，因为音乐的 结构特征是韵律的和递归的，即旋律和节奏。 Lemke （ 1998 ）对书面科学语篇中的图形和图 表的分析表明呈现意义和组织意义要比取向意 义更前景化，并显示出明显的多样化。 Martinec （ 2001; 2004 ）认为在动作模态中经 验功能占主导地位。

更多的学者关注多模态话语中各模态之间的关系和语 法整合。 Lemke （ 1998 ， 2000 ）从理论上解释了模 态之间的语义扩展。他认为，语言和其他模态共同进 化使我们拥有构建范畴意义和程度意义的两种不同方 式。语言擅长范畴意义的构建，而动态动作和视觉图 像更容易表达程度意义。 Lemke （ 2000 ）认为，多模 态语篇中的模态混合必然导致语义的扩展，从而产生 新的解释空间。例如，数学语篇混合使用语言、视觉 图像和数学符号构建的世界远远超越了语言所能构建 的世界，从而产生新的解释空间。

多模态语篇中模态间的研究大致有三类。一类 是研究多模态语篇中不同部分之间的关系；另 一类是研究由不同模态体现的语篇之间的关系， 比如图像语篇和语言语篇之间的关系，语言、 数学符号和图像之间的关系，态势与口语的协 作以及图像，语言和声音的协作。第三类是研 究多模态语篇中不同模态之间的关系。目前大 致有三种观点：意义关系，成分衔接和符号隐 喻。

Lemke （ 2002 ）提出超模态（ hypermodality ）的概 念，指超媒体（如网络）中的语言、图像和声音等体 现的意义的互动。超模态不同于多模态，前者不仅是 具有超链接的语篇，也不仅仅是图像、文字和声音的 并置，而且还有它们之间的多种隐性或者显性的联系。 Lemke 认为，两个网页之间存在着交换关系、取向关 系和呈现关系。此外，颜色在空间分布上的差异也体 现出不同的突显模式。 Djonov （ 2006 ）也分析了儿 童网站上最常见的逻辑 - 语义关系及其超链接对使用 者的导航作用。

多模态研究关注的一个重点是教育，尤其是多模态读 写（ multiliteracy ）。胡壮麟（ 2007: 7 ）将多模态读 写解释为具有能阅读所能接触到的各种媒体和模态的 信息，并能循此产生相应的材料，如阅读互联网或互 动的多媒体。传统方式的读写在多媒体时代已不够用。 教室中不断增加的多媒体设备已使教育多模态化。多 模态的发展使传统的文字读写向多模态读写转变，教 学方法、教材编写和学习任务等也相应发生了变化。 Duncum （ 2004 ）认为多模态读写涉及不同媒介的互 动来构建意义。

随着现代科学技术的迅速发展，多模态语篇的 出现打破了传统概念上的语言或言语基础上的 理解。人们需要以新的角度审视现代社会中的 话语。 Kress （ 2001: 80 ）甚至认为，不存在 所谓外在的语境，只有各种符号模式组成的整 体。学者们在近 20 年间对多模态现象进行了广 泛的研究，从理论上和实践上探索了多模态的 本质，涉及模态本身、模态之间的关系、多模 态语料库建设和软件开发以及多模态在教育中 的作用。

研究的视角也呈多样化，包括了交互社会学的 视角、认知的视角、语体学的视角和功能符号 学视角。多模态语篇分析考察了教材、故事书、 文学作品、广告、互联网、影视、音乐等等的 多模态特征，涉及了图像、色彩、图表、声音、 文字等多种模态或模态组合。这些研究还注意 到了多模态语篇的社会作用和功能，考虑到了 话语社区、媒体以及话语的理解和阐释等。另 外，我们也看到了系统功能语言学理论在多模 态研究中的重要作用。