多模态语言研究就是关注人类语言使用的多模态本质，运用社会符号学及系统功能语言学视角下的多模态话语分析方法、多模态语料库语言学方法等，通过多种技术手段采集人们使用语言时各种类型的多模态数据。

　　如今，“多模态”已成为横跨自然科学、工程以及语言学等领域的热门词，出现了多模态对话系统、多模态学习、多模态话语分析等前沿研究领域。不同的研究领域和范式对“模态”的定义和理解不尽相同。语言研究及相关领域中的多模态概念可归结为三种用法：一是沿用脑科学或生理学对模态的定义，将其视为感官及其相应的神经系统，多模态是人类通过感官与外部环境之间的一种互动方式；二是从符号学出发，将模态视为在社会文化中形成的创造意义的符号资源，多模态话语由多种表意资源符号形成；三是将模态定义为人机交互中的信息呈现方式，多模态就是人们使用多种感官模态，通过多种物理媒介，与计算机等机器进行信息交互。

　　无论上述哪一种用法，本质上都表明人类语言交际与发展均需要多模态感官系统支撑。人类的语言交际本质上是多模态的，除词句结构和话语内容之外，我们还可以通过手势、表情、韵律等非语言媒介进行意义构建。但传统上对语言问题的研究只关注言语文本的使用，而忽略了意义由多模态构建的事实，具有一定的局限性。

　　因此，多模态语言研究就是关注人类语言使用的多模态本质，运用社会符号学及系统功能语言学视角下的多模态话语分析方法、多模态语料库语言学方法等，通过多种技术手段采集人们使用语言时各种类型的多模态数据，发掘蕴含在音频、视频、脑电、图像等各种媒介中的各种信号、数据，从而多维地解读人们言语交际的意义及其发生机制。

　　相应地，语言学中与多模态相关的研究范式大致包括：符号属性的多模态研究范式、依托多模态语料库进行的研究范式以及神经语言学、人机交互及学习研究中的多模态范式。

　　有学者认为意义可以通过任何符号、任何模态、在任何层面进行构建。因此，符号属性的“多模态”研究范式将话语中的各种表意渠道或资源均视为承载意义的符号系统，这一范式的研究就是要考察这些话语是如何通过各种符号的组合、设计布局以及变化进行意义传递的。

　　多模态语料库是指音频、视频和文字语料等多种信息集成，研究者可调用多模态手段进行语料处理、检索（如视觉、听觉等）。多模态语料库的语料采集、转写、切分、标注以及建库与传统文本语料库均不相同。语言研究以人们与外界的多模态互动作为重要的数据来源，面对具有充盈意义的现场即时话语，多模态语料库语言学提供了目前较为理想的研究范式。