查看原文
其他

学者观点 | 林皓:副语言的手势层面分析——以摊手为例

The following article is from 复旦新学术 Author 林皓

↑ 点击上方“语言与未来”关注我们


 小编推荐

作者:

中国外语战略研究中心\语言研究院  林皓

来源:

当代修辞学, 2019年第2期

摘要

目前语言多模态的研究很少涉及对副语言中具体手势的研究。本文从副语言的手势层面,以摊手为例,基于自然搜集法搜集到的汉语普通话多模态语料,利用标注工具,结合定性和定量的研究方法,对摊手这一手势的结构及功能进行全面分析。初步认为中国摊手按其结构可分三类,其功能各有侧重。第一类摊手(摊手1)承担纯副语言的功能,即伴言(co-speech)功能,这类手势只能伴随口语一起发生。第二类摊手(摊手2)作为象征手势,具备独立表意功能,可表否定、无奈或强调。第三类摊手(摊手3)似乎介于两者之间伴言功能兼有一定语用意义(如示意交出话轮),这种模糊象征义,体现如“邀请”。摊手这一手势的语义获得,源于人类的认知机制,与有声语言的认知机制相似。

关键词 多模态;副语言;手势;摊手

正文

一、背景介绍

近年来,我国学界开始关注语言的多模态现象(胡壮麟2007;朱永生2007),而研究热点集中在外语教学、课堂教学方面,这与国际上的热点稍异其趣。国际上多模态研究方面,排名首位的热点是手势(gestures),我国学者目前极少涉足(陈风华2018)。其实,国内学者很早就注意到手势在多模态研究中的重要性,如朱永生(2007)认为多模态由多个系统组成,而每个系统都有不同的成分,其作用需要分别探讨,口语和手势间的互补关系是一个重要的研究方向。张德禄(2009、2017)在探索多模态理论框架时,认为其他非语言符号也具有形式层以及和语言相类的词汇语法系统;他将手势归于非语言、身体、肢体之下,即:非语言>身体>肢体>手势。肢体与面容(面部表情)并列,手势与姿势和摇动并列。此外,学者们认为在多模态研究方面,较少有量化研究(陈风华2018),并建议运用Elan等软件进行多模态分析,实现方法上的高科技化(程瑞兰、张德禄2017)。

1.手势为副语言模态身势语层面的子系统

马丁、扎帕维尼娅(2018)从功能语言学角度出发,建立了一个副语言意义研究框架并指出副语言即依赖语言、通过音质和诸如面部表情、手势和身姿在内的身势语体现意义的表达方式。文章中区分了具身表征和符义过程;而符义过程包括了语言和副语言两个部分。对于副语言的分析,将其分为音韵融和型和语义融合型;二者都具有人际性和谋篇性,而后者与前者不一样之处是后者有“概念性”这一功能。然而,本文认为从形式上副语言可分为两个主要系统:一是基于语音的音色、节奏(tempo)、声响(loudness)等,可算成语音中的非语言成分系统;而另一个即是身势语系统(gesture),而这个系统,又可按表达时所涉及的身体部位分为三个子系统:1) 面部表情系统,其中主要包括:头部动作,例如点头、摇头;眼睛的运动,如瞪眼、凝视以及眉毛的运动,如“扬眉”、“皱眉”等。2) 手势系统,即主要是由上肢带动的手部动作构成。3) 其余类型身势语,如身体姿态、坐姿等较为次要的表达手段。

我们进一步分析,在手势系统中有一种类型的手势被称为象征性手势,即该手势有特定意义,独立于上下文,并较易识别。McNeill(1992)认为这种象征性手势(emblem)有一定的语言特征,是自由手势词素(free morpheme),这类手势动作约定俗成,有明确意义,同时形式是较为固定的。与之相对的,称为表征性手势(gesticulation),或者称为“伴言手势”(co-speech gesture,见Kendon 2004),因为这类手势只能伴随语言出现,属于粘着手势词素,无固定意义。马丁、扎帕维尼娅(2018)将象征性手势也归类于语言,是语言表达层面的一种,并将其与聋人的手语词,以及文字系统等量齐观。

本文聚焦于副语言的手势层中一个特殊的手势“摊手”(palm-up),对它进行深入的描写和分析。本文采用Elan标注软件,使用定量的分析方法,在结合本人收集的中国摊手语料、充分分析其形式与功能的基础上,讨论摊手的认知成因,为进一步深入探讨手势层面的副语言与口语间的互动关系提供方法。

2.摊手的分类及本文的研究问题

近年出现对摊手的讨论,Kendon(2004)从身势学角度对摊手进行了分析,将之归入“仰开手”(Open Hand Supine)手势家族,并进一步分了三类“摊手”:一种是“展掌”(palm presentation),即手掌开放,放在靠近说话者空间,伴随说话有不自觉运动;第二种为“横向摊掌”(palm with lateral movement),两手摊开,并有后缩动作;第三种是“献掌”(Palm Addressed),即仰开手,向前方或听话人递送出去。本文沿用这种对摊手的基本三分:将第一种标记为“摊手1”,其动作是原地展开双手,无明显位移动作;第二种标记为“摊手2”,幅度较大,以肘或肩为支点,在水平面上,从里往外摊开,有明显往两侧摊开动作,但不一定带后缩动作。第三种,即“摊手3”,则是摊开后,有明显的位移朝向的摊手动作。摊手起始以打开手掌为标记,终止以手掌由摊开状态恢复到自然松弛状态为标记。在此期间,只要摊开手掌掌形不变,它上下或内外的颤动或抖动,都归于一个摊手范围。

Kendon(2004)主要以意大利那不勒斯地方语料为例,探讨了三种摊手的关系及使用场景。他认为摊手1和摊手3相近,主要用于以下四个场景:1) 解释一个词或短语的意思; 2) 提出理解某事的基础; 3) 对谈话情境做描述,如在做列举时; 4) 作总结时(见Kendon 2004: 266270)。摊手1和摊手3的差别在于,摊手3有指向和导引功能。而摊手2则在语义上和前两者完全不一样,使用于以下五个说话场景: 1) 不愿或不能介入; 2) 不言自明,无须再说; 3) 设问句,不期望回答,有点像口语中的tag; 4)对一个建议不置可否; 5) 这话我没法接(你来吧) (见Kendon 2004: 275-280)。Kendon对摊手的应用场景进行了分类,却未明确三类摊手属于伴言手势,还是象征手势;在形式上也未能对摊手的内部结构特征作出详细说明。另外,他书中所用例子大体采自意大利那不勒斯,采用的基本是定性分析方法。因此,本文基于自然语料进行定性及定量分析,有一定创新意义。

以下各章安排如下: 第二章介绍本文使用的分析工具以及方法、语料的基本构成和分布情况。第三章集中描写和讨论中国人的“摊手”在多模态系统中的分布及其功能,分为两个部分 展开: 1) 中国摊手的形式特征; 2) 中国摊手与汉语口语间的关系( 第二节到第五节) 。第四章 的讨论基于前文,从认知角度讨论中国式摊手的成因及演变。


二、分析软件、方法以及数据简介

本文采用ELAN 标注软件(下载地址: http://tla.mpi.nl/tools/tla-tools/elan/) ,它由荷兰马普心理语言学研究所( Max Planck Institute for Psycholinguistics) 开发并维护。此标注软件优势 在于: 支持对视频数据按时间轴的多层标注,可生成独立的标注文件,有利于标注集中管理和分析,为多模态研究提供了一系列支持功能。

1.标注举例 

本文仍以 Youtube 上一段名为 Let’s Talk Random Chatty Vblog’ (https://youtube /YRxzDoPbVw)的视频作为材料进行分析(马丁、扎帕维尼娅 2018)。试分五层进行标记:第一层是英语口语,即口语语音部分; 第二层主要标记摊手、摆手等手部动作; 第三层到第五层分别标记头部、眉毛及眼部运动参数。如下图所示: 红线标记时间轴中对应的视频当下的这一帧的 相应情况即( 5 分50.093秒处)。而各层用竖线标记的时间段即是相应动作持续的时间。我们由下图可以看到: 图中红衣女子说 Like What? 这个疑问句时,同时伴随有“摊手”、“摇头”、 “皱眉”以及“眯眼”。然而,正如图所视,这几个副语言参数起止时间并不完全一致。“摊手” 和口语同时开始,但延续到后面一个小句“You know”。

我们对这段视频标记后,发现出现了16次摊手,其中有12次摊手1,4次摊手2。摊手1在词汇、短语以及句子三个层次都共现,而摊手2较多出现在固定的句型中,如疑问句或否定义句子,与句子或句子以上的单位共时。

2.中国摊手语料和标注

由于以上语料为单个外国人语料,为了想进一步研究中国人多模态语料中的“摊手”,本人搜集了两种体裁的多模态语料:日常对话、讲演。日常对话的语料全部从身边朋友及老师的对话中采集;讲演题材则部分从生活中采集,部分来自于网络视频。本人通过ELAN软件处理收集的多模态语料,主要集中标注语料中的摊手及相关情况。数据分布如下表所示:

如上所示摊手共出现了1005次,讲演中出现频率相当高,大约达到平均5.1次/分,而在日常对话中,出现频率则只有1.34次/分。同样,在三种类型的摊手中,摊手1出现频率远为最高,其次是摊手2,再次是摊手3。从某种角度而言,个人讲演和报告中容易出现高频率的摊手较为正常,因为这种情况下,手不被占有,而同时个人要展现大量的语言信息,作为副语言的辅助表达便非常重要。笔者还发现,说话者使用摊手和对话题熟悉度以及是否使用母语表达也有关系。如果话题较陌生或用外语表达,这时摊手出现的就多,伴言情况就非常明显。以下是对中国摊手的详细分析。


三、中国人的“摊手”在多模态系统中的分布及其功能

本章分为六节,第一节是对摊手的形式结构的分析。第二节到第四节分别探讨摊手1,2,3与口语共时情况的描写;第五节则描写摊手脱离口语时的表意现象。第六节为小结。

1.摊手的形式结构分析

我们将摊手三分,是基于摊手这一动作本身的方向。然而,进一步观察语料和对摊手进行分析,我们发现摊手并不是一个单独的动作。整个摊手,其结构可分为三个部分,即摊前-摊中-摊后。所谓“摊前”即摊手动作开始前,手所处的状态,这可分两种:一种是手由静止、默认状态(即手自由松弛,处于闲置)开始;一种是承接另一个手势变化过来;“摊中”即从摊开手掌这一个动作的开始到完结。我们参考手语研究对手语词的划分(Stokoe1965),对“摊中”作简要说明:

手形(handshape),即为手的形状,即摊手时,手是完全打开并伸直,或是打开时自然微弯曲;

手数(单手摊或是双手摊):即摊手时,是一只手摊开,还是两手摊开;

摊手方向:分为无方向,即为原地摊;朝两侧摊开或向对方摊开;

幅度:即摊手时,小幅度指仅转动肘关节,中幅度指以肘关节为支点,小臂有明显位移,大幅度指整个手臂以肩关节为支点在空间上有明显位移;

开合程度:完全与水平面平行,或与水平面有夹角。

而“摊后”,则指从手掌完全打开到手重新回到默认状态或者转化成其他手势这个过程。“摊后”涉及持续方式(holding)以及结束方式。持续方式有三种:一种是没有持续,即双手摊开随即合上或返回自然状态;一种是静止,即摊手这一动作完成后,手处于张开的静止或“凝固”状态;最后一种是手摊开后,以一定的方式规律性运动,按其特征可分为重复及非重复,按其运动方式可分为:内外、前后、上下以及叠击四种。而对摊后的结束方式,一是回到默认状态,即双手返回自然松弛;二是转化成另外的手势动作。总结如表2所示。

我们依据以上标准,将摊手的形式结构按时间序列分为摊前、摊中、摊后,按其内部结构分成八个主要特征,即,摊前的“初始状态”、摊中的“手形、手数、方向、幅度、开合程度”以及摊后的 “持续方式、结束状态”。对这八个主要特征还可进一步细分成 25 个细节特征,如上表所示。这时,我们发现,之前对摊手的三分,主要是取了摊中的“方向”这一参数,并暗含了“幅度”, “手数”这两个特征,即摊手1 = “无方向”+“小幅度或中幅度”; 摊手2 =“两侧”+“中幅度或 大幅度”+ “双手”; 摊手3 =“对方方向”+“中幅度或大幅度”+“单手”。摊手 2 的运动方向 是双手向两侧摊开,自然就暗含有两只手,而摊手 3 我们也发现绝大多数情况下,是用单手动 作,偶尔有双手朝向正前方摊开伸出的情况。因此,此前对语料的讨论基于摊手三分还是较为 合理的。此外,我们考察“手形”和“开合程度”时发现,摊手1 对这两参数不敏感,即手形既可 能是水平张开的,也有可能是自然张开状态,开合程度上也没有明显倾向性; 摊手 3 对“手形” 敏感,基本是完全张开状态,而摊手2 则对两个参数都敏感,即是完全张开 +水平。

在摊中之外,我们分析发现,摊前的“初始状态”以及摊手的“结束状态”这两个结构参数, 是手势的超音段信息,可以排除在考虑范围之外。而摊后的“持续方式”这一个参数,则是摊手讨论中容易被忽略的部分。从持续方式而言,存在三种情况: 无持续方式,即整个“摊后”过 程不存在,即摊完马上结束; 静止方式,即打开手后停住不动,“凝固”( hold) 片刻; 摊后运动则指摊开手后的动作。一旦摊手涉及持续状态,相应地在时间上有相当的延续,与有声话语的对应层次上基本是在短语及句子以上层次。关于运动方式,我们发现在三种摊手中都有倾向性, 摊手1 使用的是内外 +反复以及前后 +反复的运动方式; 而上下运动多用于摊手 2 及摊手 3; 而叠击,即双掌相叠而击仅会用在摊手2 的一些特殊场景中,即传达强烈感情的句子中。大致可以认为,内外及抖动,主要是用于维持手势语流,是手势伴言的一种方式,大部分用于摊手 1 中,偶尔在句群中,用于连接其他形式摊手。而上下或叠击,则更多用于摊手 2,用于强调和加强语势。静止作为一种摊后的延续方式,也仅限于与短语及句子共时,很少跨句,尤多用于摊手2。

我们列表分析摊中以及摊后持续方式的 8 个相关参数在摊手1,2,3 中的分布情况。我们分为有( + ) 或无( - ) ,而在有( + ) 基础上,分为无倾向性和有倾向性,前者为( + + ) ,后者为( + - ) 。所谓有倾向性,即是统计中发现某项特征在分布上的显著性。以摊手 1 为例,它在 “手数”上为 + +,即是单手或双手分布无明显偏向,而在方向和运动上都有。如此统计这些 特征,从表3 可以看出,摊手1 最为宽泛,适用性最广,摊手 3 次之,而摊手 2 则限定最多。我 们将摊手1,2,3 结合其对应的摊后运动,来进一步分析摊手与口语的关系。本文基于在语料中的频率统计,对每种摊手主要特征进行分类描写。

综上所述,在形式上,通过以上对摊手这个运动手势的结构分析, 我们可以发现“摊前”是摊手的外部结构,而“摊中”及“摊后”为其内部结构。“摊中”是摊手的核心,而“摊后”是其延续方式。而另一方面,在功能上,不同特征间承担的语义功能是有差异的。摊中的五个特征里,“方向”具指示功能,是一个重要的区别特征。其余四个特征既是响度参数也有区别作用,不同响度的选择语力不一。而对于“摊后”三个参数中无和静止都是相对“摊中”而言形式上的结束或延续,可不讨论。而“运动”这一参数具有一定功能。其下四个参项“抖动、内外、上下、叠击”中,“抖动”和“内外”,主要起元语言功能,串联和补充口语;而“上下”或“叠击”,则是个加强语势标记。并且,有些参项有明显的倾向性,如叠击仅与语气强烈的反问句等同现。以下是对各摊手功能的具体描写,在举例时,以文字记录有声语言材料,而以相应文字下划线标记摊手与该语言单位起止情况,摊手1,2和3分别用:横线下划线、虚线下划线及波浪下划线标记。(注:受微信功能限制,本次推送中虚线标记改为斜体,波浪下划线标记改为字符边框。)

2. 对摊手1的功能描写

我们发现,在中国多模态语料中,摊手1出现频率高,而且分布较广,可与不同层次的语言单位共现。它可出现在句子以下层面,即与有声语言的单词或短语共时。我们统计发现,90%的摊手1 与句子以下层面共时,而与整个句子结构或句子或以上结构共时情况仅占10%。首先我们结合语料分析句子以下层面的共时情况,接下来再讨论与句子以上层面的共时现象。

形式一:摊手1+无摊手运动;共时情况:与单字或单词共时。如以下各句:

(1)宾语也一定是受事

(2)怎么是字迹不对,还是图章不对?

(3)有没有啊,有个结论性的东西。

(4)正确发泄自己苦闷的办法。

形式二:摊手1+静止或内外运动+(重复),共时情况:与短语或分句共现,例如:

(5)我……我——怎么说呢,又欣慰又后悔。

(6)啊——这个,方便对不对?

摊手1在句子以下单位时扮演伴言手势的功能,本身不带语义功能,主要起元语言作用,功能可分类为以下:a) 置于句首,引出话题,如(2),等;b)置于句中,伴随单词或短语,起强调作用,如(3)在起强调作用时,相应的字或短语经常也会重读。c) 辅助说话者口语构建,如(5)中,说话者一开始没将话继续下去,于是在构建口语时同时使用摊手,帮助自己表达,而(6)则是在说“啊”的时候,这个语气词是个填充词,同时出现的摊手则一起帮助说话者组织语言和思路。

形式三:摊手1+静止,摊手1+内外运动或抖动,共时情况:与句子或以上层面口语共时,例如:

(7)这个是艺术家的大脑

(8)当时是信心满满

(9)还有好多好多吃的

(10)我们对它的结构,人脑的结构还没有一个全息的图

摊手1在句子及以上单位时,依然主要起伴言元语言功能。其主要功能:a)辅助叙述,如(7)、(8);b)出现在表示“存在及拥有”的事件中,见(9);c)出现在叙述否定或不存在的事件中,如(10)。

3.摊手2的描写               

摊手2似乎倾向性较强,大部分情况下,摊手2落在短语和句子上,尤其是句子上。“摊手2+静止”与口语的短语或句子共时,而“摊手2+摊后运动”,则与口语的句子以上单位共时。例如:

形式一:摊手2+(静止),共时情况:与短语或分句共现

(11)环境,我不营造

(12)直到今天我李敖才把它拆穿,不是吗

(13)对于平时处理文档看看视频的人来说,这无所谓的

(14)不管怎么说,反正我就是一分钱都没有

  “ 摊手2+(静止)”,在与短语或分句情况下,倾向于后置,如上面诸例,这与摊手1形成对比,可能是因为与口语共时的词汇或短语,大都是句子的重音所在,如(11)的“我不营造”,(12)的“不是吗”等。而语料中这种摊手与否定句成分共现居多,正如以上诸例所示。

形式二:摊手2+静止,共时情况:与句子共现

(15)就这个水平

(16)人家抓不到鱼怎么办

(17)我们还有什么空间

(18)你不找他他也不管你

(19)连containment 都不知道

   这种形式的摊手2,有个特点即是摊手与整句共时,在句末还经常会或短或长稍有延续。而与之共现的典型面部表情包括:摇头、顿头、侧头或者扬眉。从功能上而言,摊手2具有独立的象征意义。我们发现,摊手2与整句共时的语用情况可分为三类:一类是在表感叹的句中,起加强语势的作用,见(15);另一类则是在表疑问,特别是经常出现无疑而问的反问或设问句中,更多是传达说话者“无可奈何”态度的语境中(16);而第三类则是在一般的否定句中,表示消极意味,与否定语义对应,见(18)、(19)。

形式三:摊手2+运动,共时情况:与口语的句子层面或句群共时。例如:

(20)怎么一个大款都摊不上?(叠击+反复)

(21)可他没有死,你怎么说他死了?(上下+反复)

(22)他们发现老家那叫真是人民政府啊,没有人啥事都干不成。(内外+反复)

此形式摊手2是通过摊手的运动在时间上与口语句子或句群共现。(20)双手上下反复叠击,然后再摊开,这种运动方式经常用于表达较为激烈的疑问或感叹句中,表达无奈的含义。(21)则是通过双行的双手在垂直方向运动,来传达说话者强烈的感情。(22)则分别在两个句中,用内外晃动平摊双手来串联两句的手势流。

总之,无论在短语、分句还是在句群上,我们发现摊手2具有相当的收敛性,集中与表强调的疑问句或表否定的句子共时。

4. 摊手3的描写

摊手3绝大多数情况下单手摊开,这与摊手2形成对比,摊手2基本是双手摊开。因为涉及手掌摊开后向听话者移动,所以其本身有邀请听话者的注意或介入之元语言功能。

形式一 摊手3+静止  共时情况:与短语共现。

(23)有的时候是不及物动词,有的时候是工具

(24)比如说,感叹可以达成一定特征。

(25)被保护的政权,自己投降了。

相应地,摊手3在语料中,多见于与短语共时,这一点与摊手1相像。摊手3在短语上主要应用场景:a) 引入话题时,引起对方注意,(23);b)表示举例说明,(24);c)表给予或索取,(25)。

形式二:摊手3+静止(运动) 共时情况:句子层面

(26)你是怎么看这个事?

(27)能不能上路呢?

(28)当然也给他招待,也为他做简报。

我们发现摊手3如果用运动持续时,倾向于使用抖动+重复,如(28)。而在短语之外的使用场景包括:a) 交出话轮,(26);b) 引出问话,(27)。

5. 独立的摊手

我们发现,在语料中,摊手2和摊手3可不与口语共现,如摊手出现在停顿处,或在句末口语结束之后。这时摊手往往与表情相配合,承担重要的语义功能。这个时候,摊手可表示情感上无奈、惊讶,也可以表示邀请、有空缺之意。其具体含义通过整体语言表达的上下文语境来获得。

我们结合语境,分析以下各例中独立摊手的含义。在(29)中,说话者在论答辩会上讨论一位学生论文中的问题。“摊手2”,承接口语上文,表示对学生论文中一个提法的批评,其后面的口语即像是对“摊手2”补充说明。(30)这句话出现在两个女生的对话中,她们即将毕业,一方问对方毕业后打算。另一女生说了这句话,末了做了“摊2”这个手势,多少表示无可奈何之意。(31)中出自一位老师对自己学校办公环境的抱怨。“摊手”位于口语句群中,同样表示否定。上文列述公共办公室种种摆设,摊手作结,然后补充上“你怎么去这里面办公啊?”(32)中的“摊手3”,居于“所以——门是开着的之中”。当说话者打摊手3这一动作时,听众都会声地笑了。可见,即便不补充后面的“门是开着的”,大家也领会了其中意思。摊手3在这有“邀请、空缺”之意。而摊手1未有发现单独出现,这从某种程度上可以说,摊手1一般依附于口语进行,也即是伴言手势。

(29)所以你反而/摊手2/你这种解释反而有的地方可能哦出现问题了。

(30)找个帅气的好哥哥/摊手2

(31)他们那边就是一个大房间,里面放着一个长桌,冰箱,或者有什么复机什么,书厨/摊手2/ 你怎么去这里面办公啊?

(32)这个列表里不包括, 所以/摊手3/门是开着的。

6. 小结 

综上所述,我们将摊手结构分为“摊前-摊中-摊后”,发现“摊中”和“摊后”中的特征为摊手内部结构。而起区别性作用的特征包括“摊中”的五个特征“手形、手数、方向、幅度、开合”以及“摊后”的三个特征“无”(即无摊手这个结构)、静止以及运动。而运动这一特征参数下包括四个参项:“抖动、内外、上下、叠击”。形式上,三类摊手有明显的区别和倾向性:

摊手1结构特征较为松散,按其特征概括如下:手形(平直/自然)+原地+小中副度+打开(完全/不完全)+无/静止/运动(+抖动/内外)

摊手2,典型结构特征为:手形平直+双手+两侧运动+中大副度+完全打开+无/静止/运动(+上下/叠击),

摊手3,典型结构特征为:手形平直+单手+单向运动+中大副度+打开(完全/不完全)+静止/运动(抖动)

我们结合语料统计以及与口语共时的情况分析,总结出三类摊手基本性质如下:

由此可见,综合以上中国的摊手形式以及与口语共时关系的讨论,摊手1完全属于伴言手势,伴随口语发生,对其起补充、辅助作用,而摊手2则主要属于象征手势,具有“无可奈何”、“没有”等模糊义,因此它经常出现在强调疑问句或否定句中,起加强语势作用。而摊手3则处于过渡阶段,主要性质为伴言,兼有伴言手势的功能和象征语义。前者体现在如具有“话轮转换,交出话轮”的元语言功能,象征义表“邀请、给予或索求”等意味,可以独立使用。


四、中国摊手讨论及启示

1. 摊手性质

综合对摊手结构形式和语义功能的分析:我们发现摊手1在结构上最为开放,也即最不稳定,并基本作为一个伴言手势,广泛地出现在国内外的多模态语料中,即摊手1是一个重要的伴言手势,对口语起补充或强调作用。而摊手3则居于过渡阶段,不是一个单纯的伴言手势,由于有一定指向性,将对方(或涉及人)纳入言语行为中,并据此发展出有一定独立性的象征义,可作为一个“交出话轮”语用标记。摊手2在结构上最为稳定,有独立的象征义,经常可脱离口语单独使用,应归属于象征手势。我们不妨可以如下假设:在中国,最早的摊手来源于无义的伴言手势(即摊手1),渐渐发展出摊手3,表邀请或索求,而最后由于手势的接触,摊手2也从摊手1中分化出来。另外,我们发现在中国手语中,摊手已经演化成否定词和泛疑问词(林皓 2015),而这在其它手语中也有相似情况(Emmorey  1999、Engberg-Pederse 2002、McKee and Wallingford 2011)。在口语中,摊手的这种分布也有一定的普遍性,我们初步比较中国摊手和欧美摊手(见第一章第二节),其基本功能是一致的。

2. 摊手的成因

Langacker (1987)认为语法应是基于用法,语言单位产生的途径是用法的不断固化,并最终建立认知路径。Heine(1997) 也强调从语言外部动因解释语言。Tai(2005) 认为语言所体现的创造力和生成力的主要来源是概念要素,源泉是概念结构中的映射。相应地,Taub(2001)讨论了伴言手势和手语的象似性,主要是基于我们认知的心理模型(mental models)和所指之间的对应。摊手在中国人群的认知上有两大含义:一是两手摊开,即“两手空空”这一意象,容易与“否定”、“完成”之概念联结;二是“邀请”或“交出”之意。前者总体带有消极义,正如Brinton and Traugott (2005) 认为,可语法化之词大都是含有宽泛意义的词,如“来”、“去”之类;摊手是有宽泛和含混意义的手势,国人在高频使用这个手势时,很快将其与“否定”概念建立了映射关系,作为手势广泛使用于口语中。Langacker (2008:16)指出,和言语活动相关的认知过程有四个方面:关联、自动化、图式化和范畴化。我们对中国的摊手手势的发展进行描述发现,摊手这一手势遵循“关联”和“范畴化”这两个认知过程,而越过中间两个过程。由语义关联,摊手一方面与“空”,“无”关联,渐渐范畴化,体现在口语中演变成象征手势,即摊手2,而在手语中则范畴化成功能词;另一方面,摊手与“有”、“给”关联,渐渐范畴化成语篇标记,如话轮标记,即为摊手3。

摊手是伴言手势,还是象征手势?通过以上的分析,我们发现它兼有两者的功能,并且在形式结构上,可以细分成三类,有区别性功能。摊手在手势中的特殊性,在于摊手的双重性以及象征义的模糊性,这赋予其较大的弹性和延展性。通过对摊手的研究,我们发现将手势单纯归于副语言类,即伴随手势以及语言类,即象征手势(马丁、扎帕维尼娅 2018)失之粗放。对于手势这一层面的副语言系统,我们需要进一步全面和仔细的分析。手势的副语言性或语言性,需要深入的个案研究,并重新定义。

 3. 摊手研究的启示

基于多模态语料对手势的研究,进而结合有声语言多模态以及手语研究,有利于我们扩大和深化对语言的认知。本文尝试以摊手为着眼点,深入研究手势的结构和功能,以期探索作为副语言的手势层面的研究路径,推动我们对副语言的更深入的认识,对于我们从多模态视角了解语言意义重大。


参考文献

陈风华、弗朗西斯科·韦洛索 2018 多模态话语研究的过去、现在与未来——基于国内与国际核心期刊的可视化分析,《西南民族大学学报》( 人文社科版) 第2期。

程瑞兰、张德禄 2017 多模态话语分析在中国研究的现状、特点和发展趋势——以期刊成果为例,《中国外语》第3期。

胡壮麟 2007 社会符号学研究中的多模态化,《语言教学与研究》第1期。

林 皓 2015 上海手语疑问句研究,复旦大学博士学位论文。

詹姆斯·马丁、米歇尔·扎帕维尼娅 2018 副语言意义研究———系统功能语言学视角,吴启竞、王振华译,《当代修辞学》第1期。

张德禄 2009 多模态话语分析综合理论框架探索,《中国外语》第1期。

张德禄 2017 多模态论辩修辞框架分析,《当代修辞学》第1 期。

朱永生 2007 多模态话语分析的理论基础与研究方法,《外语学刊》第5期。

Brinton, Laurel J. & Elizabeth Closs Traugott 2005 Lexicalization and Language Change. Cambridge: Cambridge University Press. 

Emmorey, Karen1999 Do signers gesture? In: Messing, Lynn/Campbell, Ruth (eds.), Gesture, Speech, and Sign. New York: Oxford University Press, 133-159. 

Heine, Bernd, 1997. Cognitive foundations of grammar. Oxford University Press.

Kendon, Adam 2004 Gesture: Visible Action as Utterance. Cambridge: Cambridge University Press. 

Langacker, Ronald W. 1987 Foundation of Cognitive Grammar. Stanford, CA: Stanford University Press. 

Langacker, Ronald W. 2008 Cognitive Grammar: a Basic Introduction. Oxford: Oxford University Press. 

McKee, R.L. & S. Wallingford 2011 ‘So, well, whatever’: Discourse functions of palm-up in New Zealand Sign Language. Sign Language & Linguistics, 14(2): 213-247. 

McNeill, David 1992 Hand and Mind: What Gestures Reveal about Thought. Chicago, IL: University of Chicago Press. 

Stokoe, W. C., D. C. Casterline & C. G. Croneberg 1965 A Dictionary of American Sign Language on Linguistic Principles.  Washington, DC: Gallaudet College Press. 

Tai James 2005 Conceptual structure and conceptualization in Chinese. Language and Linguistics, 6(4): 539-574.

往期精选:

学者观点|朱晔:《英语作为附加语言之情境中的课程语言与内容语言融合的学习:理论与实践》评介(SSCI)

金立鑫 | 广义语法形态理论的解释力(一)

马嫣 赵蓉晖 | 英国基础外语教育改革的启示

首届社会语言学高端国际论坛特邀发言专家介绍(三)

首届社会语言学高端国际论坛特邀发言专家介绍(二)

首届社会语言学高端国际论坛特邀发言专家介绍(一)

首届社会语言学高端国际论坛(二号通知)

首届社会语言学高端国际论坛(一号通知)

美编 | 老尘

编审 | YOYO

The End

长按识别二维码关注我们

欢迎把我们推荐按给你身边的朋友

喜欢本文就点赞/转发吧!



您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存