装饰杂志,《装饰》杂志社, 立足当代 关注本土 www.izhsh.com.cn

多维度下展开的非线性叙事——新媒体时代的体验性叙事设计

  • Update:2017-06-07
  • 栾之珑、师丹青
  • 来源: 2017年第四期
内容摘要
本文从新媒体艺术、交互设计、人机交互技术着眼,对传统的线性叙事和非线性叙事方式进行了概括和举例。同时从技术发展的角度,列举了若干媒体技术改进下的非线性叙事作品,分析了其中的意义,探索了可能的发展前景。基于语音识别、语义判断和认知语言学等基础上构建的系列语音互动剧,是笔者团队对多维度下展开非线性叙事设计的探索性尝试。作品中表现出的体验性、教育性、技术性、趣味性、逻辑性、平台性等特点体现出研究团队在新媒体时代背景下,对体验性叙事设计做出的创新性尝试和思考。
叙事,简而言之就是对事情的叙述。由于人类处于客观的三维物理空间之中,时间作为一种看不见的维度以线性地、前后不可逆的逻辑持续不断地向前发展着,这种时空关系很大程度上决定了人类自身对世界、情节、信息、关系的认知方式。线性的叙事方式被认为是信息传递和接受效率最高的文体形式。不过,在过去人类发展的历程中,文学家、思想家、哲学家、工艺匠人,同样也创造出了丰富的基于非线性叙事机制下的文学作品、纸媒作品甚至是时空作品。非线性的阅读体验、认知过程往往给体验者带来超脱现实世界的哲学境界和思维反思,带来无与伦比的、颠覆常规的认知体验感受。在步入智能时代的今天,新媒体技术和信息科学技术正在不断地冲击人们对时空观念、阅读体验的认识。为了给受众带来更具有美感和价值的作品,新媒体时代的体验性叙事设计研究势必会成为学科交叉性、创新引领性、探索实践性的设计研究课题。
 
一、传统纸媒中的非线性叙事与非线性阅读
非线性阅读不一定是基于科技和现代化才有的产物,分析传统媒介或作品中的叙事方式可知,非线性叙事早已存在。
1. 传统史书、小说中的常见叙事形式
编年体是我国传统史书最常见的一种体裁,其以时间为轴线,按年、月、日编排史实,是编写历史最早、最简便的方法,也是最经典的单一线性叙事方式文体。国别体以国家为单位,分别记叙历史事件,国别体多采取夹叙夹议的叙述形式,以时间维度作为前后关联的逻辑和编辑线索,以客观史实和国别范围为相对独立的叙事单元,呈现出了一种基于时间线索基础上的多线性叙事方式。纪传体是东亚史书的一种形式,纪传体中记叙和编辑史实的方式包括“纪”(皇帝的传记)、“传”(一般人传记)、“载记”(特殊情形的人物传记)、“志”(记载制度、风俗、经济等内容)、“表”(以表格排列历史大事的形式)。司马迁的《史记》是中国第一部纪传体史书,相比以前的史书多以编年体记述,《史记》的记录方式在当时看是开创了一种新的史书记叙体系,在今天看来则是对叙事方式从单一维度到多维度、多线性、非线性编辑方式的开拓和创新。章回体虽然不是史书体例,但却是中国古典文学作品常用的文体形式,其采用章节标题分隔叙事单元,前后按照严谨的时间顺序和紧密关联的因果铺陈展开精彩的叙述,引人入胜。
从史书体裁中的编年体、国别体、纪传体和传统经典小说中常见的章回体可以看出,多线性(或者非线性)与单线性叙事的采纳主要取决于文学题材所要传达的作者意图:何种方式更有利于读者高效、简洁、明了、深入地了解信息和体验内容,即采纳何种形式的叙事方式。史书题材中为了体现编纂的完整性、严谨性和系列性,大多会采取编年体形式;史料文体中若想突出人物塑造、国情衍化、风俗人情等内容,则大多会采用纪传体和国别体;而强调情节性、故事性、逻辑性的小说,则会采用最接近古人世界观和自然认知方式的线性叙事方式。当然,这种体裁上的选择“模式”也为后来现当代小说题材、文学形式的创新(尤其以创造多重时间线和时空穿梭理论为卖点的科幻小说)埋下了伏笔,提供了丰富的挖掘空间。因此可以看出,叙事方式的选择直接决定了作品的体验理解方式,从而给体验者带来不同的思考角度、认知方式和美学价值。
2. 传统工具书中的非线性阅读方式
先人同样创造了形式各样、满足不同功能需求的“工具书”,这些工具书体现出了非线性的叙事和信息编辑方式。从最早许慎的《说文解字》,到由张玉书、陈廷敬等人编写的按部首笔画排列的《康熙字典》;从中国最古老的天文学和数学著作之一《周髀算经》到《九章算术》;从《易经》中记述的自然哲学与人文思想,到《周易六十四卦卦象图》所阐述的变化释义,都体现出了传统纸质媒介中所承载的非线性阅读方式和多维度信息检索形式。特别值得一提的是,基于传统纸质媒介下编纂的一系列《新华字典》,其中加入了按拼音检索、按部首检索、按难检字检索等多重信息搜索方式,使用者可从不同的碎片化信息中搜索得到相同的结果——某一汉字在字典中的确切位置。同时,《同义词词典》《反义词词典》《成语词典》等工具书的产生,使得我们在得到同一个字的释义后又可以从更多不同的维度发散开去,关联到更多其他的汉字和词组。这种多节点、非线性、多维度的阅读体系折射出编纂工作者对信息的编辑思考和对阅读体验方式的设计思考。
 
 
二、新技术引入后的非线性叙事
1. 非线性叙述方式与电影蒙太奇
线性叙事方式一直是传统纸质媒介中最常见的叙事形式。20 世纪90 年代以来,认知科学和认知语言学在西方引起了人们越来越广泛的兴趣,认知叙事学、认知文体学等交叉学科应运而生。同时,基于对不断突破科学理解范围的未知世界的想象和思考,一系列基于时空弯曲理论、多重宇宙空间观念的文学作品纷纷诞生,在纸质的、线性阅读的传统中给观众带来了颠覆性的阅读体验,极大地刺激了观众的想象力和创新力。此外,随着电视电影技术、数字媒体技术的发展,大量非线性的叙事脚本也得以用电视剧、广播剧、电影作品的形式呈现在观众面前,由此产生了一系列成功的、经典的非线性叙事作品。
蒙太奇(Montage) 是引自法文建筑学的一个专用名词。从1864 年杜霍隆对蒙太奇的预言,到20 世纪格里菲斯、爱森斯坦和普多夫金的不断创新,直至当下在影视创作中的广泛运用,蒙太奇的发展迄今已逾百年。电影中蒙太奇手法的运用是非线性叙事表现手法的经典案例。电影理论家库列雪夫曾尝试把四幅画面按照不同的前后顺序拼凑起来,使观众对同样的画面产生不同的感受。在库列雪夫看来,电影表现的基础恰恰在于对镜头剪辑的把控,因为不同的剪辑方式可以传达出完全不同的具有碰撞力的观众感受。
蒙太奇具有叙事和表意两大功能,因此可以把蒙太奇划分为叙事、表现、理性三种最基本的类型。其中,叙事蒙太奇又主要包括平行蒙太奇、交叉蒙太奇、颠倒蒙太奇、连续蒙太奇等,它们构成了电影中非线性叙事的最主要的表现体系。例如,《公民凯恩》是美国著名导演奥逊·威尔斯1940 年拍摄的作品。无论从内容,还是形式上,《公民凯恩》都体现了独特的新颖性,因而被看成世界电影史上的一次重要实验和创新之作。电影中经典的长镜头烘托出的连续蒙太奇效果、密集精妙的短镜头组接所呈现出的平行蒙太奇效果,以及通过镜头组接完成的巧妙时空转换都是蒙太奇手法高度纯熟运用的表现,也是非线性、多线性叙事方式的经典创新尝试。
2. 非线性叙述方式创造的价值
除了在独立作品中展现出的艺术表现力,利用非线性、多维度的叙事方式创造的文学作品、影视作品还具有丰富、巨大、多元的价值,这些价值包括文学价值、体验价值、美学价值、文化价值、商业价值等。通过发展非线性剧情打造庞大宇宙观的成功案例是漫威影业和漫威漫画的一系列作品。漫威的漫画采用多重宇宙观的形式,成功地用不同系列的漫画出版物将同一英雄人物的故事演绎出了截然不同的内容和情节。多重宇宙观和非线性的叙事设定,使得观众更加容易接受和理解。漫威影业的系列影视作品则在线性叙事和点性叙事相互结合的情况下,将不同世界的英雄人物有机、合理地结合在一起,产生链式的强烈化学反应,引起观众强烈的好奇心和持续性的观影动力。漫威旗下的票房收入、明星广告代言、出版物收入、周边产品、特色主题公园等收入相当可观,而打造庞大的、多维度的非线性叙事世界观正是这些巨额商业收入背后不可或缺的重要因素。
再看未来人工智能、虚拟现实条件下的非线性叙事案例——2016年HBO 发行的科幻类连续剧《西部世界》(West World),其创意源自1973 年的同名电影。在这个名为“西部世界”的主题公园里,观众付出高昂的票价进入公园中,真实地扮演一个自己想要的角色,公园中其他99% 的群众演员(the host)都是机器人,机器人的每一个动作表情、神态细节都会被剧情编辑师根据角色性格精准设计,然后被工程师写入机器人程序中。整个公园内有相对固定的主题和设定,但每一个玩家进入主题乐园后剧情都是开放的,玩家进入游戏后的所有行为决策都将导致不同的剧情反馈(机器人的语言和行为),直到下一次行为决策出现之后,又会产生更多的分支和剧情。这样一个存在于影视作品的虚构的主题公园,为人们提供的是基于未来科技和虚拟现实条件下的非线性剧情体验的创想。但这种创想带来的自我反思、人性解读以及不断挖掘出新剧情后获得的自我成就感,完全可以成为当今叙事体验设计的研究思路和范式。
技术的运用让受众得以从情节故事、逻辑关联、合理与矛盾等多方面解读作品,在不现实的多重虚拟世界体验中体验无数次的选择所带来的无限可能。这种体验,或者说这种艺术性的非线性叙事方式,能更多地从哲学精神和人文主义的角度引起体验者对真实世界的反思和领悟,在虚拟世界创造出的无穷多种自由选择中,重新定位对现实世界的思考,以及对“真实自我”的认知。因此,新技术引入后的非线性叙事作品,不论表达形式如何,都拥有了独特的艺术感染力和哲学内涵,从而打造出作品丰富的品格、启发力和美学价值,引人入胜,发人深思。
 
三、由认知语言学构建的语音互动系列剧——《必果世界》
认知语言学认为:人们感知和认知世界的方式,以及在此基础上形成的概念结构决定着语言的结构,因而从认知的角度解读话语的线性结构具有合理性和可行性。另外,基于前文大量的论述,非线性的叙事方式或者说多维度下展开的多线性叙事方式又可以给受众带来强烈的猎奇心理和独特的阅读体验。
以师丹青为发起者的研究团队,将认知语言学和多线程交互剧情结合起来,利用语音识别、语义理解算法、文学编剧、信息设计等多学科知识打造了一款人工智能的语音互动系列剧目——《必果世界》,并且以游戏软件的形式呈现在用户面前。在语音对话的游戏世界中,通过交互式的人机对话,让用户以游戏的方式真实进入美国的海关、机场、纽约街头、咖啡馆、哥伦比亚大学等场景,与虚拟角色进行对话;以前后关联的剧情、连续剧的形式将每个分集串联起来,也暗设了许多任务成功与失败的隐藏剧情。用户的每一次选择都会给剧情带来不同的走向,都会得到游戏中非玩家角色(NPC)的不同反馈。
1. 真实语言环境下的语言习得——教育性
基于认知语言研究方向讨论第二语言学习,其中必不可少的关键词即“语言环境”。简而言之,对于16 岁以下尚未形成稳定母语体系的青少年来说,在多重语言环境或者自然语言环境下,非常容易形成对语言的自然习得(Language Acquisition);而对于已经有了成熟母语体系的成年人而言,想要纠正错误的英语发音和语法错误、提高词汇量、提高语言运用能力的确是难之又难,目前尚未形成普遍适行的、固定的方法。唯一可以确定的是,真实的外语使用环境和适当的母语老师提醒可以极大地提高外语学习的效率。在压力驱动和成就鼓励相结合的条件下,学习者可以更快地提高对外语的使用和掌握能力。因此,“语言环境因素”是《必果世界》语音互动系列剧中重要的组成部分。在收集大量资料后,研究团队甄选出留学出国常见的几种场景:机场值机、舱内点餐娱乐、海关安检盘问、失物招领、电梯搭讪、寻路找物,这些场景的设定就是为了打造真实有用的语言环境。通过在游戏里构建的真实场景中反复锻炼和模仿,学习者的英语运用能力和解决实际问题的能力将会得到大大提高,从而体现出作品的教育性。
2. 综合新技术条件下的交互式剧情——体验性
《必果世界》另外一个吸引玩家之处在于其具有丰富的故事线索和交互剧情,可以给玩家带来强烈的猎奇感和丰富的语言体验。每一次打开同一场景时,玩家似乎是在经历相同的问题,但实际上通过玩家自主选择的不同方案、同样意思的不同表达,甚至是偶尔超出寻常范围(但符合实际场景会话逻辑)的语音回答都会被游戏引擎准确捕捉,将编剧事先对角色设定好的不同反馈推送给玩家,使玩家听到的回答及下一步面对的问题有所不同,甚至由此获得不同的游戏结果和隐藏线索。例如,在机场值机场景中,玩家会发现自己若事先向NPC 提起过“我仅有1000 元的预算”这样一个线索,那么在接下来的提问中,NPC 会自行根据这一线索来为玩家选择符合预算范围的舱位。若事先未提及这一线索,那么NPC 由于对这一情况毫不知晓,会继续就玩家的舱位选择进行提问。再如,在海关盘问场景中,若玩家选择的入境目的是“因公出行”,那么需要回答的合理停留时间是“7 天以内”;若玩家选择入境目的是“旅游观光”,那么玩家回答6 个月以内的任何时间跨度都会获得海关官员的认可。在隐藏剧情方面,通过计时器、多重身份、多重选择以及“组织提醒”,玩家可以深入、细致地发掘许多表面未可预知的剧情。例如,在电梯搭讪场景中,为了成功获得目标的电话号码和进入排队的邀请,用户需要在自己选定的或长或短的有限时间内完成所有回合的对话。但是“组织”里的Alex 上校却仅仅用40 秒就完成了任务,这是正常计时器世界观中绝对无法取得的成绩。有了这样的“激励”,玩家可以不断地重复场景,练习在更短的时间内用更高度概括的句型句法来表达所有目标想要知道的信息。这一体验过程,即运用了典型的计时器原理和信息程序世界观中的“后门(Backdoor)权限设定”观念。这些综合新技术条件下的交互式剧情设定,也将带给玩家丰富的体验感和趣味性。
3.《必果世界》语音互动系列剧的其他特征
趣味性——针对不同玩家水平而预设大量语义预判、海量剧情储备与精准自然语言反馈。由于储备了对语言使用场景的精准设计和前期大量的多线性剧情,游戏引擎可以针对任何语言层次、任何语言掌握能力的玩家做出不一样的、精准定位的语言反馈和行为反馈。其中包含大量对语言素材的收集整理和提取,对基于语音识别结果(字符)的语义预判和分类,以及对技术局限下玩家非常规回答、玩家操作失误等因素可能造成的不流畅用户体验做出的一系列细腻自然的语言反馈设定。例如,玩家在海关场景中被问及职业时,部分“高端玩家”可能会尝试“挑战系统”,回答“我是一个杀手、一个间谍、我来行刺某某”等答案,此时你会发现海关官员立刻站起来跑出画面找安保人员将你逮捕。最终用户会被告知你此行隐藏身份过海关的任务失败了,但是由于你的尝试,恭喜你获得了该游戏世界的隐藏对话和结果。诸如此类的反馈在大量英语水平较好的玩家中得到了极好的反馈,体现出了语音互动剧的趣味性。技术性——主要体现在语义编剧过程中的精准逻辑判断与语义识别技术。任何一次玩家的回答都表达出“处于不同逻辑层次”的信息,越具体越详细的描述,其所处的语义识别层次越高。例如,当NPC 指着超大号的行李箱向玩家提问:这是你的箱子吗?玩家的回答可能有“是、不是、不确定不清楚、我的是中号的、我的比这个小、这个太大了”等。这些回答体现出了玩家不同的思维方式和语言表达能力,其中逻辑层次最高(即语义含量最高)的回答是“我的是中号的”。读者可以尝试将上述若干种回答随机取出,集中组合,会发现“我的是中号的”将会是正常自然人最先抓取和记忆的信息。同样的逻辑也被精心编排在了游戏引擎中每一个NPC 的身上,使得每一次的语言会话更加接近“一个真人在聆听你的回答”。为了应对千人千面的回答方式,现阶段需要丰富的语义素材库积累和精准的编剧设定;但在未来,结合更强大的计算机语言学习技术和语义理解技术,将极有可能打造出像《西部世界》那样的全真虚拟角色的多线性叙事体验空间。
平台性——成为用户数据收集、用户水准评估、产品迭代修订、分析结果共享的数据开放平台。信息时代最重要的价值资源就是数据,《必果世界》的后台将会累积每一个玩家的每一次回答记录,这些数据通过分析、比对、整合,将是评估用户语言能力、精进程度、词汇掌握量甚至生活习惯、生活方式的重要资源。通过大数据时代的平台交流,游戏后台引擎可以将数据转化为信息,最终将有价值的信息变成对促进外语学习有效的智慧和经验。在数据、信息即价值原矿的信息时代,游戏的平台性作用也预示着客观的商业潜力和产业价值链驱动力。
总而言之,《必果世界》语音互动系列剧是新媒体环境下综合技术手段的综合运用,是基于语义理解、逻辑判断和人工编剧框架下的非线性叙事体验设计的探索。《必果世界》将在真实的外语学习环境中打造语言习得的最佳条件,在多维度的非线性交互剧情中使玩家获得丰富的情节体验和探索体验,利用满足不同用户需求的深度语料资源库提供趣味性、定制化和多样性。在语音识别与语义识别结合的基础上,利用人工编辑和语义逻辑打造语言学习的人工智能初代模型,还可以通过后台收集真实用户的语言反馈记录,创造属于特定人群的语料素材库和语言能力评估系统,使这款游戏引擎逐渐走向平台化、开放化、众创化,使数据资源创造出更多的产业价值。
 
结语
在智能化时代,信息技术和媒体技术都在日新月异地发展。一些艺术和影视娱乐作品利用虚拟现实技术(VR)和增强现实技术(AR)等已经将体验性叙事设计上升到前所未有的高度。新媒体时代的体验性叙事设计势必会在逼真的虚拟效果、超现实的空间体验、独特超凡的逻辑叙事中,给观众带来更多的艺术体验和精神享受。但是,技术的革新始终离不开对叙事方式的精心编排,而对叙事方式的设计则代表了设计师(编纂者)高度凝结的智慧、想象力、价值观念。因此,新媒体时代的体验性叙事设计势必将会吸引更多学科交叉型、知识复合型、技术综合型的团队不断进行更多有益的探索和实践。
参考文献:
[1] 申丹:《叙事结构与认知过程——认知叙事学评析》[J],《外语与外语教学》,2004 年第9 期。
[2] 李亚萍、高治东:《话语线性结构的认知解读》[J],《商洛学院学报》,2014 年第2 期。
[3] 厉先锋:《蒙太奇在电影创作中的应用研究》[D],金华:浙江师范大学,2010
[4] 敬鹏林:《非线性叙事: 电影叙事范式的异变与扩展》[J],《重庆邮电大学学报( 社会科学版)》,2015 年第4 期。
[5] 徐晓莉:《体验过程中的有效设计研究》[J],《艺术与设计(理论)》,2015 年第4 期。
[6] 李美莲:《体验设计》[D],长春:吉林大学,2004