一、引言
2016年7月,由任天堂、Pokémon和谷歌Niantic Labs公司联合制作开发的增强现实RPG手游Pokémon Go[1]发布,并且在短短的几个月迅速风靡全球,使得增强现实游戏重新成为人们关注的热点。与此同时,增强现实技术的不断应用为教育游戏的发展提供了新的动力。增强现实教育游戏将增强现实技术以适宜教学内容的方式应用到游戏环节,通过对现实世界的虚拟信息扩增,辅助知识内容在游戏中的体现与传授,拓展了游戏的活动形式。
目前,移动增强现实教育游戏更多地应用于科普教育。蝶千寻是一款以蝴蝶种类教学为主题的教育游戏[2],它的主旨在于通过使用者在野外与虚拟蝴蝶的互动,激发进一步观察了解蝴蝶的兴趣,获取与蝴蝶相关的生物知识。蝶千寻一般应用于室外自然环境中,使用者可通过游戏应用,在手机屏幕上看到各类虚拟蝴蝶叠加在真实环境中。学习者可以仔细观察蝴蝶的颜色、形状、种类特征,并与蝴蝶进行手势互动。AR Dinopark是一款通过利用增强现实技术让原始世纪的恐龙“复原”在现实生活中的科普类游戏[3],将远古恐龙与现代空间结合在同一画面上,创造出新颖趣味的互动体验。AR Dinopark游戏共有四项基本功能:通过用手机摄像头扫描标记得到恐龙的三维模型;可通过手势操作改变模型的朝向、位置、大小;触摸恐龙并完成简单的互动;与恐龙合照,拍摄出如同生活在远古侏罗纪时代的照片,并上传到博客、Facebook、Twitter等社交平台。
通过虚实结合的方式,增强现实技术使得抽象教学内容具象到现实生活中,降低对学习者迁移能力的要求,辅助学习者完成认知过程。此外,它可以通过学习者与模型实时互动,增强学习者对教学内容的关注,延长沉浸时间,加深对内容的理解。
二、设计与开发的原则
增强现实教育游戏的设计与开发有两大难点,这也是教育游戏和新兴技术相融合时普遍存在的问题:其一,如何平衡游戏中的教学内容与纯娱乐性的内容;其二,如何在兼顾增强现实技术特性的前提下,将该技术系统地嵌入到游戏和教育的结合点上,并在教学重点上发挥出该技术的优势。
(一)设计原则
对于增强现实教育游戏而言,设计的过程中需要充分考虑以下5个要素:
1.真实与虚拟的融合
增强现实作为该类游戏的核心技术,应尽量融入至游戏情境中,减少由于技术应用带来的游戏环节不协调、游戏内容呈现突兀等问题,避免在游戏过程中,因真实与虚拟的切换而打断学习者的连续思维。所以,在设计游戏时,应着重考虑增强现实的开启、展示以及退出形式。增强现实的应用要与知识内容以及环境背景相契合,例如游戏所要呈现的虚拟教学信息为生物,那么在设计时就可以将真实情境设定在自然界中,以减少叠加信息与原有情境的脱离。
2.人机互动
增强现实游戏根据硬件载体设备可分成许多种:头盔显示器、计算机、移动设备等等,每种硬件载体都具有自身独有的互动特点。因此在设计增强现实教育游戏时,要根据其终端特性来调节游戏的操作方式。首先,游戏的设计上,应充分考虑到人机交互的灵活性、操作的简便性,最大程度满足学习者的人机互动需求;其次,游戏的导航系统、功能布局应该清晰明了,使学习者一目了然,能够迅速进入游戏,减少由于游戏本身带来的教学障碍。另外,基于移动设备的增强现实教育游戏还应该注重游戏运行的稳定性,减少由于增强现实扫描叠加信息不稳定而造成的学习者的心理反感。
3.反馈机制
不论在何种游戏中,完善的激励反馈机制往往能促使学习者更为专注地沉浸在游戏中,激发学习动机,维持学习兴趣。因此,在设计游戏时也可以参考传统游戏的成功经验,通过虚拟角色的升级、积分奖励、情节推动等多种手段来增加游戏的可玩性,延长学习者的学习热情。与此同时,设计时应注意到:反馈机制除了引发学习者的兴趣外,还应在游戏过程中适宜地辅助学习者,起到响应和提示的作用。因此在设计过程中要考虑学习者可能发生的问题,并制定对应措施。在游戏结束后,游戏设计中必须涉及与知识学习相关的评价。
4.与学习目标以及学习者吻合
增强现实教育游戏的游戏情节和激励措施的设计,要充分考虑学习目标和学习者的特征。首先,游戏情节能够导向所需的学习目标,即学习者在游戏的过程中,最终能够达到要求的学习效果。增强现实技术能提供给学习者虚实结合的教育情境,设计过程中要保证情境中的模型、动画、效果为学习服务;其次,增强现实教育游戏的虚拟信息融入感较好,利用这一特点可以设置更多的学习辅助信息,使游戏者根据提示进一步拓展思考,引导学习者完成学习目标;最后,游戏故事背景与学习者年龄段相符,并根据学习者的认知背景,设计相应的情节、内容和效果,保证学习目标贯穿始终。
5.感官体验
许多增强现实游戏引入了多种感官体验,学习者可以在游戏情境中感受逼真的画面与音效,甚至接收来自嗅觉和触觉的信息,全面的感官刺激将会使学习者深度沉浸至游戏营造的情境中。同时也可以看到,游戏区别于日常教育在于其具有娱乐化特征,因此在界面设计上应当符合学习者的年龄偏好,优化用户体验。
(二)开发过程
归纳国内外增强现实教育游戏的案例[4-6],以一般的游戏开发流程为基础,结合增强现实技术的特点及开发经验,整理并总结出增强现实教育游戏开发在需求分析、游戏设计、游戏开发、测试发布各个环节需要考虑的问题。
1.需求分析
增强现实教育游戏需求分析主要涉及三个层面的内容:教学内容分析、学习者分析、关键技术分析。其中,需要着重考虑的内容有:教学内容与增强现实技术的贴合性、教学开展场所与增强现实技术的匹配度、增强现实技术所基于的终端设备特性。
(1)教学内容与增强现实技术的贴合性。增强现实技术作为何种手段介入教学内容是两者结合的关键点。当增强现实技术作为演示教学内容的虚拟模型介入时,需要考虑该类型知识内容是否适宜用具象、立体的模型来展现,这种介入形式需要同时考虑增强现实游戏制作所需的模型素材以及动画效果实现的可行性。当增强现实作为创设教学内容所依托的虚拟故事情境介入时,需要考虑该类型教学是否适宜在情境中教学,所依托的情境是否适宜用增强现实的形式展现给学习者。在这里,可以引入和其它教育游戏的对比分析,例如常见的虚拟教育游戏,确保增强现实技术的应用有其不可或缺的意义。
(2)教学开展场所与增强现实技术的匹配度。教学游戏开展场所是否符合增强现实特性,在很大程度上影响增强现实技术在游戏中的应用是否友好稳定。增强现实技术在使用过程中,对标记对象的识别性能受到标记分辨率、标记稳定度、环境光源等因素的影响。因此分析过程中,需综合考虑教学环境来确定如何应用增强现实技术,以期提供良好的游戏体验。此外,在有些增强现实游戏中,需要考虑定位技术与环境的适应性。目前,小范围的定位技术有WI-FI无线定位技术、QR-CODE技术、红外线定位技术、无线射频定位技术等,而大范围的定位有基于GPS和基于移动运营网的基站的定位等,基于不同定位技术的增强现实应用有其各自的适用场合。
(3)终端设备特性。根据游戏终端设备所具备的性能,游戏的功能与交互形式存在着较大差异。以移动设备终端为例,考虑到移动设备的操作方式多以手触为主,包括按钮、触屏滑动、手势操作等,因而增强现实环境中学习者与虚拟信息实时互动,需要通过以上方式进行信息传输。同时,由于移动设备渲染绘制虚拟模型的速率及承载量有限,所以不宜在设计环节加入过多的情境要素,以免导致游戏不稳定。
2.游戏设计
游戏需求分析结束之后,可以根据游戏目的进一步规划游戏整体架构。作为开发者,首先需要从教学资源出发,分析游戏剧情、虚拟角色、情境背景等内容,以此为基础奠定游戏整体基调;再从教育游戏活动任务出发,考虑游戏系统整体应具备的控制框架,例如规则设计、激励措施设计、评价系统设计等,使之成为一个统一的整体。在设计阶段,需要特别加以强调的是增强现实资源的设计。
增强现实资源设计包括了实体标记对象的设计以及虚拟数字资源的设计,这两者决定了在游戏中,增强现实虚实结合的是什么,如何显示其互相关联。对于实体标记对象的设计,要求开发者进一步关注标记的大小、外形、存在形式等物理性质是否配合游戏界面中的数字资源。而对于虚拟数字资源,需要关注其物理感官、光影效应是否能使其与摄像头捕捉到的真实画面相融合。同时,开发者可根据游戏剧情,对实体资源和数字资源进行整合,通过故事背景内容将两者无缝接合。
3.游戏实现
实现阶段主要是根据游戏需求和游戏设计方案,选取开发平台和增强现实开发工具,选择合适的开发语言,实现游戏主要的关键技术,最终完成游戏相关的各功能模块。
4.测试与发布
开发初步结束后得到的是增强现实教育游戏的原型,需要根据测试反馈效果对游戏进行进一步的调试。调试中需要关注的内容主要有两个方面:首先,该款增强现实教育游戏是否达到了预期的教学目标。针对这个问题可以通过选取适当的群体进行游戏体验和测评,收集体验者的意见与建议,或者通过游戏后台记录的数据来分析学习者游戏过程中对教学内容的理解和应用;其次,该款增强现实教育游戏在应用增强现实技术的环节是否存在漏洞或问题。主要是通过学习者用例测试,来发现隐含游戏中的缺漏,进行二次修改调试。
三、“泡泡星球”的开发
基于上述讨论,本节将介绍一款增强现实教育游戏:泡泡星球,具体说明增强现实游戏设计与开发的整个过程。
(一)案例简介
泡泡星球游戏是一款基于增强现实技术的英语词汇教学游戏,其核心思想是将日常英语词汇以情境的形式进行划分,通过情境问答的方式辅助学习者进行单词的认知和记忆。游戏背景建立在一个虚拟的未来星球——泡泡星球上,该星球正面临着前所未有的毁灭性灾难,每个星球上的物体都赋予了泡泡属性。学习者通过正确的单词的学习,能够“拯救”星球。一旦学习任务失败,所有的城市、公园、住房、医院都会在泡泡爆破的动画中沦为废墟。该剧情针对小学低年级学习者,希望通过增强现实营造想象与实境相融合的体验,激发学习者(小学低年级学生)对于游戏内容的求知欲。
增强现实技术在该游戏中起到的作用主要为:其一,创设与单词内容相对应的虚拟环境,为学习者快速营造一个逼真直观的学习情境;其二,提供与单词对应的虚拟模型,强化对单词的认知与记忆。
(二)游戏需求分析
“泡泡星球”教学游戏对象是幼龄儿童,这一阶段的儿童对事物的感知以整体轮廓的感知为主,而对细节的关注能力较弱,游戏的设计要充分考虑这些特点,学习内容的内化要借助形状知觉,即知识要与具体事物相关联,对于抽象的教学内容辅以平面或立体的图像将会有效降低其认知门槛,辅助学习者完成学习任务。同时,由于该年龄段的学习者对于思考问题、分析问题、完成任务等能力上已经具备初步的能力,因此可以通过有效引导让学习者在游戏过程中完成简单的操作,但不宜过于复杂。从记忆的方法上来看,低龄儿童还不善于主动构建知识联系,因此多数停留在形象记忆上,对抽象概念的掌握水平不高。
根据以上内容,该教学游戏设计应该注意以下两点:第一,注重游戏情境的创设,通过丰富的情境体验来促进学习者对于单词内容的理解记忆,同时利用增强现实技术的新颖性,保持学习者的兴趣,延长其记忆时间;第二,内容贴合学习者知识背景,使学习者可以通过对学习内容的联想加强记忆。通过设计丰富的画面和有趣的游戏情境,引导学习者将抽象的单词和具象的虚拟模型信息相联系,辅助其完成认知和记忆的过程。
(三)游戏设计
1.总体设计
泡泡星球的总体架构如右图所示。首先根据游戏的教学用途,确定这是一款应用增强现实技术,以情境问答为主要活动形式的游戏,此后的设计均在此基础上拓展。
前期以游戏策略设计为主,围绕情境问答所需的故事背景、答题规则、答题激励措施、完成问题后的学习信息反馈以及得到反馈后的诊断强化学习等方面展开,目标是使学习者在游戏中完成一个完整的英语词汇学习过程。中期以功能模块设计以及资源设计为主,功能模块中除了核心的增强现实技术外,还包括了移动应用所需的用户图形交互拾取功能、数据封装、数据存储与载入以及实现教学策略所需的单词自动化抓取、社会分享系统等。
资源设计按其用途分为两类:增强现实资源设计和游戏资源设计,其中增强现实资源设计包括实体资源及虚拟资源。实体资源为增强现实标记,虚拟资源为3D场景模型、人物模型等。标记通过功能模块中的增强现实引擎扫描识别并进行跟踪注册,并将场景和人物叠加到现实场景中,并在手机显示屏上呈现叠加后的景象。
以此情境为基础开展的教学问答,将通过功能模块中的数据封装,存储入数据库后台,用于评价分析学习者的学习结果并推送相关诊断强化信息,供学习者在游戏后巩固复习单词内容。至此,形成整个以故事引导、任务挑战、情境问答、探索发现、记忆联想、记录反馈、成就激励、巩固强化等环节组成的教育游戏。
泡泡星球的策略设计包括答题模式、时间控制、激励措施、学习反馈以及复化强化等。游戏每次由单人登录完成,每位学习者需根据3D虚拟情境,回答系统给出的问题。学习者可以在游戏过程中与模型互动,自由移动位置或变换手机摄像头的距离来完成对模型的观察,以求在最短时间内准确地回答游戏提问。在本案例中,确定每题答题时间为5秒,从给出题目开始计时,到选择答案后计时结束,若单题用时超过5秒则视为放弃作答。为吸引学生的兴趣,激励分为过程性激励和成果性激励。对于过程性激励而言,若在规定时间内未完成回答或回答错误,界面会给出失败信息,并激励学习者继续完成任务。反之,若学习者很好地完成了答题,界面会给出鼓励信息。成果性激励通过成就系统(即社会分享功能)实现,通过社会分享功能使学习者可以将游戏中取得的阶段性成果与他人进行分享交流,从而强化学习者的成就感,提升其学习兴趣。学习者完成相应数目的单词学习后,数据库会同步读取答题情况并做出分析,推送给学习者,使学习者第一时间了解到答题情况以及薄弱的单词模块。答题完成后,系统后台根据学习者的答题情况(用时和正确率)来判断该学习者薄弱的单词内容,并计算出生疏度并以此进行排序,推送相关单词信息给学习者,从读音、解释、造句等多个方面对该单词进行进一步巩固强化。该处将传统单词本与游戏结合,意在及时解决学习者在游戏过程中碰到的问题。
2.功能模块设计
泡泡星球主要功能有六大子模块:增强现实、随机出题、评价反馈、数据存储与载入、单词本推送、社会分享。
(1)增强现实模块。本案例中单词场景、游戏角色的选择以及根据情境回答问题的环节均通过增强现实技术实现。增强现实功能主要基于扫描图片标记来完成,扫描并识别图片标记后即读取该标记对应物体的ID号,从而在数据库表内查询到该ID号的场景和人物模型,实现实体标记和虚拟模型的关联。同理,在情境问答过程中,以增强现实的形式将抽象的单词文本转义为具象的3D模型叠加在真实的三维空间中。每道题目均围绕场景中的一个模型展开,学习者通过观察情境模型、回忆联想单词,最终思考确定答案。
(2)随机出题模块。为提升游戏的可玩性,避免题目重复带来的抵触心理,学习者进入游戏后,系统即从后台即生成一个随机数,该随机数即对应于数据库表中题目的ID号,在抽取题目时同样用随机数选取混淆项与正确选项配对,生成最终的题目。
(3)评价反馈。为统计学习者在游戏中的表现情况以及对单词的掌握程度,系统将每次答题结果判断后输入数据库表中。不仅在每次答题后给出激励反馈信息,而且在完成整个场景题目后,系统会根据答题情况进行总体的单词掌握程度分析,如正确率低即任务失败,无法解锁下一个单词场景,反之则任务成功可以继续闯关。
(4)单词本推送。为提供给学习者复习巩固的环节,游戏加入了单词本推送功能。对游戏中判断错误的单词进行及时纠正,对虽然猜对但记忆模糊的单词进行明确讲解,对掌握了的单词进行扩展延伸学习。系统会根据学习者答题情况抽取对应的单词信息以单词本的形式推送给学习者。
(5)进度存储。学习者中途意外退出游戏后,能够再次加载之前的游戏进度,避免重复训练同样的单词内容,游戏加入了进度存储功能来控制整体进程。游戏在答题环节会存储题目作答状态,并在二次加载时判断题目作答状态,从未作答的题目中再次随机抽取题目ID号,继续进行游戏。
(6)社会分享。将游戏成果以文字或图片的形式,分享到新浪微博、腾讯微博等社交平台,记录传播每个学习者在游戏中的成长提升。社会分享模块可以实现三大功能:其一,体现学习者的个人学习成就,作为激励措施激发学习者更强的学习热情和积极性,使每位学习者在游戏中的学习成长轨迹变得更为真实;其二,引发小范围的学习共同体形成,学习者在分享时也可加入对知识内容的理解感悟,在社交平台上与其他学习个体进行沟通互动;其三,增强游戏的趣味性,学习者能与游戏中的虚拟人物、虚拟场景合照,进一步感受增强现实技术带来的奇妙体验。
本游戏依所选用的技术方案为JDK+AndroidSDK+Unity3D+Vuforia,Vuforia是针对移动设备的增强现实软件开发工具包,它支持主流移动平台的接入,其核心技术主要利用计算机视觉技术通过摄像机实时捕捉现实世界画面,对特定图案或者纹理进行检验,并返回检测到的目标图案的位置信息。通过此功能获得的信息,可以方便地在移动设备屏幕上迭加虚拟多媒体对象。
四、应用与评价
本案例中的英语单词教学游戏定位为自主学习游戏,学习者可根据自身兴趣以及单词掌握基础来确定学习内容。学习者进入游戏界面后,首先通过一段游戏角色对话来了解游戏故事背景,故事背景以泡泡星球遇难急需勇士前去化解危机为主题内容,目的是为了激发学习者解决问题的使命感。了解游戏故事梗概后,学习者会以增强现实的形式进行角色选择,使3D角色对象生成在自身所在的真实情境中,并与角色进行手触互动,正式进入游戏的核心内容——情境问答。学习者可以以增强现实的方式进行单词场景的选择,根据虚拟情境中的对象回答系统提问,这也是实现教学目标的重点环节。完成所有提问后,系统会根据答题情况给出评价,并依据学习者在游戏中的表现,推送其生疏的词汇进行自主学习。另外,游戏会提供社会性平台分享功能供学习者展现游戏成就,分享讨论学习内容和学习方法。具体的操作包括以下步骤:
第一步:启动软件,按照按钮提示进入游戏,读取题目的故事背景。提示内容交代了泡泡星球的起源由来,赋予每位学习者以解救星球的使命感,从而使学习任务附上了游戏化的色彩。
第二步,选择游戏角色,并与角色互动。学习者可通过扫描标记卡片来选择自己喜欢的游戏角色人物,卡片上的角色轮廓图是为了进一步引发学习者对于角色形象的好奇心。游戏识别到人物后,会在屏幕上叠加出对应的3D虚拟人物,与学习者进行互动,学习者可通过触屏控制人物的动作,体验丰富的互动乐趣。虚拟人物的创设是为了使学习者进一步沉浸于游戏的故事环境中,将自身与角色紧密联系,完成游戏任务。
第三步,游戏情境解锁。点击进入闯关后,学习者可以看到六个生活场景,分别为公园、学校、花店、甜品店、超市和医院,每个情境代表一级关卡,除公园以外的其它情境均未解锁,需要通过闯关胜利来解锁下一关卡。游戏中所涉及的单词学习任务以场景区分,划分到这六个子模块中,因此每完成一个子模块即完成其情境对应的单词学习目标。学习者可在此界面中查询哪些情境已解锁,对于解锁后的情境可以用标记卡片的扫描识别来获取虚拟情境,反之系统会提示该情境未解锁。
第四步,扫描情境标记卡,进入游戏情境。在首次登陆时仅公园情境处于解锁状态,因此退出关卡查询后,扫描公园对应的标记卡即可在手机显示屏上看到渲染生成的三维虚拟模型,即泡泡星球的公园场景。这个公园由几十个3D模型组建而成,学习者通过旋转标记卡或调整自身手机位置朝向来对公园情境进行观察,可以将摄像头靠近模型观察细节,也可以拉远观察公园全景。公园中包含有植物、动物、各类娱乐设施等对象,因此对应的单词内容也围绕这些主题展开。
第五步,学习者读题,在场景中搜索目标对象,根据题目中的提示信息,搜索到目标对象,选择其对应的英文单词。
第六步,全部作答完毕后系统给出整体结果。本案例中每个情境设置了10道题目,当完成要求题目数后,系统即会给出答题结果,学习者可查看自己的正确率。
第七步,系统根据错题内容向学习者推送单词本。若学习者在情境问答过程中有错误,系统会存储相应信息,在单词本中显示该题对应的单词内容:单词拼写、模型图像、音标信息、释义、例句等,以辅助学习者及时纠错,并在重构知识框架的过程中,获取全面的单词信息,避免留存漏洞。
第八步,分享学习成果,或与角色互动合照。作答完毕后,学习者可以将自己的游戏成果分享到微博。通过社会分享平台给予学习者一个正向激励,同时,学习者也可与代表自己的角色模型合照,在平台上进行分享,增强游戏的趣味性。至此,学习者完成游戏的环节。
开发完成后,开发者为了充分了解用户感受进行了多次用例测试。开发者向游戏用户介绍游戏操作,用户根据讲解及提示完成游戏体验,开发者记录不同用户的使用过程、用户主观体验感受、异常事件流(使用过程中没用预计到的事件),询间用户对于游戏效果的评价。使用过程的观察以及用户主观体验不预设框架,效果评价则预设三个问题:是否更容易记忆单词,是否愿意继续该游戏学习、是否愿意将来继续尝试使用这类AR教育游戏学习。我们对20个用例的主观体验及异常事件流进行了整理归纳,对效果评价进行了统计,括号内为相应观点的反馈人数或事件发生的次数,如右表所示。
用户反馈基本一致,认为该游戏的创意新颖,3D的场景非常有趣,这些反馈说明增强现实技术应用的有效性。但是在用例测试中也反映出一些问题,例如游戏音效不够理想,试玩者在自行操作时对于扫描标记选择角色的过程仍有所不解,单词本没有融入游戏情节等等,这些问题需要作进一步改进。对于游戏效果的反馈,大多数用户都认为该游戏对于记忆单词更为有效,但由于该游戏使用过程中存在一定问题(例如音效、标记不够明确),只有60%用户愿意继续使用该游戏学习英语,但是所以用户均对这类AR教育游戏的前景非常认可,如果将来有类以AR教学游戏,仍愿意继续尝试。
五、结语
从测试结果上看,通过引入增强现实技术,泡泡星球游戏完成了预设的学习效果,在用户体验上取得了良好反馈。作为一款增强现实游戏,本案例只运用了Vuforia中基于视觉标记的识别叠加功能,游戏中还缺少位置识别、团队合作、角色扮演等增强现实游戏的代表性元素,因此游戏功能有待进一步丰富完善。此外,由于单词情境问答模块仍旧以传统出题答题形式呈现给学习者,没有将其融合在游戏策略中潜移默化地进行传授,因此在教学内容与游戏活动的结合上仍有待改进。后续的开发将结合基于位置的识别功能来丰富游戏的形式,运用GPS手持设备叠加虚拟信息,借助学习者与场所环境间互动,来促使其解决复杂问题、获得相关经验。同时,将在游戏中强化协作功能,将需要训练的知识技能融合在游戏任务中,通过团队合作、角色分工完成学习任务。
转载自:《中国电化教育》2017.3 总362期24-30
深圳市幻实科技有限公司是一家为企业和消费者提供增强现实AR解决方案的高科技公司,主要致力于AR技术的研究和应用,公司的增强现实AR产品和项目涉及玩具、教育、影视娱乐、广告传媒、婚纱摄影、服装、金融、旅游、展览等行业。 AR定制、AR产品代理、商务合作请联系15361450490(同微信)。返回搜狐,查看更多
责任编辑: