• 收藏
  • 加入书签
添加成功
收藏成功
分享

基于AR技术实验辅助指导系统的设计和应用

——以电视演播实验实训为例

钱季平
  
中国地名·科技与信息
2022年37期
上海政法学院

打开文本图片集

提要:电视演播实验和实训涉及多模块、多设备、多人员的协调操作,其现场指导面临问题杂、层次多、同步难和效果差的问题。借助成熟的增强现实技术和设备,建立便捷高效的自助指导系统,则可以减轻实验指导的难度,实现实验实训效率和效果的提升。

关键词:增强现实;电视演播;实验教学

由于虚拟现实(Virtual Reality,VR)和增强现实(Augmented Reality,AR)能够将计算机生成的影像和图文信息融合到真实的物理环境之中,直观地指导和帮助人们更好地认识和把握真实世界,目前VR和AR已经成为人们在学习和实践中了解知识和训练技能的一种有效辅助手段,在各行业的技能培训和工作实务中日益得到重视和应用。在专业教学领域,教育部从2013年开始推动全国高校各种虚拟仿真实验教学平台的建设,以丰富和完善实验、实践课程的教学手段。经过不断的探索和实践,实验平台的建设呈现出从多媒体技术向虚拟技术发展的新特点。

适应专业教学的要求和虚拟技术发展的趋势,我们近年对传统的影视技术实验平台进行了一系列虚拟技术的改造,累积了比较丰富的设计和建设经验。本文就电视演播实验室改造中如何利用增强现实技术实现实验教学辅助指导功能,作一些技术分享。

一、问题和任务

电视演播实验室是新闻传播和广播电视等专业最重要的实训平台,涉及从摄像、直播到融媒体制作等多门专业课程的实验教学和课外影视制播活动,是各级学校中最常见的实验和实训室。相比于其他实验平台,电视演播实验室有其特殊性,主要表现在以下方面。

(一)电视演播实验室由多种功能模块和多种设备构成,其系统组成在常见实验室中是最为复杂的。其中主要包括多机位摄像、特效切换统、录放系统、录音调音、灯光控制、虚拟背景以及现场导播等各大功能模块,每个模块中一般又含有多台摄录和辅助设备,整个系统的正常运作需要各种设备准确操作而又彼此契合无间。

(二)现代演播摄录设备都是高精度的复杂电子仪器,对操作的准确性有极高的要求。现场操作中稍有失误,就会影响整体节目效果,无法达成实验和实训目标。一些严重的不当操作,甚至会损坏设备。

(三)演播现场空间较大,导播和演播区域隔离,同步操作人员较多,整个活动的顺利进行需要较好地协调和统一。

而正是电视演播系统和操作上的这些特点,给相关实验实训的教学指导带来较大的难度。在我们的实际教学实训中,也一直面临诸多难题。其中最主要问题在于指导教师无法同步指导演播各环节上众多学生的操作,并即时回答和解决实验中的各种问题。

具体表现一是实验时学生往往各种提问并发,指导教师却无法给予即时指导。即使是操作上很简单的提问,学生也需要依序等待,教学的效率很低,效果不好。

二是由于缺乏即时引导,经常出现学生盲目操作导致设备异常的现象。而诸如参数设置错误等引发的设备故障,指导教师常常需要耗时很长才能查找出故障所在并恢复正常,从而使整个实训过程不畅,直接影响教学效果的达成,甚至实验中断。

三是电视演播设备的操作涵盖基本操作、精细设置和设备维护等不同层次的能力。由于学生水平不一,实验中指导教师限于时间和精力,很难顾及到更深知识的介绍和操作指导,实训的深度不够,无法给部分学有余力的同学进行拓展性的指导。

在基础实训阶段,由于学生普遍对设备和演播环节还不熟悉,这些问题表现得就更为突出,其结果就是直接导致实训效率低下,教学效果提升较慢。

解决这一问题的有效途径,是围绕演播系统各个操作环节,结合实训任务和内容,建立一个即时互动的实验操作辅助指导系统(下简称指导系统)。这一指导系统应能实现以下功能——

(一)直观地展示和标明各种影视设备的功能结构、主要操作按钮,准确地引导学生对设备的基础操作,自动地辅导学生完成最为基础的实验任务。

(二)详细地说明和展示设备主要的参数设置、操作效果和注意事项,帮助学生熟悉和设备的重要操作。

(三)简要地说明和图示设备连接、编组、常见问题及处理办法等较为复杂的知识要点,供设备维护时调用。

(四)具有互动和自动调用功能,实现操作时的自助引导。

近年来增强现实技术的成熟和设备的完善,为具备上述功能的实验操作辅助指导系统的开发和建设提供了多种可能。

二、设计和实践

(一)VR和AR技术方向的选择

虚拟现实是通过完全虚拟空间的设置,引导使用者沉浸其中,以取代真实的现实空间。在目前实验和实训活动中,虚拟现实技术主要应用于一些高危、高耗的实验场合,也是现代实验技术的一种发展方向。不过就目前技术发展水平而言,虚拟现实的实现,还有诸多不完善的地方。比如虚拟环境的三维建模人工和设备的投入较大,场景融合的效果不佳,显示设备价格较高且使用体验较差,系统维护技术要求较高等等。其技术的成熟和设备的普及也有待时日。目前尽管有不少虚拟现实实验室建设的案例,但总体看,其投入和效果还难成比例1。

对类似电视演播这种技能训练的实训活动而言,对设备的真实操作和演播活动的协调始终是实验的主要任务,“以实为主、以虚为辅”应该是虚实融合中遵循的基本原则,而仅凭虚拟环境中的模拟操作是无法提升学生的真实技能的。由于增强现实技术能够将虚拟的图文、动画等多媒体信息叠加和融合到真实的物理环境之中,从而帮助用户直观把握环境特点、精确操作器材、丰富对现实的了解,因此特别适合实验实训应用场景中。

不仅如此,增强现实的技术和设备要成熟很多,应用场景也日渐广泛。首先,主流的Unity、MAXST、ARKit、WiKitude等开发平台,均具有强大的跨系统、多功能开发引擎,即使是普通的实验室教师也可以利用广泛的AR工具包来创建和拥有强大效果的AR应用程序,其开发和维护的技术难度较低。

同时,AR应用程序能够支持各种显示设备。除专业的头戴式眼镜,在常见的平板电脑和手机上,也能有较好实时效果呈现,这无疑大大提高了使用的便捷性。

在AR辅助指导系统的设计和实践中,我们主要是借助Unity开发平台和工具,来进行指导系统整体构架和应用快速搭建的。Unity开发的各种引擎功能强大,应用广泛,使用方便,比较适合普通实验室技术人员来进行系统的学习、开发和日常维护2。

(二)系统的多点架构

如前所述,电视演播系统组成复杂,实验和实训涉及的内容相应较多。一个比较全面的AR辅助指导系统要根据设备的特点和实训教学任务的要求,尽可能涵盖其中主要的实训环节和重要的实验操作。在指导系统的设计中,我们按照电视演播系统的特点,将整个指导系统分成演播摄像、现场录音和灯光控制三大组成部分,再将其中核心的演播摄像部分切分成摄像机操作、摄像机控制(即CCU)、视频切换和录放和字幕等四个子模块,总共形成6个任务模块,并以此架构AR辅助指导系统。

多点架构的好处首先是应用灵活。指导系统既可以“化整为零”,便于不同专业课程实训时根据各自的教学重点各取所需。如“影视照明”课程在涉及演播室灯光相关内容时,主要调用的是灯光调控模块;而“影视录音”在实训时,可以单独调用声音控制模块。同时,指导系统可以“合零为整”,以适应综合性课程的实训需求,如“电视节目制作”、“融媒体制作”等。

另外,多点架构也可以大大减轻指导系统开发的难度。实践中可以整体策划,依次开发,同步使用,逐步提升。在人力物力投入不够的情况下,这种设计思路避免了开发任务的繁冗和复杂,比较符合大多数实验室建设和改造的现实条件,具有较高的可行性。在我们的实践中,是将整个AR辅助指导系统基于功能模块分成6个独立子系统分别进行设计和开发的,从而保证了系统架构和教学应用的灵活性。

(三)内容的三层递进

“分层递进”是所有专业实验实训课程组织教学所遵循的基本教学方式。其基本要求是根据课程内容和学生知识与技能的具体情况,由易到难,层层递进,不断深入和提高。它既体现在不同层级的实验课程的前后安排上,也体现在具体实验课程不同实验项目的组织上。

在指导系统的内容设计中,我们同样遵循这个原则,在各任务模块和子系统中,设置了“基础”、“进阶”和“拓展”三个层级的指导内容,以适应不同课程、不同实验项目和不同水平学生的使用需求。

以摄像机操作模块为例,如图2所示,“基础介绍”板块主要包括设备的基本结构和主要部件的介绍、开机关机操作以及基础拍摄的指导,适用于摄像基础类实验项目和所有上机操作的学生。“进阶操作”板块包括了摄像机操作的主要节点和操作要领,是相关实验的核心内容,既可以应用在摄像基础的单项训练中,也可以用于节目制作等综合实训项目。“拓展应用”板块则包括设备的安装、集成、调试、维护等较为复杂的技术性内容,一般实验项目中并不涉及此类知识,但可以为学有专长的学生拓展知识提供指导。

从指导系统开发的角度看,内容的三层递进,有序展现,也避免了单个模块中内容叠加过多和系统臃肿,提高了系统响应速度。

(四)多媒体显现

丰富而直观的内容展现是AR的特色之一。增强现实技术可以将图表、文字、图片、音视频和3D模型等多媒体信息叠加在目标物体之上,进行综合性展示和表达。但在具体项目的开发上,对不同信息的展现形式,需要根据对象、内容、环境、效果和开发难度进行多种权衡和选择。

所有表达形式中,文字虽然抽象而缺乏直观性,但在专业性的说明中,比如设备的专业名称和功能的解释、操作要点的提示、常见问题的解答等,文字表达依然是十分精准和有效。而且从开发的角度看,文字信息的表达也最便捷。因此,从实际出发,我们在指导系统的呈现上,使用了较多的文字进行基础和关键内容的表述。不过,单纯的文字在场景中的导入和展示,不如图片方便和稳定,所以实际上是以文图的形式展现的,比较便于阅读(图3)。缺点是视觉上和现实场景有“疏离”感,不够生动。

示意图是工程说明文件中常用的表达形式,在描述系统结构和布局、设备原理和功能等内容时简明扼要,清楚、直观。在复杂的环境中,示意图能够化繁为简,抓住要点,效果良好。如演播室灯光采用分区布局、分组调控,是比较复杂的操作环节,也是现场教学和实训中较难的环节。

但一张标有灯光位置和控制通道的灯光布局示意图,则可以让学生一目了然,心中有数,迅速上手。而且示意图通过手机和平板电脑随时调用,叠加在操控台上,学生可以按图操作,大大提高了操作的准确性(图4)。

另外,演播设备各种操作手册中一般都提供了重要的示意图说明,这也为系统开发和制作提供了丰富的素材。在整个指导系统中,从整体布局到部件说明,大量采用了示意图。这很大程度上是基于效果的直观和制作的便利。

实物照片是另一种类似的表达形式,其特点在于能够对复杂和细微的对象进行静态的精细说明和突出。指导系统中实物照片可以配合文字,用以说明设备复杂的操作面板、数字化参数调节、图形化的指标显示、视频信号、彩色按钮和指示灯、差别细微的设备接口等(图5)。实物照片展示内容真实,细部表达精准,和现场设备和环境也能很好地契合。而且内容制作方法简单,教师可以根据教学实际,及时增补新的图文,开发和使用的效率都很高。

基于电视演播实验实训本身的特点,在内容的具体详尽和表达的直观生动方面,视频有其天然的优势和表现力。指导系统在三个方面的实验指导上,制作了丰富的视频内容。

一是动作和流程的规范,如演播摄像机操作的正确姿势、摄像机的开机和调试步骤、话筒佩戴的方法、试音和调音的程序、灯光的检查和调试等等。

二是演播过程性操作,如摄像机的变焦与跟焦、视频的监控和遥控调节、灯光的开场淡入和淡出、镜头切换和字幕加载等等。

三是视觉效果的展示,轨道运动镜头、如节目灯光的设置和现场效果、画面的虚拟合成、画面特效切换等等(图6)。

这些实验项目都是连续性的过程,静态的方式很难展示其中的操作要点和效果。而视频表达则直观、连续、生动,和演播现场环境也特别融合,因此成为指导系统主要的内容展示方式。从实际使用情况看,虽然视频内容的制作需要较多的投入,但指导效果是最有效的。

需要说明的是,3D仿真模型也是一种常见的呈现形式,并有着生动的表现效果。不过,其长处在于仿真和生动,但身处真实的演播环境中,这一优势并不显著,而其无法展示复杂的专业内容的缺点则十分明显。加上3D仿真模型的制作耗时耗力,因此指导系统中并未采用。另外,为了避免干扰现场课堂教学和实训,系统中也未使用音频。

(五)自主互动

指导系统主要采用比较成熟的图像识别方式,通过手机和平板电脑等移动终端来识别标记图像或符号,实现叠加内容的激发、转换和互动。

指导系统为每台设备设置了整体外观图像标记,一般只要大体在镜头范围内,终端即可识别并激发特定的指导信息。这些信息主要是设备的基本结构和主要部件、主要功能的说明。

但在具体的设备部件的介绍和指导中,图像标记的使用中有其局限。一是演播制作中缺少环境照明,设备如果处于光线不足的情况下,可能无法迅速识别;二是影视设备众多,局部构件在外观上多有类似,很容易造成识别的误差和混乱。

因此,我们在设计系统时,大部分使用的是符号标记,即将指导内容细化归类,以字母加数字的形式制作标记,并贴于设备的相应位置。实际使用中,其识别效果要远高于图像标记。

另外,在相关内容的转换上,系统主要采用屏幕点击的方式来实现简单的交互,如下一层内容的选择或上一层内容的回放。

三、应用和效果

电视演播实训AR辅助指导系统在开发中,同步应用在相关课程的实验实训中,并逐步成形和完善。从目前教学实践看,效果明显。

一是借助成熟的技术,以较少的人力物力,由一线教师和实验人员合作开发成了一套有效的实验教学辅助工具。目前,指导系统已经应用在“电视摄像”、“电视栏目制作”、“广播节目制作”、“影视照明”、“融媒体制作”等多门专业课程的教学和实践中,有着较好的适应性和拓展空间,师生评价良好。

二是指导系统实现了便捷、高效的自助学习功能。在实验实训的过程中指导系统能够为学生提供及时而有效的操作引导,学生有针对性地自主选择内容而无需教师帮助,学习的效率大大提高。

三是减轻了实验指导的难度和压力。教师可以从大量重复的问题中解脱出来,把精力重点放在实验环节的组织和安排、实验过程的监督和实验效果的检查上,从而实现实验实训效率和效果的全面提升。

不过,限于人力物力的现实条件,我们的指导系统还有诸多有待完善的地方。

一是内容显现的注册和定位不够精准,没有更好地融入环境和设备中,形成“虚实合一”的效果。这主要是因为技术开发力量不足造成设计上的妥协。

二是系统长时间的使用容易视觉疲劳。这主要是缺乏头戴式眼镜之类的专业显示设备,而手机等移动终端,屏幕小且经常晃动,容易引发眼睛不适。

三是屏幕点击式的互动方式比较简单,内容的选择和更新还不够流畅。

尽管如此,整体看,指导系统开发的基本思路还是适应主流技术发展的要求的。目前“虚实融合”已经成为实验技术发展基本的技术路线,而随着开发技术的不断提升和相关设备的日渐完善,实验技术将迎来新的突破性发展。在这个过程中,一线的教师和实验技术人员的尝试和努力,其经验积累和技术提升都是必要的和有价值的。

注释:

1.参见实验空间—国家虚拟仿真实验教学项目共享服务平台, https://www.ilab-x.com.

2.参见Unity实时内容开发平台,https:// www.unity.cn/.

作者简介:钱季平汉族,1965年11月生,籍贯安徽芜湖。博士研究生学历,上海政法学院讲师,主要研究方向为广播电视技术、实验室技术

*本文暂不支持打印功能

monitor