• 收藏
  • 加入书签
添加成功
收藏成功
分享

基于UE5引擎与动作捕捉系统的元宇宙岭南园林综合数字展厅研究与实践

卢钦伟 孔霆楷 陈涌铨 蒙镇燊
  
三悦文摘·教育学刊
2023年7期
佛山科学技术学院 工业设计与陶瓷艺术学院 广东 佛山528225

打开文本图片集

摘要:本论文旨在探讨使用虚幻5引擎与动作捕捉系统对佛山传统功夫文化进行元宇宙数字化保存与传承的方法与应用。佛山传统功夫具有重要的历史和文化价值,但随着时间的推移,其传承面临着困境。为了更好地保护和传承佛山传统功夫文化,数字化保存和传承已成为一种重要的途径。

本论文提出使用3D动作捕捉系统对佛山传统功夫文化进行数字化保存与传承可以解决佛山功夫非遗传承受限于传承人的痛点,并且具有显著的实际应用效果。本论文介绍了使用3D动作捕捉系统对佛山传统功夫文化进行数字化保存与传承的方法,并详细阐述了该方法的步骤和实现过程。在此基础上,论文介绍了数字化展示平台的建设,包括数字展厅的设计与制作以及数字文化遗产的展示与传播。数字化保存和传承为佛山传统功夫文化的保护和传承提供了新的思路和途径,可以使其得以永久保存和发扬光大。本文提出的数字化保存和传承方法和平台也可以为其他非物质文化遗产的保护和传承提供借鉴和参考。

关键词:佛山功夫;非物质文化遗产;元宇宙;数字展厅;UE5;动作捕捉系统

非物质文化遗产是以人为本的活态文化遗产,它强调的是以人为核心的技艺、经验、精神,其特点是活态流变,突出非物质的属性。我国非物质文化遗产凝聚着中华民族优秀传统文化的精华,是中华文明发展流传至今的宝贵财富,其展现着中华民族独有的文化意识形态,需要加强保护、传承与发展。但其非物质的属性决定了非遗文化不依赖于实物存在,而是以传承人作为载体。随着社会经济的发展,非遗文化“人绝艺亡”的传承状况令人担忧,而将非物质文化遗产以数字化形式记录,运用数字化技术收集并展现于数字展厅中,则能将其活化,解决非遗传承受限于传承人的痛点,使非遗文化得以有效保护与永久保存。

21世纪以来,数字信息科技发展迅速,包括信息革命(5G/6G)、互联网革命(web3.0)、人工智能革命、VR、AR、MR,以及游戏引擎在内的虚拟现实技术革命,其成果向人们展示了构建与传统物理世界平行的全息数字世界的可能性,构成并推动了[元宇宙]概念发展。元宇宙改变了传统的科学范式,推动了传统的哲学、社会学、人文科学体系的突破与融合。它跨越了现实与虚拟现实之间的物理与数字的鸿沟,逐渐融合物理世界与数字世界。

在元宇宙的数字世界对文化遗产进行保护是一个必然出现的事物趋势,但目前由于元宇宙发展尚属于初期阶段,大多数字文化的保护仅流于表面,即仅对文化信息进行收集与储存,不能很好地向人民群众展现文化遗产的风采与其中蕴含的精神风貌;而新概念的数字展厅的落地,提供了平台载体让非遗文化在得到数字化保护后,得以进一步的有效传承与发展。朝着更强的交互性、感知性与趣味性的特点制作数字展厅,让佛山功夫以可视的情景化数字形态成为可感可知的内容,提高大众对佛山功夫的兴趣,实现佛山功夫非遗文化的传承与发展。

一、数字展厅的分析与研究

(一)数字展厅主题

本展厅使用虚幻5引擎制作,以佛山功夫为主题。展厅结合了岭南园林并通过不同的交互设计将佛山功夫展示在游客的眼前,给人一种身临其境的感觉。佛山是中国南派武术的主要发源地,汇集了南北不下于六十种拳种。“功夫”是目前世界对中国文化高度认同的两大名片之一,佛山“因佛而起,因武而兴,因商而盛”,在中国武术史上占有重要的一席之地。佛山功夫具备强大的文化穿透力,更容易跨越种族、阶层、文化、地域界限,是佛山唯一具备世界级影响力的文化元素。制作数字展厅的目的是为了传播佛山功夫,让更多人了解并学习佛山功夫的,爱上佛山功夫,弘扬佛山功夫这一非遗文化。

本展厅避免了大多数字展厅复制线下展览场景的模式来做内容陈列展示方案,改为独特岭南园林进行内容展示。目前市面的数字展厅大多存在形式大于内容、干扰元素多、操作与体验没有针对VR设备进行设计与优化等问题。本展厅则注重于元宇宙用户的体验本身,根据展厅内容,也就是佛山功夫这一文化主题进行场景设计与用户交互体验设计,使得本展厅并非仅仅是承载内容的空架子,而是与内容紧密关联,不可分割的一个整体。

(二)数字展厅模式

数字展厅通过使用UE5引擎进行搭建。游客通过操纵人物角色在数字展厅中进行浏览,数字展厅中会把对用户的指引融入场景中,使用灯光、场景变化、语音等元素实现对用户的引导,加强用户的浏览体验。

二、数字展厅制作

(一)素材的提取制作

在该展厅制作流程中,所使用的素材包括了武术动作素材和场景素材。

1.武术素材的提取

由于展厅的目的是展示武术动作,所以武术素材是否优秀成为了展厅搭建流程的重要问题。从保证武术素材的流畅性、自然性、专业度等角度出发综合考虑,采取动作捕捉技术(Motion Capture)获得武术素材。即在人物运动的节点设置追踪器,以获得其运动数据的技术。按照流程分为两个部分:前期捕捉和后期处理。

前期捕捉:有对象选择、设备调试、捕捉尝试三个重要部分。为保证武术素材的专业度,联系了佛山当地有名的传统武术工作者作为武术动捕的对象。由此捕捉的武术素材,专业度、广度、深度等都能够得到保证。

2.素材的处理

后期处理:主要是动捕数据的重定向。使用MotionBuilder、Maya、3Dmocap等软件获得FBX格式的武术素材,并使用两种处理流程:

处理流程1:处理TRC文件软件:MotionBuilder、Maya

(1)导入Actor;导入动捕TRC文件与世界球;(2)调整世界球所有点对齐处于原点的Actor;令所有点与反光点位置一致;(3)创建MarkerSet,将对好位置的特征点拖入Actor对应部位;(4)观察是否特征点能够驱动Actor;(5)FBX文件导入重定向目标角色的网格和骨骼;(6)Character导入,创建角色定义,选中目标的骨骼对应到角色定义中进行重定向;完成后选择对应的角色定义,重定向完成;(7)将动画烘焙到骨骼;(8)导出FBX,导入Maya。

处理流程2:多软件分步处理软件:3Dmocap、MotionBuilder、Maya

(1)使用动捕软件3Dmocap获取采集点的运动数据,对数据进行平滑处理,导出trc或bvh文件(2)将动捕数据导入MotionBuilder转换成FBX文件(3)把动捕数据与角色导入Maya,进行动画重定向。(4)在Maya中对重定向完的动画进行处理并导出FBX。

(二)UI设计

UI是用户交互的重要部分,与用户体验直接关联。制作展厅的过程中,基于增加沉浸感和体验感的角度,采用的是简化直接UI、强化间接指引的去UI化方案。

去UI化设计的方案基于一个基本概念:在实际体验中,出现的UI越多越显眼,越使用户感到这是虚拟场景,会直接减少沉浸感,而这种作法与项目搭建强沉浸感展厅的这一目标有着明显冲突。在这基础上,项目弱化了UI,简化了UI的设计。这种方案能与展厅搭建的其他方案(如使用数字人、搭建真实的场景等)形成一个强沉浸感的整体,减少因大量UI带来的突兀感。为了防止简化UI导致用户的操作和体验更加困难,展厅中采用了大量的沉浸感强的间接指引设计。例如在用户寻找交互点时,使用风来指引。

具体做法:用户视角界面中不会直接有UI显示,仅放置关键性的交互UI;在UI本身的设计上,使用单调的浅色,且在不会影响用户使用的范围内,维持高透明度,减少存在感。UI上所使用的文字保持简洁、单色,尽量减少文字数量。

应用弱UI方案后,展厅中UI的存在感得到了显著的降低,达到了保持高沉浸感的展厅搭建目标。

(三)场景搭建

1.场景的设计基础

展厅的基础设计理念是基于粤式传统园林来完成。采取传统园林的设计,能很好地符合展厅弘扬中华传统武术文化的主题,营造整体氛围,并且在让用户接触传统武术文化的同时能够观赏传统园林文化,合理的整体感也带来了沉浸感。考虑到对场景的真实度和精细度要求,将场景搭建在UE5中进行。

2.场景素材的获得

场景搭建所使用素材许多来自于PBRMAX和Quixel Bridge。整体素材要求在4K级。为了配合真实效果,需要重新设置其物理碰撞和大小等。使用Substance Painter来制作PBR材质贴图。

3.场景具体搭建

在UE5搭建场景时,主要分为了三个阶段:BlockOut、细化、材质和性能优化。

在最初的场景布局阶段,首先进行资料调研,初步制定场景方案。收集场景原画与概念图,制作场景情绪板(MoodBoard)场景;搭建灰盒子(GrayBox),再初步尝试场景布局,在UE5中使用BSP进行白模的搭建,不断优化场景布局,并逐步导入简易素材。在尝试场景布局中,基于虚拟展厅的基础上,逐步放弃部分现实参照,往概念化方向发展,最后确定场景布局方案后进行细化。

场景细化搭建时,将所收集到的高清真实素材逐步替换简易素材,在场景中加入动态天空插件、粒子效果、自动地形材质、自动天空效果等调试和完善细节,包括加入更多植物,优化光影设置,细化调整视觉效果等。

关于场景的材质和性能优化,考虑到场景整体基于UE5引擎,大量高清素材和光影效果等对配置有一定要求,也会影响展厅整体性能表现。因此需要从多方面进行优化。在性能优化时,需要性能调试,调出控制台,查看渲染瓶颈是CPU还是GPU,做针对性优化。具体优化有调整地形与网格体LOD、进行模型减面,降低性能消耗,优化后四边形绘制与着色器复杂度均保持在良好的范围。

(四)人物制作

1.角色创建

角色制作方案:在CC4中使用Character Creator 4+Headshot插件来制作数字人模型,再对导入UE5的角色进行网格体转Metahuman。

如图1所示

在制作角色贴图的过程中,大部分角色的贴图问题都可以通过Shader Settings来进行修改调整。创建好人物角色的各个部位之后,对角色全身各个预设好的部分进行微调。在Modify选项卡的Morph标签中,主要针对Body和Head下的项目进行调整,若想更精细化地调整人物眼睛和牙齿的话,则要到Actor Parts项目下进行设置;而Body和Head项目下的Full Body和Full Head则是对软件自带的数字人和当前人物进行插值处理。最后在角色的导出过程中,选择FBX格式,并选择导出到Unreal且仅导出Mesh,其余设置则如图2所示。

Metahuman制作人物使用以下三种方法:

1、拍摄人物正面、侧面图:选定一个预设人物并逐个进行对比修改。

2、①围绕角色拍摄多张图片,如图3所示角度进行360°旋转。

②将照片导入metashape,将图片转化成模型。使用插件将模型转换成Metahuman。

3、使用facegen将正面图和侧面图导入软件中,手动定点并导出模型。

使用Marvelous Designer来制作人物衣服与衣服动画,该方式的优点在于制作快捷且调整方便,缺点是计算较慢,占内存较大,根据推荐数值设置后,两件衣服和一条裤子总三角面数达到16w+,24fps的144帧动画abc文件大小为2.6G+,直接导入UE5中显示内存不足。根据具体情况在MD中对衣服进行分层。导入abc文件格式的动画,调整虚拟模特与衣服的相关数据,相关设置参照以下标准:

①虚拟模特:调整表面间距,推荐数值为3mm。

②衣服:选中衣服后调整例子间距,数值越小,面数越高,计算越慢,推荐数值为5以下,且更改织物为用于布料模拟的织物。

③选中衣服使用的织物更改物理属性,可套用预设或根据实际效果进行修改。

在图下方三角处打开动画窗口(MD11),将模拟品质设置为动画(完成)并点击录制。在开启模拟将衣服动画调整到没问题时再次点击录制进行模拟。布料模拟完成且检查没有问题后,将布料动画导出为abc文件。

2.角色控制

在项目的流程触发设计,每个场景都是一个箱庭,动作展示角色位于场景的视觉中心。用户走进场景的触发盒,角色便会感应并展示武术动作,此时摄像机会进入预先设置好的运动轨道,以角色为中心来展示武术动作。待动画播放完毕后,摄像机将回到用户所在位置并把角色控制权交还给用户。此后,用户可走近展示角色进行进一步的交互,如与展示角色进行比武切磋。通过预设的武术对练动作,把对练动作映射到输入,用户可通过提示抓住对手出招的时机进行反击。用户也可在进入下一场景前,操作人物角色在场景中走动,与场景中的许多功能进行互动,如翻阅书桌上的书籍,阅读关于佛山功夫的文化背景。

(五)蓝图编辑

为了丰富数字展厅的互动性,添加了一些互动功能,使观者在观赏武术动作的同时,可与场景进行互动,增加代入感和趣味感,从而提升用户的体验。

展厅中,每个场景都是一个小的箱庭。在场景中,使用射线检测、盒体触发等方式,令用户走进场景就会自动触发展示角色的动作,展示角色会播放特定武术动作。此时摄像机进入预先设置好的运动轨道,以展示角色为中心进行对动作的展示,展示完成后摄像机控制权再次切换,交还给用户。

另外建立了实时切换昼夜功能与天气系统,用户可自由更改场景的昼夜与晴雨状态。还创建了一个资料文献显示系统,该系统收集了佛山众多武术文化的详细资料,为观众提供了一个了解佛山武术文化的途径。在武术观赏中,实现对电影视角的自由切换浏览,并通过对摄像机切换进行过渡处理,使切换更自然,用户可对动画播放速率自主调控。

在蓝图中,功能写于交互Actor。在可交互物父类,声明基本接口,各接口的具体实现分别写在子类中,通过蓝图传递进行父子项调用切换以实现逻辑互动功能。进行下一步的功能需要对事件功能触发条件进行判别,确保蓝图功能能够正常实现。

(六)展厅完善

在项目后期,完善展厅中的细节,如场景光影优化,模型精度细化,性能提升等。为了增添展厅的多样性,在场景小湖中加入了程序化的鱼,让鱼儿在水里游动,使湖泊在视觉上更贴近现实且增添生机。场景中的树木添加了随风飘落的枫叶粒子效果。另设计了风的轨迹的视觉引导,为用户提供功能指引。

三、结论

作为非遗文化主题的数字展厅,借助动作捕捉技术以及3D引擎制作三维动画展示于数字展厅,可全方位地向参观者展示佛山功夫的精神风貌,功夫中的经典动作可得以精准重现,让佛山功夫以可视的情景化数字形态成为可感可知的内容,武术展示不再受限于传承人,且提供平台解决佛山功夫非遗传承受限于传承人的痛点;另外,可操作角色的游戏交互设计增加了展厅的趣味性,更能让参观者感受佛山功夫的魅力,有利于发掘功夫爱好者,为佛山非遗功夫文化的传承撒播种子。希望通过制作此交互性、感知性与趣味性兼备的综合数字展厅,提高大众对佛山功夫的兴趣,促进佛山功夫非遗文化的传承与发展。此外,动捕采集的功夫数据,还可进一步应用于娱乐、教学场景,让佛山功夫文化传承与现实开发相关联,实现非物质文化遗产与相关文化产业的良性互促发展。(指导教师:卢币)

参考文献:

[1]张家豪,常雅堃,孙淑桐.基于数字媒体技术下的智慧展厅设计方法研究[J].鞋类工艺与设计,2021,1(22):122-124.

[2]彭瑾.交互式益智游戏在虚幻引擎4上的界面和逻辑实现[J].电脑编程技巧与维护,2019(2):135-137,140.

*本文暂不支持打印功能

monitor