• 收藏
  • 加入书签
添加成功
收藏成功
分享

虚拟数字人技术在教育领域的应用研究

潘有崇
  
新中媒体号
2023年75期
东新大学计算机工程系 韩国罗州 58245

摘要:虚拟数字人技术是近年来快速发展的前沿领域,随着人工智能技术的进步,其在多个行业中的应用日益广泛。本文综述了虚拟数字人技术的基本概念、生成方法及渲染技术,重点探讨其在教育领域的应用价值和关键场景。通过分析数字人在教育中的“智情双驱”理念,本文指出数字人能够提供个性化的学习体验,并提升学习者的参与感和互动性。此外,本文还讨论了基于生成对抗网络(GAN)的生成图像检测技术,为未来研究方向提供了展望。

关键词:虚拟数字;生成式技术;教育应用;智情双驱;GAN检测技术

1虚拟数字人技术概述

虚拟数字人技术作为近年来快速发展的前沿领域,其重要性日益凸显。随着人工智能技术的不断进步,虚拟数字人不仅在娱乐、游戏等行业得到应用,也逐渐渗透到教育、医疗等多个领域。数字人技术的核心在于利用计算机生成高度拟真的三维模型,模拟真实人类的外观和行为,从而为用户提供更加沉浸式的体验。

在发展历程上,虚拟数字人技术经历了多个阶段。从最早的简单三维模型创建,到后来的基于物理的渲染技术,再到如今利用深度学习和神经网络生成数字人的方法,技术的演变不断推动着行业的进步。根据晏轶超等(2023)所述,生成式人工智能技术的应用使得高质量数字人的生成变得更加高效和可行,为人类进入“元宇宙”等数字空间的梦想铺平了道路[2]。

元宇宙概念爆火后,作为现实与元宇宙场景连接的重要“媒介”之一虚拟人以主角身份再次破圈。虚拟主播、虚拟教师、虚拟客服、虚拟导游等各类虚拟人物形象也愈发立体和全面地展示在我们的生活中,虚拟人普适化看似又进了一步。然而,这些倍受追捧的虚拟人多以CG技术加持,低智能的驱动能力、局限的推广应用、高额的造价却让更多受众望而却步。

1.1虚拟数字人概念的起源

“虚拟数字人”一词最早源于1989年美国国立医学图书馆发起的“可视人计划”(VisibleHumanProject,YHP)。2001年,国内以“中国数字化虚拟人体的科技问题”为主题的香山科学会议第174次学术讨论会提出了“数字化虚拟人体”的概念。这些“虚拟数字人”主要是指通过数字技术模拟真实的人体器官而合成的三维模型,主要应用于医疗领域的人体解剖教学、临床诊疗等。

1.2虚拟数字人的定义

数字虚拟人是指利用计算机技术、互联网、传感系统、虚拟现实等技术,在一个真实身体基础上构建的,能够实现真人生理结构和行为特征、以及在真实场景中进行情感交互等功能的多维融合、虚实融合的数字人。与具备实体的机器人不同,虚拟数字人依赖显示设备存在,并且拥有类人的生理构造(模仿人的形象、肢体构造)、人的行为(能说话、能运动)以及人的思想(基本的逻辑能力、并可以输出内容和书写、与人交谈)等。

可以说,虚拟人的出现将人类带进了一个全新的世界。2022年8月份,广州拓元智慧公司利用其全栈AI技术,推出了真人复刻、数字克隆人服务,并通过在垂直领域创建具备推理和认知能力的数智人大脑,打造出低门槛、可规模化落地的数智人解决方案,为大众用户提供在虚实融合世界的分身和交互中介,使其成为新的连接及生活方式。

此外,数字人的情感智能和交互能力的提升,也使得其在教育领域的应用成为可能。陈卫东等(2023)指出,在教育系统中,数字人能够通过情感化的互动提升学习效果,实现智情双驱的理念,从而为学习者提供个性化的学习体验[4]。这种技术的创新不仅改变了教学方式,还为学生与知识的互动提供了新的可能性。

1.3虚拟数字人的分类

根据驱动方式的不同,虚拟数字人可分为真人驱动型和算法驱动型,后者是近年来多模态技术和深度学习技术发展的集大成者。

1.3.1真人驱动型

通过真人(俗称皮套人、中之人)来驱动数字人,主要原理是真人根据视频监控系统传来的用户视频,与用户实时语音,同时通过动作捕捉采集系统将真人的表情、动作呈现在虚拟数字人形象上,从而与用户进行交互。它生成的往往是一个静态模型,在绑定关键点之后,需要借助真人通过动作捕捉设备进行形体、眼神、动作等的捕捉,然后才能进行驱动和渲染。当前关注度较高的真人驱动型虚拟数字人主要有Siren(来自腾讯)、A-SOUL女团(来自乐华娱乐、字节跳动)、VIVI子涵(来自京东)等。

1.3.2算法驱动型

通过智能系统自动读取并解析识别外界输入信息,根据解析结果决策虚拟数字人后续的输出文本,然后驱动人物模型生成相应的语音与动作来使虚拟数字人跟用户互动。该人物模型是预先通过AI技术训练得到的,可通过文本驱动生成语音和对应动画。它是基于深度学习模型的三维场景表达和对应的神经渲染管线,可以自驱动学习模特说话时的唇动、表情、语音以及姿态和动作等。当前关注度较高的算法驱动型虚拟数字人主要有华智冰(来自智源研究院、智谱AI、小冰公司)、洛天依(来自Yamaha)、柳夜熙(来自创壹科技)等。

2生成式三维数字人技术

2.1表示方法

在生成式三维数字人技术中,数字人的表示方法是构建虚拟人物的基础。当前,数字人表示法主要分为显式表示法和隐式表示法。显式表示法通常涉及使用几何模型(如多边形网格)来定义数字人的外观和结构。这种方法的优点在于其直观性和易于理解,尤其是在传统计算机图形学中广泛应用。通过对顶点、边和面的明确描述,显式表示法能够生成高质量的视觉效果。然而,其缺点在于建模过程复杂且耗时,尤其是在需要高度细节化和复杂的模型时。例如,传统的三维建模工具如Maya和Blender依赖这种方法,虽然可以实现细腻的视觉效果,但在大规模生成时效率较低。

隐式表示法则通过函数定义模型,例如使用隐式表面或神经网络来表示数字人。这种方法的优点在于其更高的灵活性和可扩展性,能够通过学习生成高度复杂的形状。隐式表示法在保持细节的同时,通常需要较少的存储空间,并且在生成过程中可以更迅速地适应不同的形状和姿态。然而,隐式表示法对于可视化和理解模型的直观性较差,且在实现时对计算资源的需求较高。根据晏轶超等人(2023)的研究,随着计算机视觉和生成对抗网络(GAN)等技术的发展,隐式表示法越来越受到关注。它们在生成三维数字人时表现出更大的潜力,尤其是在实时生成和交互应用中[2]。

2.2渲染技术

在数字人生成的过程中,渲染技术起着至关重要的作用。传统的渲染技术主要基于光栅化方法,这种方法通过将三维模型转化为二维图像来实现。传统渲染技术通常依赖于物理基础的光照模型,能够产生真实感较强的效果。然而,这种方法在处理复杂场景和动态光照时可能会显得力不从心,尤其是在需要实时反馈的应用场景中。

与传统渲染技术相比,神经网络渲染(如基于深度学习的方法)展现出更大的灵活性和更高的效率。神经网络能够通过学习大量数据,生成具有高质量细节的图像,这在传统方法中往往需要复杂的设置和大量的计算资源。神经网络渲染的优势在于它能够自动优化渲染过程,提升效率,并且能够在不同的应用场景中进行快速适配。根据晏轶超等人(2023)的研究,随着神经网络技术的不断进步,尤其是在图像合成和风格迁移方面的应用,神经网络渲染在数字人生成中的应用潜力巨大。它不仅能够提高渲染质量,还能在实时应用中保持较高的帧率,这对于动态互动场景尤为重要[2]。

2.3模型学习

数字人模型的学习方法是实现高质量三维数字人生成的关键。当前,深度学习尤其是生成对抗网络(GAN)和变分自编码器(VAE)在这一领域得到了广泛的应用。使得在特定应用场景下的模型训练时间大幅缩短。研究表明,结合不同的学习策略(如监督学习与无监督学习)可以进一步提升模型的生成能力和适应性。

在三维数字人生成的应用中,学习算法不仅限于静态模型的生成,还包括动态姿态的学习和实时驱动。通过对动作捕捉数据的分析,深度学习模型能够学习到人类的自然动作,并在虚拟环境中进行实时模拟和驱动。这些技术的进步使得数字人不仅能够在静态场景中展现形象,还能在动态环境中做出自然反应。

3 GAN生成图像检测技术

3.1特征识别方法

基于特征识别的生成对抗网络(GAN)生成图像检测方法主要依赖于分析图像中的特征来判断其是否为生成的图像。这些方法通常会提取图像的统计特征、纹理细节以及高阶特征,以此来进行分类或回归分析。例如,某些特征识别方法通过对图像的频域特征进行分析,能够有效地区分真实图像与GAN生成图像。这类方法的优点在于其相对简单且可解释性强,能够提供清晰的判断依据。然而,它们也存在一些局限性,如对特征选择的敏感性和在复杂图像上的低泛化能力。

根据谢天圻等(2024)的研究,基于特征识别的检测方法在不同类型的GAN生成图像上表现出不同的效果,特别是在处理高分辨率图像时,其准确性可能受到影响。因此,如何优化特征提取过程以提高检测性能是当前研究的一个重要方向[1]。

3.2数据驱动方法

数据驱动的检测方法则主要依赖于大规模数据集进行训练,以学习区分真实图像和GAN生成图像的复杂模式。这些方法通常使用深度学习模型,特别是卷积神经网络(CNN),在提供丰富的图像特征表示的同时,能够自动提取和学习特征。

根据文献中总结的数据驱动方法,其在不同数据集上的表现各有差异。例如,在某些特定数据集上,这些方法能够达到较高的检测准确率,显示出其优越性;而在另一些数据集上,模型的表现可能会有所下降,尤其是训练集与测试集存在较大分布差异时。因此,如何构建更为通用的数据驱动检测模型,以及如何有效利用迁移学习等技术来应对数据不足的问题,都是未来研究的关键点[1]。

4数字人在教育领域的应用

4.1教育价值分析

数字人在教育中的核心价值体现在其“智情双驱”的理念上。随着元宇宙概念的崛起,数字人不仅是教学工具,更是教育过程中的重要参与者。陈卫东等(2023)指出,数字人具备情感智能和多模交互的能力,这使其能够在教育环境中提供个性化的学习体验,增强学习者的参与感和互动性。此外,数字人可以通过泛在陪伴和自主演化的特性,持续支持学习者的学习进程,帮助他们克服学习中的困难[4]。数字人通过情感化的交互提升学习者的积极性,同时智能化的学习分析可以为学生提供精准的学习建议,从而有效提升学习效率和成果。这种双重驱动机制有助于构建更为人本化的学习环境,促进学习者的全面发展。

4.2关键应用场景

数字人在教育场景中的应用呈现多样化趋势。根据陈卫东等(2023)的研究,数字人在以下几个关键场景中表现出显著效果:在线教育,在远程教学中。通过与学生进行情感交流,数字人能够帮助他们识别和管理情绪,促进心理健康。然而,数字人在这些应用场景中也面临一定的挑战。例如,技术的普及程度、用户的接受度以及数字人表现的真实性等,都是影响其效果的关键因素[4]。

4.3设计与评估

在教育应用中,用户反馈的收集与分析是评估数字人有效性的关键步骤,数字人技术的设计与评估需要遵循一定的原则。首先,数字人的可用性评估至关重要。设计者需要关注用户体验,确保数字人能够顺利与学习者进行互动。其次,互动设计应建立在学习者的需求和行为分析基础上。数字人的设计应考虑到不同学习者的个体差异,提供个性化的学习路径和互动方式,增强其参与感和满足感。

最后,叙事设计也是数字人教育应用中不可忽视的方面。通过构建引人入胜的情节和角色背景,数字人能够吸引学习者的注意力,提升学习的趣味性和深度[4]。这种设计思路为教育内容的传递提供了新的可能性,推动教育技术的进一步发展。

5未来研究方向

展望GAN生成图像检测技术的未来发展趋势,有几个潜在的研究方向值得关注。首先,结合特征识别和数据驱动的方法,探索混合模型的可能性,以充分发挥两种方法的优点。还需确保处理速度,以适应大规模应用场景。因此,研究者们应关注算法的优化及硬件加速等技术的结合,以提升检测系统的整体性能[1]。

教育元宇宙(Edu-Metaverse)是智慧教育的升级,教师和学生以数字虚拟人身份参与课堂,在虚拟教学场所中进行互动。 元宇宙课堂下,VR设备的引入能够充分重塑教学内容的展现形式,让学生“沉浸”在知识中。此外,虚拟空间的可塑性也催生了如虚拟实验室、虚拟集会等场景,将元宇宙从课堂延伸至课后活动。站在元宇宙发展的当下,我们可以看到元宇宙和教育是相互成就的事。

特别是在当前元宇宙发展初期,它所需要的创新应用,和教育相互紧密联系在一起。未来,元宇宙时代内容要极大丰富,AIGC是必然路径,虚拟人是人人必备的数字分身,AI驱动将更灵活多样。元宇宙在教育领域的应用将如何发展,教育领域又需要元宇宙带来哪些潜在变革,随着时间的进程,教育领域在元宇宙的未来,我们可以共同期待。

参考文献:

[1]谢天圻,吴媛媛,敬超,孙伟恒.GAN 模型生成图像检测方法综述[J/OL].计算机工程与应用. https://link.cnki.net/urlid/11.2127.TP.20240723.1350.012

[2]晏轶超, 程宇豪, 陈琢, 等. 基于神经网络的生成式三维数字人研究综述: 表示、渲染与学习. 中国科学: 信息科学, 2023, 53: 1858–1891, doi: 10.1360/SSI-2022-0319 Yan Y C, Cheng Y H, Chen Z, et al. A survey on generative 3D digital humans based on neural networks: representation, rendering, and learning (in Chinese). Sci Sin Inform, 2023, 53: 1858–1891, doi: 10.1360/SSI-2022-0319

[3]黄恪晨. 数据实时驱动的虚拟数字人关键技术研究与实现. 北京邮电大学, 2023.

[4]陈卫东,郑巧芸,褚乐阳,田星蕊,刘小弈,宋星宇.智情双驱:数字人的教育价值与应用研究[J].远程教育杂志,41(3): 42-54.

*本文暂不支持打印功能

monitor