• 收藏
  • 加入书签
添加成功
收藏成功
分享

人工智能时代下技术介入舞蹈的应用研究

施展
  
探索科学·学术
2023年10期
北京舞蹈学院 北京 100081

打开文本图片集

摘要:面对当今世界的信息化、数字化加速变革,智能化成为社会发展的大趋势与大潮流,人工智能也以强势的姿态模拟、延伸与拓展人类艺术。其“人工”与“智能”象征人工智能所具有的科技与人文的双重属性。在这样的背景下,舞蹈艺术随即开启了其数字革命的智能化时代,舞蹈虚拟影像、虚拟场景、数字人、舞蹈机器人在重构与颠覆传统的舞蹈肢体、艺术思维与创造力,人工智能舞蹈开始在一些方面超越人类的艺术想象,由此带来的艺术潜能应该值得我们所关注。以下将溯源人工智能舞蹈的发展历程,并在此基础上分析人工智能介入舞蹈的代表性案例及技术应用。

关键词:人工智能;舞蹈;计算机舞蹈;人机互动

自古以来,人类就力图根据自己的认识水平和当时的技术条件,试图用机器来代替人进行部分脑力劳动,以提高人类自身征服自然的能力。2500多年前,在科技使用自动装置成为可能之前的几个世纪,希腊神话一直在探索创造人工生命的想法,并努力解决关于生物技术尚未解决的伦理问题,即“通过工艺创造生命”。《Gods and Robots》一书便讲述了古希腊、罗马、印度与中国的神话是如何设想人工生命、自动装置、自动移动装置和人类增强装置。在我国,也有歌舞机器人传说的记载。《列子·汤问篇》“偃师献技”的寓言故事,其中的机器舞人“领其颅,则歌合律;捧其手,则舞应节。千变万化,惟意所适。”工匠以精湛的技艺塑造了机械舞人,其舞姿与真人相比,并无二致。由此可见,古人早已具有探索人工生命的意识了。近代所谓的人工智能的起源,一般是指1956年的达特茅斯会议。目前,人工智能已经经历了三次浪潮,第一代人工智能的优势,在于它能够模仿人类的推理、思考的过程,因此是可解释的,跟人类的思考问题过程很一致。舞蹈编舞家在这一时期与计算机专家达成合作关系,初次尝试使用计算机建立身体动作符号编舞。第二代人工智能的优势为深度学习,通过深度神经网络的模型模拟舞者的感知,借助动作捕捉、人机互动、数字人演绎等方式由此在视听触等方面与舞蹈建立互动行为。第三代人工智能的目标是要真正模拟人类的智能行为,以仿真舞蹈机器人智能模拟舞者的动作为代表,主要的表现是随机应变、举一反三。人工智能的发展与应用从原先的为了解决人类计算问题一直延伸到艺术领域。随着移动终端的普及、移动互联网技术的增强以及虚拟现实、大数据、云计算、人工智能的不断发现,数字移动媒体的视听媒介正在向即时的、互动的、超文本链接的传播形态发展。舞蹈在新时代融合了数字技术与信息技术,为舞蹈的发展提供了新鲜活力。

一、初代计算机软件的记谱与编舞

历史上,舞蹈符号系统是第一个为计算机实现的交互式和图形化运动系统。二十世纪70年代中后期,许多计算机用于编辑和解释舞蹈运动符号,这些用于舞蹈符号系统实施首先是为了方便舞蹈符号分数的输入、存储和检索。除了输入符号外,一些计算机系统还通过动画或模拟由符号表示的人体运动来解释存储在计算机上的符号指数。其次是其功能领域,由为舞蹈组成和舞蹈编排而设计的系统组成。这些系统不同于舞蹈符号的输入和解释,因为计算机在编舞过程中贯穿始终,它的使用影响着舞蹈的结果。这些系统旨在帮助编舞在创作过程中的可视化和运动尝试。相比之下,舞蹈符号系统通常用于存档、保存或记录舞蹈的符号分数,以提供舞蹈编排的记录。这一发展与交互式计算机技术的到来相平行,该技术能够通过计算机终端进行输入和视觉显示。

与音乐谱法不同,舞蹈在当时并没有专业的动作谱系系统。由于常用的舞蹈运动符号是基于图形表示的,因此计算机系统必须发展到能够用视觉表示符号分数的程度。1976年,宾夕法尼亚大学的布朗Brown和Smoliar创造出Labanotation,这是第一批记录舞蹈动作的二维图形符号系统之一[1]。舞蹈的动作符号可以通过计算机编辑器进行输入、存储和检索。输入包括通过键盘输入的命令,以便创建和编辑注释符号。一个更为便捷与直观的舞蹈记谱方式产生了,用户可以将舞蹈动作组成的短句通过图形画面更为直观地展现在计算机上。比如基于拉班符号法,舞者通过选择实际的拉班符号向计算机描述舞蹈。

在滑铁卢大学,SavageJ.与M.Officer(1977)开发了Choreo,这是一种交互式舞蹈记谱系统,其最初想用于舞蹈编舞,其中包括一个用于输入记号法的编辑器和一个基于记号法分数模拟移动的二维图形的动画师,即可以学习与解释舞蹈动作符号的工具[2]。舞者通过一个系统的菜单和一个十键功能框,用舞蹈语言向计算机描述舞蹈,也讨论了探索人体模型软件在舞蹈编排中的实用性与可能性。

莫斯坎宁安在二十世纪80年代最先使用舞蹈软件Lifeforms。这是在西蒙弗雷泽大学指导下的计算机图形生成软件,主要目的是为编导提供创新的舞蹈肢体动作。莫斯坎宁安他的一生都在探索与创新舞蹈运动的可能性。由于年龄而带来的身体的限制,莫斯·坎宁安试图以数字化方式替代他的身体,计算机的使用也可以将舞蹈动作快速传递给他的舞者。“计算机是舞蹈的未来”“人们只是不了解计算机和舞蹈的未来可能性”,坎宁安1995年已经宣称舞蹈数字化的发展前景。

早在1964年,Jeanne Beaman和Paul Le Vasseur在匹兹堡大学 “用计算机生成随机的、可表演的舞蹈序列”。这被认为是最早的计算机在舞蹈创作中的应用。他们通过给计算机提供不同的时间变化、不同的空间方向和不同类型的动作 来实现这一输出。之后计算机在四分钟时间内输出了大致70种舞蹈的语言形式。就像坎宁安较早的用《易经》的方式进行偶然探索一样,这些由计算机随机产生的动作延伸了编舞想象力。就计算机制作而言,他关注更多的是编舞的自由而非计算机指令的限制。1968年,坎宁安在他的《变化:编舞笔记》一书中描述了一种他解释的可以用于编舞的符号系统。从他的论述中也可以明显看出,在开始使用Lifeforms工作的20多年前,就已经将计算机作为艺术创作的创造性工具了。这种开放性的态度核心首先在于将计算机作为舞蹈显示与存储的工具,以此提供身体运动的视觉表征。其次更重要的是它可以作为一个系统来创造一整支舞蹈。坎宁安曾受美国舞蹈节(American Dance Festival in Durham,N.C.)委托,用Lifeforms创作了一部作品。他以图形方式将身体分为三个区域:腿、头/躯干和手臂。头/躯干和手臂[3]。LifeForms允许坎宁安破坏身体自然的关节动作链。例如当你伸出手臂时,并没有直接向前或向上延伸,而是突然加上头部与脚部的动作。计算机给出的舞蹈动作是一种富有创意的逻辑序列,而这一时期技术的“头脑”并不能说是在革新舞蹈,更多的是对舞蹈主体思维的扩展和延伸。

二、捕捉、渲染与生成:人机交互中的数字体验

20世纪90年代至新世纪初,人工智能介入舞蹈已经成为司空见惯的事情。由于技术的不断进步而带来的舞蹈主体虚拟化、舞蹈对象智能化、舞蹈手段程序化、舞蹈内容数据化、舞蹈本体互联化、舞蹈环境赛博化,动作捕捉技术、互动影像技术、虚拟表演技术使得AI能够更快速捕捉人体运动轨迹并产生渲染性效果。谷歌艺术与文化实验室(Google Art and Culture Lab)与舞蹈家韦恩·麦格雷戈之间早就进行了基于人工智能下的动作捕捉、深度学习、人机交互之间的合作。他已经为韦恩·麦格雷戈公司制作了30多件作品,包括Living Archive:An AI Performance Experiment、Autobiography、Tree of Codes、Atomos、FAR、Entity、over 20 works for The Royal Ballet等等。将身体视为具有技术素养的实体和重要的有机界面,他通过利用计算机图形、热像仪、视频投影、实时宽带链接、3-D 软件,成功地试验了物理、数字和虚拟世界,动画和游戏节目、无人机、算法等如何结合,并试图揭示它们如何使表演主体和观众实时交互。谷歌艺术与文化实验室还创造了一个基于人工智能驱动的舞蹈工具,它可以根据网络上存在的视频片段生成自己独立的舞蹈。这个程序能够对给定动作进行预测,通过视频捕捉到舞者的动作,然后根据舞者的姿态,将挑选出有规律的舞蹈动作序列,并以深度识别技术显示在显示器中。身体不同位置上画点来提取舞蹈的“骨架”(如图2、3),该程序能够考虑到根据不同舞者的风格去产生动作,也能够将不同舞蹈风格混合在一起编排。软件创作者之一亨利认为,这个软件只是一个预测工具,其目的是以一种非常有效和快速的方式创造且供编导选择编排的方式。除了用人工智能技术进行舞蹈编排外,麦格雷戈也致力于探索人工智能下的人工身体与人工生命。例如2000年,作品Aeon中运用了多媒体与数字化的3-D虚拟身体表演,这是基于屏幕和虚拟空间中的动画一起表演为特色的舞蹈节目。基于对人工智能运动生成软件的广泛研究,麦格雷戈最近与谷歌的艺术与文化实验室合作开展了一个名为Living Archive的项目。该工具能够基于一个舞蹈动作而继续成生30个原创动作,由此组合成一组舞蹈,而且能够根据不同舞者的风格提供动作。他对人工智能编舞的研究,也推动了对身体智能与情感智能等一系列的深入探索。

2019年国庆期间,由中国舞蹈家协会主办的中国舞蹈70周年展览上,新剧元LAB团队创作的新媒体舞蹈作品《西河剑器》(如图4)首演于国家大剧院东厅,同时也在腾讯视频、b站等视频平台取得了累计40W+的播放量。这部作品之所以得到广泛的关注,离不开技术的支持与应用。这部作品以“公孙大娘舞剑”为题,结合动作跟踪、实时交互等手段,运用大量水波纹元素与三维立体技术,将文献转变为具体可感的作品。演出时,现场使用了6个RealsenseD345和Kinect2深度摄像头捕捉人体轮廓,而演员实时的位置也及时反馈给技术团队,选择使用两个激光雷达完成信息采集[4]。除了现场演出外,技术主创团队也根据展览主办方的要求设置了交互系统与图像效果的展览空间。在非演出期间,观众可以自行穿梭在舞台中体验互动效果。

虚拟人、数字人、虚拟数字人的目标是通过计算机图形学技术(Computer Graphic,CG)创造出与人类形象接近的数字化形象,并赋予其特定的人物身份设定,在视觉上拉近和人的心理距离,为人类带来更加真实的情感互动。而AI成为其不可分割的工具,尤其是近五年随着深入学习算法取得的突破,数字人的制作得到有效简化。2022年6月,新华网推出了首个超写实数字人筱竹(如图5)。在其官方微信公众号中推出的近2分钟的视频中,筱竹用自己喜欢的古诗词、中国鼓和一段创意国风舞蹈。超写实数字人“筱竹”采用了全球最领先的数字人底层技术和动捕设备,并由新华媒体创意工场优秀导演团队和设计师全程参与创意制作。据奥丁科技负责产品技术的联席CEO Grissom介绍,奥丁科技不但具有数字人领域的基础生产制作优势,还拥有独有的数字人扫描技术、数字人服装面料生产技术、面部捕捉技术、肌肉仿真等独具特色的优势。“筱竹”运用了时域扫描系统(Loki Creation System)、表情捕捉及表情迁移系统(Loki Emotion System)、材质扫描系统(Loki Surface System)和数字人体征数据库。奥丁一直基于自研的硬件、软件、算法和AI等综合能力,让数字人更加逼真和智能,并通过仿生学和人类学研究不断降低成本,增加产能,完成超写实数字人的普及[5]

三、机器人仿真动态舞蹈模拟

随着创新和学科融合技术的发展,逐渐探索出了一种科学化的舞蹈创造,其系统由三个模块组成:音乐分析、人的控制和机器人舞蹈控制,它们通过多线程架构并行处理,在反应行为的方法中诱导机器人舞蹈表演。所产生的的舞蹈通过运动连接器来连接系统,该运动可以被事先动态地定义,然后由机器人对这些节奏事件发生的反应方式进行感知。最近几代机器人的外形与音效能力与人类越来越相似,这种进步也促使相关工作人员设计出可以模仿人类舞蹈的复杂性舞蹈机器人。舞蹈是一种创造性的艺术形式。在创造性环境中培养的思维方式可以富有深意,涉及心灵与身体之间的共生关系。在学术方面,舞蹈研究人员则追求完美的舞蹈互动解决方案,以实现可与人类相互作用的感知机器人舞蹈。日本专家中岗三益提出一种使双足动物机器人HRP-2通过使用运动捕捉系统模仿日本传统民间舞蹈的复杂运动的空间轨迹的方法——LFO训练方法,使机器人能够从观察人类的舞蹈中获取知识及作出模仿。

西周时期,我国的能工巧匠偃师就研制出了能歌善舞的伶人,这是我国最早记载的机器人。当前的舞蹈机器人既是娱乐机器人的一种,又是集成了多学科前沿技术的运动机器人的一种,这既具有极强的观赏与趣味性,也是一项系统化的工程设计。机器人舞蹈进入普通群众视野要数2005年央视春节联欢晚会,港台明星刘德华与两个伴舞智能机器人——索尼QRIO。

机器人舞蹈感知表演基本上是基于现实观察,与现实世界舞蹈环境中的人类行为的有意义的数据相比较,然后进行分析同步、动力和现实主义因素。首先是基于同步原理,其次是动力因素,第三是机器人系统通过在反应行为的舞蹈表现中的感知和行动来保持与现实世界的联系,即尽可能的复制人类舞蹈姿态。

总之,人工智能和机器学习在当下被广泛应用于舞蹈艺术领域中,以上的一些案例也凸显了人工智能发展过程中技术介入舞蹈的轨迹。人工智能从最开始的一种舞蹈辅助工具,到如今逐渐有了其肢体形态(机械肢体),并逐渐走向“智能”的舞蹈系统,而由此带来的舞蹈主体性、躯体与身体的意义、机器情感、创造性等问题值得进一步思考。根据目前的趋势,技术在艺术领域中变得愈发普遍,随着技术的不断延伸,我们必须了解它该如何与人类艺术共存。

参考文献:

[1]“古希腊神话:人工智能的灵感源泉?”,普林斯顿读书会,澎湃号·湃客_澎湃新闻-The Paper,网址:https://www.thepaper.cn/newsDetail_forward_4050340,2019年8月1日。

[2]Maxine D.Brown Stephen W.Smoliar LynneWeber:Preparing dance notation scores with a computer. 网址:https://www. sciencedirect. Com /science /article /abs/pii/00978493 78900183?via%3Dihub,2023年1月10日访问。

[3]G.J.SavageJ.M.Officer,CHOREO:an interactive computer model for dance.网址:https://www.sciencedirect.com/science/article/abs/pii/S002073737880042X,2023年1月10日访问。

[4]“ARTBOOK艺书专栏:【交互舞蹈 | 西河剑器】背后的技术分享”,书艺ARTBOOK,知乎(zhihu.com),2020年5月11日。

[5]“奥丁科技与新华网联合打造超写实数字人‘筱竹’”,奥丁Woden Technology,微信公众号,2022年6月10日。

作者简介:施展,女(1999-),北京舞蹈学院,硕士研究生,主要研究领域:艺术科技与文化研究。

(作者单位:北京舞蹈学院)

*本文暂不支持打印功能

monitor