摘要：数字化绘本在帮助听障儿童弥补先天语言学习方面的不足有着不可小觑的作用，其交互性可以为听障儿童带来更强的交互体验与学习的趣味性，并带来听觉以外的感官代偿，打破听障儿童绘本阅读中自主学习与探究式学习的壁垒。数字化绘本的开发借助科技手段会实现更多的可行性发展方向。

关键词：数字化绘本、交互性、听障儿童

1.听障儿童绘本应用现状

1.1.交互性数字化绘本概述

绘本是最合适儿童阅读的图书形式。听障儿童的语言发展较童年相对滞后，其特点是：认知经验少，词汇量不足且丰富程度不够，口语表达欠流畅，语气、语调及节奏欠流畅…阅读是发展语言能力最有效的手段之一[1]。随着互联网和数字化技术的发展和革新，传统纸质图文逐渐转变为数字化阅读，绘本的发展也朝着交互性方向发展。交互性数字化绘本通过分析听觉障碍儿童的心理和生理特征，以感官代偿理论为基础将普通绘本转换为更适合听觉障碍儿童的可视化信息，结合其他感官进行交互绘本设计。其交互性功能将会给听障儿童带来更多的阅读趣味性，对听障儿童语言学习发展有着重要作用。

1.2.交互性数字化绘本当前发展现状

有研究报告表明：“在‘当前市面上的绘本有哪些缺点’中，被调研者中72%的人认为中国缺少针对听障儿童特点进行设计的绘本”。我国对于针对听障儿童特点研究的绘本存在空缺，绘本资源相对匮乏[2]。而结合交互性数字化技术进行听障儿童绘本大多只是针对与正常儿童进行研究开发，缺少针对听障儿童语言阅读特点设计的交互性数字化绘本。例如，市面上较为热门的交互性数字化绘本app kado故事中运用较多的数字化技术为设计模仿纸质绘本翻页效果，加以人声讲解，同时在故事结尾设置问题互动。目前交互性数字化儿童绘本正处于研究的初级阶段，市面大多数绘本app存在交互功能有所欠缺、针对性不强、形式与功能等问题，难以满足听障儿童语言学习的需求。

1.3.交互性数字化绘本的优势

交互性数字化绘本借助科技手段能实现更多的可行性发展方向。针对听障儿童开发的数字化绘本开发中，在满足于听障儿童语言阅读习惯特点的前提下，应具有完善的交互性功能。交互性数字化绘本在帮助听障儿童弥补先天语言学习方面的不足有着不可小觑的作用，其交互性可以为听障儿童带来更强的交互体验与学习的趣味性，并带来听觉以外的感官代偿，打破听障儿童绘本阅读中自主学习与探究式学习的壁垒。为听障儿童的语言学习提供多元化感官体验，让绘本中的人物跃然纸上，为听障儿童带来前所未有的阅读体验，提升语言学习能力。

2.听障儿童交互性数字化绘本的个性化需求与优势分析

无论是普通学生还是特殊学生，在日常学习、生活中都具有个性化特点、兴趣、能力和需求。教育须认识和照顾学生间的不同需要，顺应不同学习类型和学习速度，通过适当的课程、组织安排、教学策略、资源利用及社区合作，提升全体学生的教育质量[3]。交互性数字化绘本需通过分析听障儿童的语言学习情况，满足不同听障儿童的个性化需求。

2.1.年龄阶段不同

交互性数字化绘本应做到覆盖大多数学龄前阶段听障儿童的需求。该绘本在帮助听障儿童语言学习过程中，分析不同听障儿童语言学习特点和认知能力，在不同年龄阶段匹配出适合的交互性数字化绘本，发掘每一个听障儿童的学习潜力，进而满足个性化服务需求。由于不同年龄阶段的听障儿童对世界的认知不同，对相同的事物的兴趣不同，绘本内容与交互功能的选择上存在差异。年龄偏小的儿童相比偏长的儿童在学习语言时，更容易出现缺乏兴趣，注意力难以集中的情况。他们更容易被色彩鲜艳、生动活泼的界面吸引，所以需设计符合他们色彩认知兴趣的界面，选择适宜的儿童绘本故事内容。同时由于交互性数字化绘本需借助移动设备使用，年龄偏小的儿童需在家长的引导下进行绘本阅读，在一定程度有意识的促进了家庭间的交流沟通。而对于年龄偏大的听障儿童，根据自己的兴趣自主选择不同交互功能的数字化绘本。

2.2.听力受损程度

交互性数字化绘本能够满足不同听力受损程度儿童的需求。部分听障儿童在经过学校、医院以及康复中心的精确鉴定后，对其听力受损情况进行评估后佩戴人工耳蜗能够听到声音。在佩戴人工耳蜗后的听力恢复训练中，听障儿童由于长时间对口语和语言学习上的空缺，交互性数字化绘本对他们的听感恢复起到一定作用。比如为纠正“B”的语音，在绘本教学中，可以多看关于“B”发音的绘本，比如绘本《Beng！》，学习绘本中Beng，练习“beng”的发音，并大声和多次重复学习动词“蹦”，以此扩展孩子的认知能力和语言发展能力。在这样一本绘本中，不断运用了重复的“B”音，通过并列式复述加深印象，让听障儿童在阅读中潜移默化地记住并参与语言练习[4]。在利用交互性数字化绘本听障儿童听力康复训练中，儿童可以从视觉、听觉、触觉等多角度与环境交互，而且能够有效地得到反馈效果，并根据反馈效果对绘本读物做出下一步操作，以此来建立知识与儿童之间的链接关系[5]。另外一部分先天听力障碍儿童由于听力神经受损导致无法通过人工耳蜗获得听力，他们更多的是通过视觉和触觉来进行手语的学习。交互性数字化绘本加强了触觉和视觉的感官刺激，绘本中动态趣味性的图形元素吸引听障儿童注意力，在沉浸式虚实结合环境中学习手语，提升阅读兴趣。

2.3.语言学习程度

由于听障儿童对语言学习的方式、性格差异、家庭环境等诸多因素，导致每个听障儿童的语言学习程度不同。部分听障儿童在幼龄前期及时佩戴了人工耳蜗，语言发展上明显优于佩戴人工耳蜗较晚时期的儿童。交互性数字化绘本在交互功能上呈现多样化，满足不同语言学习程度的听障儿童的需求。比如，利用h5页面交互技术在数字化绘本阅读中设置适当难度的关卡，根据语言学习程度的不同选择适宜难度的问题，让听障儿童在一边阅读一边被提问对于不了解的字词或者内容，点击注释查看手语解释，加深对故事内容的认知印象，锻炼思维能力，丰富阅读体验。

2.4.兴趣审美不同

每个儿童有各自喜欢的事物和兴趣，他们喜欢色彩明亮，生动有趣的图形外观元素，动态的视觉元素更能吸引他们的兴趣。不同听障儿童从出生起接触的人和事物不同，对每个玩具或者知识内容的兴趣不同，审美不同。交互性数字化绘本在引导听障儿童进行语言学习时，不仅可以促进语言发展学习，同样也能提升他们的审美水平。有的听障儿童喜欢知识问答型的交互绘本，有的喜欢沉浸式虚拟现实的交互绘本，他们能够选择具有不同交互功能和不同知识内容的绘本，从而满足在兴趣审美水平上的个性化服务需求。比如，使用增强现实技术制作的虚实结合的绘本设计，动态的虚拟图形通过手机等移动设备展现在现实世界中，配用人声指导，从视觉、听觉、触觉的角度增强听障儿童的感官代偿。

3.数字化技术应用特征

由以上可知，交互数字化绘本对听障儿童的语言学习有着显著作用，那么如何在绘本开发中如何去选择与应用这些技术呢？笔者从以下三种交互数字化技术进行了应用探索与分析。

3.1.图形媒体技术——mental canvas

图形媒体技术是基于数字化产生图形信息变换的技术，而metal canvas正是这一技术的集中体现。这款软件可以让创作者的平面绘画通过3D视觉差的形式呈现出立体效果，不完全平面，也不完全立体便是其最主要的特点。这一特性使它非常适合于故事类漫画、动态绘本等相关平面绘画作品的制作，视觉交互科技感是mental canvas的特点之一。在mental canvas的辅助下，静态的平面产生了3D的视觉差的效果，同时配合特写镜头和人物简单的动画，使绘本产生了交互感和氛围感，吸引儿童注意力的同时又便于理解。Mental canvas所呈现的效果利用三维软件也能做到，而mental canvas相比之下，最为显著的优势在于简单轻便易上手。许多绘本制作者甚至不会使用三维软件，他们在制作图形媒体数字化绘本时需要与三维工作者配合，增加了绘本制作成本，而mental canvas的操作原理简单，新手也能熟练掌握，同时这款软件推出了iPad版本，开发者能随时随地进行绘本创作。交互性数字化绘本开发在mental canvas的协助下，听障儿童绘本开发更具高效性，更具数字化，带给听障儿童丰富的视觉感官体验，产生事半功倍的效果。

3.2.增强现实技术——AR+绘本

增强现实技术即AR技术，是一种能将虚拟数字化信息融入现实环境中，并给予交互性沉浸式体验的技术，它能让人们在一定的空间范围内体验到虚拟物体，从视觉的角度带给人们一种超越现实的感官体验。从某种角度来说，增强现实技术使个性化交互体验更加丰富。AR技术在绘本中的使用跨越了书籍形态的界限，重塑了儿童绘本的媒介形态和知识传播格局，为儿童提供了非同一般的阅读体验[6]。目前我国的AR技术正处于研发的初级阶段，实现增强现实的效果需借助第三方设备，在运用到绘本新形式阅读中仍要依托于纸质绘本，而绘本故事内容也应在此基础之上进行创新，做到形式和内容的统一，给听障儿童带来更好的视觉感受。听障儿童通过移动设备将绘本中的图画信息以立体的形式展现出来，原本静态的图画变成了一部交互式动画故事，使绘本阅读更加有趣。实现增强现实效果的途径相对较多，在过去设计师使用unity（2D或3D游戏引擎）通过创建AR模块编写程序实现AR效果。现在随着AR技术的普及，越来越多的AR开发软件应运而生，例如Artivive、Just a Line等，甚至抖音、快手上也开发了AR效果制作平台。各AR开发平台各有千秋，而Swift Playgrounds的操作更加便捷。Swift Playgrounds是一款Swift编程语言软件，适合于初学者，老少皆宜，不需要掌握丰富的代码知识即可进行AR创作，只需输入简单的代码，调整图层间隔大小位置，即可实现虚拟效果。AR技术在听障儿童绘本设计中，带给儿童视觉上沉浸式的交互体验，在虚拟交互的对话机制下，能更好的去处理获得的信息，在阅读学习中更具个性化交互体验。

3.3.页面交互技术——h5交互设计

实现数字化绘本的交互功能使其与听障儿童互动交流，能激发其触觉的感官体验。h5指的是第五代html（互联网超文本标记语言），也指用h5语言制作的一切数字产品。引入h5页面交互设计对听障儿童绘本开发有着十分重要的作用，h5技术具有交互性强、可跨平台使用、制作便捷易上手、推广效果强传播效率高等特点。听障儿童在听力功能的缺陷下更多的是依赖触觉和视觉的感官刺激，增加绘本的互动性是必不可少的一部分。在h5页面中，使用者通过点触、滑动、长按等方式调动页面的变换，设计趣味的按钮图形，在点触后产生生动图案变换给予听障儿童阅读反馈，箭头等图形标识引导听障儿童阅读，在绘本中添加h5交互技术，符合听障儿童语言学习认知特点。h5技术建站可以实现一次开发可跨平台多端使用，一次发布制作，可在pc、手机等各个终端使用，适应各种屏幕尺寸来达到良好的显示效果。家长或老师在手机上通过h5页面使用数字化绘本，实现了数字化绘本的便携性。此外h5设计具有制作简单、制作软件或网站较多、渠道来源丰富、模版样式多、媒体融合性高等优点，同时可添加手语视频讲解，进而达到良好的学习效果。h5技术可将绘本故事整合与二维码中，在制作纸质绘本读物时，将二维码印于上面，易于交互性数字化绘本的传播。h5页面交互技术在听障儿童绘本开发中的应用能在一定程度上提升绘本的交互性，刺激触觉感官，促进听障儿童的语言学习。

4.总结与展望

交互性数字化绘本对听障儿童的语言学习有着明显的优势，而我国在针对听障儿童语言学习习惯特点的绘本的研究较少，在某种程度上不能满足听障儿童语言康复和教育需求。交互性数字化绘本也正处于摸索阶段，在科技发展迅速的当今，各种数字化制作软件的出现为数字化绘本开发提供了丰富的制作平台，研究者能结合多种数字化技术进行听障儿童绘本开发。在进行数字化绘本的设计过程中应关注听障儿童的语言习惯特点，注重交流互动。在制作精美画面和交互功能时，也应做到形式内容与交互功能的统一。

参考文献：

[1]张连芳.如何培养和正确引导听障儿童早期阅读[J].中国校外教育，2014（32）：114.

[2]王宇，陈岩.绘本在听障儿童言语康复中的应用现状与问题研究[J].长春大学学报，2019，29（07）：103-107.

[3]许家靓，邓猛.人工智能技术对听障儿童融合教育环境学习沟通的促进[J].中国听力语言康复科学杂志，2022，20（04）：266-268+272.

[4]王宇.听障儿童语言康复绘本设计初探[J].长春大学学报，2018，28（07）：112-116.

[5]陆凯，韩帆.增强现实技术在儿童教育中的优势[J].戏剧之家，2017（11）：205-206.

[6]叶骏强.融媒体环境下AR+儿童绘本发展探究[J].中国报业，2017（19）：82-83.DOI：10.13854/j.cnki.cni.2017.19.039.

通讯作者：柯文燕  女  湖北师范大学数字媒体专业教师，研究方向：数字媒体技术、信息可视化

基金资助：2021年全国大学生创新创业训练计划项目《为爱发声，静听童心--听障儿童阅读绘本开发》项目阶段性成果。