打开文本图片集

摘要：基于虚拟现实的传统村落数字博物馆正处于探索与逐步完善阶段，大多数的传统村落数字博物馆都是基于全景图片的模拟漫游，不能提供接近真实的感觉，展示效果与用户对真实世界的感受相差仍然很大。本文将集成成像3D拍摄技术应用于传统村落数字博物馆，提出离散式相机阵列3D拍摄系统，采用单摄像机无人机拍摄视差图，通过微图像阵列生成算法将视差图转换为微图像阵列，通过实验验证了所提理论。

关键词：3D拍摄;数字化;传统村落

0引言

自2012 年中国传统村落名录申报以来，传统村落保护工作成效显著。但从保护手段看，编制规划、建立纸质档案、陈列展示等传统手段难以缓解传统村落快速消失的严峻形势。近年来，传统村落数字化保护备受关注，并在理论、技术路线和实践上取得较大进展。2017 年国家住建部正式启动了中国传统村落博物馆建设工程并于2018 年8 月正式上线，其中收录了165 个中国传统村落，其对提升传统村落地位、宣传传统村落文化、推动传统村落保护发展具有重要作用。2018年贵州省对100 多个传统村落开展数字博物馆保护，包括村落合集、建筑风情、古村映像、政策动态、村落活动等板块。这些实践表明我国传统村落保护已进入数字化阶段。

传统村落保护的“原真性”与“活态”传承，需要保护完整度高、时效性长、功能强大的数字化技术支撑。相对于传统保护手段，数字化保护利用无人机、GIS 等技术采集详细的图像信息和空间数据，实现传统村落数字博物馆。但是，大多数的传统村落数字博物馆都是基于全景图片的模拟漫游，不能提供接近真实的感觉，展示效果与用户对真实世界的感受相差仍然很大。因此，本文将信息技术领域最新的集成成像3D拍摄技术应用于传统村落数字博物馆，通过全真3D场景的拍摄，实现信息系统的全真立体化，显著提升用户的感受。

1 背景

集成成像3D显示作为目前最有发展前景的裸眼真3D显示技术之一，因具有全视差、真彩色、无立体观看视疲劳、显示结构简单等优点，越来越受到国内外研究人员的关注。典型的3D拍摄方法主要包括全光学3D拍摄法、直接3D拍摄法、扫描式3D拍摄法、摄像机阵列3D拍摄法以及计算机生成法。

（1）全光学3D拍摄法

G. Lippmann提出的集成摄影术是一种全光学3D拍摄法，它使用真实的光学元件来完成。在微透镜阵列的后焦平面上涂上一层感光乳剂，然后用平行光照射三维场景，被三维场景反射的光线到达微透镜阵列上，再被微透镜阵列折射到感光乳剂上，这样感光乳剂就记录下了一幅微图像阵列。全光学3D拍摄法是最原始最粗糙的集成成像3D拍摄法，具有深度反转问题。而后H. E. Ives提出的两步记录法能解决深度反转问题，但是多次使用微透镜阵列和感光乳剂，使得获取的微图像阵列模糊不清。

（2）直接3D拍摄法

日本的F. Okano等人采用直接拍摄法实现实时的集成成像3D拍摄。三维场景发出的光线通过微透镜阵列的每个透镜元折射，构成了一幅幅图像元，这许许多多的图像元被摄像机直接拍摄下来，组成了微图像阵列。每个图像元绕其中心旋转180°之后，被传送到集成成像3D显示器上显示，该3D显示器由普通的二维显示器和一个针孔阵列组成，针孔阵列可以用来代替微透镜阵列，由于图像元经过了180°旋转，重建的3D图像是虚像，将凹进屏幕里面，但没有深度反转问题。

（3）扫描式3D拍摄法

一种较简单的集成成像3D拍摄方法是采用平台式扫描仪的扫描式3D拍摄法。该方法由于需要一段时间的扫描，因此要求三维场景在扫描过程中是绝对静止的，静止时间依赖于扫描频率，一般来说大概几分钟时间。扫描仪的一些误差会导致获取的图像质量下降，而且传感器上感光底片的数量限制了微图像阵列的水平分辨率，因此每个图像元中承载3D信息的实际像素数量非常有限。一般来说，对于大节距的透镜元，图像元分辨率为20×20个像素以上时，才能较为清楚的重建出3D图像，而扫描式3D拍摄法使用的摄像机较难获得高分辨率的微图像阵列。

（4）摄像机阵列3D拍摄法

组成微透镜阵列的每个透镜元都可以用摄像机来代替，因此用等间距排列的摄像机阵列来代替微透镜阵列拍摄三维场景，设置摄像机间的间距等于微透镜阵列中透镜元的节距，且摄像机的拍摄视角等于透镜元的拍摄视角。由于透镜元成像和摄像机成像存在上、下、左、右翻转的关系，那么采用摄像机阵列拍摄获取的微图像阵列就相当于微透镜阵列拍摄的微图像阵列中每个图像元进行180°旋转后的效果，因此摄像机阵列3D拍摄法获取的微图像阵列没有深度反转问题。而每个摄像机只需要获取一个图像元，因此图像元的分辨率很高，就可以组合成高质量的微图像阵列。但是该方法所需的摄像机个数较多，等于所需的图像元个数，各摄像机间需要进行匹配、矫正等的复杂操作，不适合大场景的集成成像3D拍摄。

（5）计算机生成法

美国的S. Jose提出计算机生成集成成像技术，用计算机程序生成微图像阵列代替了实际微透镜阵列的3D拍摄过程。在计算机中设置一个虚拟的针孔阵列来对三维模型进行3D拍摄，按照几何光学原理建立数学模型，由计算机来完成3D拍摄过程，获得的微图像阵列可用于实际的集成成像3D显示。计算机生成法较容易实现运动视频的3D拍摄，而且没有实际操作中的误差产生，获得的3D图像更清晰。在计算机中改变微图像阵列的节距、形状等参数，能有效的用于不同参数的集成成像3D显示器进行3D显示。但是计算机生成法只能对计算机中建立的三维模型进行3D拍摄，无法实现真实三维场景的3D拍摄，其应用范围受到很大限制。

矩阵式摄像机阵列对3D 场景进行拍摄，具有成像孔径大、采集视场范围大、分辨率高以及结构灵活的优点，适用于远距离3D 场景信息的获取，并能大幅提升再现3D 图像的分辨率，已成为最常用的技术手段之一。

2理论与方法

2.1离散式相机阵列3D拍摄系统

由于采用了像素化的拍摄和显示设备，集成成像的观看视点被离散化。研究表明，集成成像3D显示的观看视点与3D拍摄的拍摄视点之间具有一定的内在联系。因此，与传统相机阵列拍摄不同，本文提出的离散式相机阵列3D拍摄系统通过建立观看视点模型来大幅减少相机阵列的数量。

摄像机分别位于不同位置上，分别接收到3D场景发出的光线。这样离散式摄像机阵列就获得待显示的3D图像在不同侧面的信息。若将这样的离散式摄像机阵列拍摄的图像经过相反的过程，即将离散式摄像机阵列拍摄的3D场景不同侧面的视图反变换到微图像阵列上，就获得该集成成像3D显示装置所需的微图像阵列。为了使得离散式摄像机阵列拍摄的视差图像包含集成成像显示时微图像阵列所需的全部信息，需要先确定集成成像3D显示装置的参数，再根据一定的关系设置离散式摄像机阵列的参数。假设微透镜阵列和微图像阵列都包含M个单元，图像元在水平方向上的分辨率为r，图像元和透镜元节距相同均为p，透镜元焦距为f。离散式摄像机阵列中相邻摄像机间的间距d为

其中f为3D显示时将使用的微透镜阵列的焦距。在距离微透镜阵列L处，离散式摄像机阵列需覆盖整个3D观看视区的宽度，该宽度在水平方向上为Dh

式中函数ceil（ ）表示向上取整数。按照式（1）和（3）设置离散式摄像机阵列拍摄3D场景，离散式摄像机阵列中，各摄像机平行等间距排列，且光轴互相平行，相邻摄像机的间距为d，摄像机焦距为f。离散式摄像机阵列中的每个摄像机都需要拍摄整个3D场景，拍摄得到M′幅视差图像。

2.2单摄像机无人机的拍摄

虽然离散式摄像机阵列大幅降低了拍摄所需摄像机的数量。但是，离散式摄像机阵列仍然难以搭载在无人机上。因此，本文拟提出一种单摄像机无人机拍摄方法，针对不同显示参数选取不同的相应帧，相应帧模拟的是离散式摄像机阵列进行3D拍摄时的图像元。当无人机在空中保持匀速水平飞行时，其飞行速度为V，摄像机获取视频的帧率为s，可以得到微图像阵列相邻图像元的帧频间隔ΔX：

可以通过调节飞行速度以及获取视频的帧率满足集成成像3D显示的需求。

2.3微图像阵列生成算法

需要将少于图像元个数的视差图像转换为集成成像3D显示所需的微图像阵列。针孔阵列包含M个针孔，针孔阵列与视差图像之间的间距等于3D拍摄时离散式摄像机阵列的焦距，且两者中心对齐，每幅视差图像都绕其中心旋转180°，针孔阵列和视差图像重建出3D场景深度反转的3D图像。然后微透镜阵列再对该深度反转的3D图像进行3D拍摄，每个透镜元在不同视角记录下该深度反转的3D图像，在微透镜阵列的后焦平面上获得所需的微图像阵列。该视差图像合成为微图像阵列的过程与Ives的两步拍摄法有异曲同工之妙，不同的是，Ives的两步拍摄法用的是参数完全相同的微透镜阵列，本文提出的方法在两次3D拍摄过程中，采用参数完全不同的3D拍摄器件，且第一步3D拍摄过程只需少量的摄像机，使得整个3D拍摄和图像处理过程较为简单。

第m′个视差图像上的第i′列像素用I′（m′，i′）表示，该列像素发出的光线，经过针孔透射出来，到达微透镜阵列的第m个透镜元上，被该透镜元折射后到达其后焦平面上对应的图像元的第i列像素位置上，该列像素由I（m，i）表示。根据光线传播理论，视差图像上的像素列I′（m′，i′）与微图像阵列上的像素列I（m，i）对应，因此

式中，函数round （ ）表示四舍五入取整，当计算出的i值大于图像元在水平方向上的分辨率r时，则舍弃该像素，以避免相邻图像元间的串扰，m′、i′ 是循环变量，分别将m′在1-M′范围内，i′ 在1-M范围内循环取值，就能将M′幅视差图像上的所有像素列映射到微图像阵列上，获得正确深度的微图像阵列。由计算机来完成上述像素映射过程能够避免串扰和透镜元的衍射等问题，将获得高质量的微图像阵列。

3实验验证

采用无人机对培田村进行3D拍摄。采用AOC E2280SW搭建基于柱透镜光栅的集成成像3D显示实验装置验证所提理论。显示屏与柱透镜光栅的间距为0.5mm，柱透镜光栅的焦距为1.49mm，柱透镜光栅的折射率为1.49。在观看距离500mm处，分别从不同的观看角度拍摄3D图像，如图2所示。

致谢

本文为四川省哲学社会科学重点研究基地-现代设计与文化研究中心项目《集成成像3D拍摄技术在数字化传统村落中的应用》（项目号：MD21E003）、成都工业学院智能飞行器研究中心种子基金项目《无人机拍摄技术在三维数字化传统村落中的应用》、成都工业学院无人机产业发展研究中心项目《基于无人机的3D显示部分关键技术研究》（项目号：SCUAV20-A003）、四川省大学生创新项目《基于无人机的3D显示部分关键技术研究》（项目号：S202111116063）和成都工业学院大学生“青苗计划”项目《基于单摄像机无人机的三维数字化传统村落技术研究》的成果。

参考文献

[1]黄学军. 古村落传统文化遗产的数字化保护与传承. 人民论坛， 2020（8）： 140-141.

[2]郝晓艳. 山西传统村落建档保护工作探析. 中共山西省委党校学报， 2019， 42（4）： 123-125.

[3]张娟. 贵州大数据缔造美丽乡村. 城乡建设， 2020（1）： 52-57.

[4]罗杨， 张凯， 梁继红， 等. 古村落的数字化保护与传承. 文化纵横， 2019（1）： 134-137.

[5]章天成， 曾灿， 毛凤仪， 等. 传统村落文化遗产价值评定与数字化保护研究——以兰溪古村为例. 建筑与文化， 2019（11）：93-94.

[6]刘沛林， 李伯华. 传统村落数字化保护的缘起、误区及应对. 首都师范大学学报（社会科学版）， 2018（5）： 140-146.

[7]郑文武， 刘沛林.“留住乡愁”的传统村落数字化保护. 江西社会科学， 2016， 36（10）： 246-251.

[8]赵颖. 基于高清影像技术的温州楠溪江流域古村落数字化保护研究. 社科纵横（新理论版）， 2013， 28（1）： 240-241.

[9]师国伟， 王涌天， 刘越， 等. 增强现实技术在文化遗产数字化保护中的应用. 系统仿真学报， 2009， 21（7）： 2090-2093.

[10]Huang Hekun， Hua Hong. High-performance integral-imaging-based light field augmented reality display using freeform optics[J]. Optics Express，2018， 26（13）：17578-17590.