打开文本图片集

摘要：随着数字化建设在各领域的快速推进，大数据的管理将是必不可少的重要课题，各行业适用于数字化管理的新规新政也在不断的完善和发布，对于数据的合规管理、合规留存与合规使用都提出了新的要求和标准。面对海量数据的合规存管需要，更安全、更节能以及更长久的数据合规存管需求将不断产生，而光存储介质级的存储特性恰好满足需要。光存储技术历时三代，并于近期由中科院上海光机所与上海理工大学共同团队研发实现了第四代的技术突破性进展，未来可期。本文基于光存储技术应对大数据合规存管的需要做了逐一分析，设计开发了数据合规存管系统软件，最后结合光盘库硬件对不同场景的应用给出了建议方案，以期在数字时代的大数据合规存管的未来发展中提供一些建议与参考。

关键字：光存储；数据合规；存管系统

一、光存储介绍

光存储技术从二十世纪六十年代开始发展至今，主要经历了CD（Compact Disc）、DVD（Digital Video Disc）和BD（Blu-ray Disc）三代产品的更新迭代，由最初面世后的广泛流行到后期转向专用领域，光存储一直在不断探索中发展，日前更大容量的三维光存储技术在研究上也不断取得突破性进展，随着数字时代来临的脚步越来越快，快速增长的大数据存储需求也将为光存储的高速发展提供新的机会。

（一）发展历程

1982年，全球第⼀张CD发⾏，12cm光盘第⼀次正式进⼊市场。CD作为⼀种⾼质量⾳乐的便携⽅式在全世界迅速的传播。在当时个⼈电脑的基本软件就要使用十几张软盘的容量，而当它可以被⼀张光盘代替时，光盘在计算机领域迅速发展。

1996年，DVD诞⽣了，激光波⻓从红外线缩短为红光，⽽且激光通道的镜⼝率（N.A.）提⾼到了0.60，以减少记录和重放的光斑磁场。同时减⼩标记尺⼨和记录轨道间距，实现⾼密度记录。随着单⾯双记录层光盘的发展，最⼤容量可实现增加到9GB。

2003年，随着光盘介质的进⼀步发展，蓝光光盘（Blu-ray Disc™）⾯世了，它采⽤蓝紫⾊激光，波⻓进⼀步缩短，⽽且激光通道的N.A.提⾼到了0.85，记录容量达到了DVD光盘的5倍左右。由于使⽤双⾯三记录层的结构，蓝光光盘最⼤的记录容量达到了200GB/张。

2024年， “超级光盘”在中国科学院上海光学精密机械研究所诞生。“超级光盘”是上海光机所与上海理工大学等科研单位紧密合作、在超大容量超分辨三维光存储研究中取得的突破性进展。研究团队利用国际首创的双光束调控聚集诱导发光超分辨光存储技术，实验上首次在信息写入和读出均突破光学衍射极限的限制，实现了点尺寸为54nm、道间距为70nm的超分辨数据存储，并完成了100层的多层记录，单盘等效容量达Pb量级。经老化加速测试，光盘介质寿命大于40年。

（二）技术特性

1、数据存储安全可靠

1）防篡改，光盘具有介质级WORM特性，不可逆，一次性写入不能擦除修改；

2）防病毒，光盘介质级WORM使数据本身不会被任何病毒擦除或修改，不会被勒索病毒锁定，光盘支持离线存管，可以物理隔离实现最高安全等级；

3）防水，光盘防水读取测试可超100万次；

4）防磁化，介质表面无机材质与空气隔离激光无接触一次性永久刻录，不受任何磁化影响；

5）数据写入和读取为非接触式，避免光头与光盘产生摩擦，即使在运行中也实现高安全性。

2、超长保存周期

专业级档案蓝光光盘，经老化加速测试可达50年以上的存储期，是传统磁盘介质的10倍。对于需要长期存储的企业档案数据，光存储可以避免因存储介质寿命到期反复迁移所带来的安全隐患，针对10年以上的数据存储期在成本投入上相较磁盘存储也具有明显优势。

3、超低能耗，节能节费

光存储系统主要针对冷数据存储设计，在非数据写入和读取时，待机功耗极低，1PB数据保存30年的能耗仅是磁盘阵列存储的0.3%。另外，光盘介质对存储环境要求宽泛，温度在-10°C～55°C，湿度在3%～90%，离线存储时的环境建设投入可大幅降低，实现零碳存储。

4、大数据迁移安全高效

光盘介质是最适合批量运输的数据存储介质，在内设防护盘盒的情况下批量运输迁移可做到防震、防水、防磁、防篡改，是重要数据大批量高效迁移的最佳选择。

5、存储介质性能参数对比

二、数据合规存管的需要

（一）各行业数据存储的相关规定与要求

金融：

1）银行录音录像资料至少保留6个月，销售专区录音录像资料一般长期保存。客户身份资料和交易记录，至少保存5年。

2）保险视听资料，保险期一年以下不少于5年，保险期超一年不少于10年。

3）基金评价数据和资料，自提供之日起保存15年。

4）经营机构对匹配方案、告知警示资料、录音录像资料、自查报告等的保存期限不少于20年。

5）证券公司客户开户资料、委托记录、交易记录和与内部管理、业务经营有关的各项资料，保存期限不少于20年。证券登记结算机构保存登记、存管和结算的原始凭证及有关文件和资料不少于20年。

有关规定与依据：

《银行业金融机构销售专区录音录像管理暂行规定》、《保险销售行为可回溯管理暂行办法》、《金融机构客户身份识别和客户身份资料及交易记录保存管理办法》、《金融机构反洗钱规定》、《证券投资基金评价业务管理暂行办法》、《证券期货投资者适当性管理办法》、《证券公司管理办法》、《证券交易所管理办法》、《中华人民共和国证券法》。

公检法：

1）现场执法视音频资料的保存期限不少于6个月，涉案证据、阻碍执法或妨害公务行为、重大突发事件、群体事件、其他重大、疑难、复杂情况的现场执法视音频资料，永久保存。

2）案卷保管期限30年至永久不等。

有关规定与依据：

《公安机关现场执法视音频记录工作规定》、《人民检察院诉讼档案保管期限表》。

医疗：

门（急）诊病历保存时间自患者最后一次就诊之日起不少于15 年；住院病历保存时间自患者最后一次住院出院之日起不少于30 年。

有关规定与依据：《医疗机构病历管理规定》

民航气象：

民用航空气象资料保存的期限分为：永久、长期、短期、暂时四个档次。长期保存的期限为30年，短期保存的期限为5年。

有关规定与依据：《民用航空气象资料管理办法》

（二）需合规存管数据的特点

合规存管数据大多为相关管理规定中明确要求的重点留存且需独立归档存管的重要数据，主要为档案类、图像及音视频存档、证据证物类、重要记录类、业务核心系统数据等，此类数据具有两个主要的特点：

一是不可再生，一旦意外丢失或删除无法在重建和恢复，所以此类数据的存管要求需符合合规保留标准，对数据进行有效生命周期管理，确保数据实现不可删除、不可篡改、并支持版本控制功能，历史数据可查询、可回迁，历史版本可恢复。

二是需节能长效保存，由于此类数据一般保存周期都在5年以上至永久不等，所以此类数据应区别与日常应用数据，配置更节能低功耗的存储环境，定期抽检复检有效性和完整性，确保数据的存管实现节能低耗的同时又能实现长期有效。

基于以上两个特点，光存储是数据合规长期存管的最佳存储介质选择，在具体应用中还需配合整体的系统集成实现，从软件交互设计到数据的分级分类管理等，形成完善的数据合规存管整体解决方案。

三、数据合规存管系统

（一）系统设计

1、设计原则

本次系统设计遵循如下原则进行：

安全可靠性原则

1）系统支持从硬件层面、数据层面到业务层面高可用，满足可靠性需求；

2）系统具备充分的数据冗余，数据容错能力；

3）系统具有专业的技术保障体系以及数据可靠性保证机制；

4）对工作环境要求较低，环境适应能力强；

5）异常掉电后不丢失数据，供电恢复后自动重新启动并自动恢复正常连接；

6）系统器件选择要考虑能支持7×24小时连续长时间大压力下工作。

扩展性原则

1）系统易于扩展，支持无缝扩展；

2）系统在容量扩展时，性能得到提升；

3）系统选择标准化的部件，利于灵活替换和容量扩展。

先进性原则

1）系统严格遵循国际标准、国家标准和国内通信行业的规范要求；

2）系统的处理能力要达到业内领先，以满足后续升级的需求；

3）系统支持信创，支持全国产化环境部署。

开放性原则

1）系统支持国际通用的标准网络存储协议、国际标准的应用开放协议；

2）系统与主流服务器保持良好的兼容性；

3）兼容各主流操作系统及应用程序；

4）可以与第三方管理平台集成，提供给客户定制化的管理维护手段；

5）满足今后的发展，留有充分的扩充余地。

易维护性原则

1）系统具有充分的权限管理，日志管理、故障管理，并能够实现故障自动报警；

2）系统容量可按需要持续扩展；

3）支持图形化界面管理方式。

绿色性原则

1）满足环保与节能的要求，噪声低、能耗低、无污染；

2）有节能降耗的技术手段。

2、系统结构

系统结构设计主要分为四个功能模块：

【数据获取整理】，作为系统前置服务代理，直接对接各业务系统，用于前端数据的抓取与整理。

【后台核心管理】，系统的全局指挥调度中心，负责通过预定策略对整个系统的数据流进行统一调度，管理各项任务的执行。

【光盘库管理】，数据存管仓库，对所有归档数据按预设机制进行管理和维护，配合管理后台执行数据调度，并同时完成审核、校验、记录等工作。

【用户交互】，系统采用BS架构，为不同权限及角色的用户配置对应的管理工作台，登陆后可直观呈现当前状态统计、系统操作界面、任务执行情况等。

3、数据抓取整理前置应用

在有数据合规留存管理要求的各业务系统本地部署前置代理应用，针对业务系统的重要归档数据进行前置的监管、抓取和整理，直接与各业务系统在本地对接，建立数据归档缓存区，确保数据的时效性和完整性，根据业务系统要求设定归档策略，对已符合归档策略的数据进行及时的收集和整理，根据后台数据存管要求对数据进行分类、标签及打包，最终按归档任务的预设时间将已打包数据迁移至后台管理服务器，并在迁移后进行比对复查，确保数据完整性。

4、数据合规存管策略

根据各项数据存管要求规定的需要，按需拟定不同数据的合规管理策略，包括但不限于数据可修订时限、数据打包、数据标签、数据类别、数据归档迁移、分级设置、副本管理、生命周期有效性检测等，管理策略可全局配置也可单独为个别数据类型配置，配置管理策略后，数据从后台管理服务器到蓝光存储盘库归档的整个管理流程可实现自动分级存储管理，用户只需在交互界面发出请求，数据的后台调用将自动完成。

数据在归档迁移和回迁使用的整个过程中，会按照使用频率被迁移至不同存储介质中，以满足用户在不同情况下的调用请求。

将数据按照被访问频率从高到低，存储数据可分为热数据、温数据、冷数据，经常被访问的数据称为热数据，较少被访问的数据称为冷数据，处于中间状态的称为温数据。80%的数据最终都会变为冷数据。热数据对读取速度的要求最快，读取文件相对较小，主要考虑读取速度，适合电、磁存储方式；冷数据对读取速度要求不高，读取文件的相对较大，主要考虑长期存储成本，适合蓝光介质存储。

5、任务管理

系统采用任务的方式对整个数据的归档迁移和回迁应用做统一管理，当数据存管策略配置后，可选择手动单次执行，也可按计划任务方式自动根据预设条件执行，另外可支持批量任务设置、任务优先级、任务分类、任务导入导出等功能设置，通过对任务的合理分配与调整，可以使整个系统在凌晨时段再执行高负载工作，避开白天的网络负载高峰，同时使用夜间更低的峰谷电价差进一步降低系统运营成本，针对临时发起的重要紧急任务可手动优先执行，不被已有的待执行任务影响。

6、数据检索查询及维护

对已归档保存的数据，可通过名称、类型、时间、标签等多维度进行数据检索，定期更新维护索引数据，确保数据检测查询的准确和高效。

针对已存管数据，系统可以根据时间、类型、副本数、生命周期管理等分项设置定期的数据回迁检验任务，短期部分抽查，中长期分批通查，确保存管数据的安全性和有效性。

7、消息与日志系统

系统可以与邮件、OA等第三方办公消息系统对接开发，实现重要信息的及时推送以及系统相关报告的定期发送。系统配置详细的日志系统，当遇到问题工程师可以通过对日志的分析快速定位故障原因，同时日志系统可对所有操作留痕，协助运维人员对系统的安全使用进行定期检查。

四、应用方案

（一）集成一体机

在较小的数据存管需求时，可使用一体机的存管方案，将管理系统软件、管理主机硬件和蓝光盘库做一体化集成，形成一个整合后的全功能一体机，便于在办公环境的快捷部署，简单易用。

可适用于分支机构、边缘网点、轻量化需求等场景。蓝光盘使用通用版，在分支机构或网点保存的数据可支持定期运输至总部中心集中存管，由于蓝光盘较高的安全性（防震、防水、防磁），是最适合远距离批量迁移数据的存储介质。

（二）分布式单元

目前较为主流的蓝光盘库产品均为分布式单元架构，可安装在数据机房标准机柜内，提供标准（基础）单元、读写性能扩容单元、数据容量扩容单元以及离线管理单元等多不同功能单元模块，支持耦合式扩容扩展，按需组合，用户可根据需求前期满足基本需求低成本启用，后期按需逐步扩容，且不用单独占用办公空间，可直接部署在机房机柜内。

机柜分布式单元的蓝光盘库需要还需配合管理服务器和后台管理系统才能形成完整的系统建设，所以部署时还需考虑管理后台服务器、光纤交换机等设备的部署情况，如果是高可用冗余安全要求，还会涉及服务器集群、存储服务器和虚拟化等系统的加入，构建一整套高可用多副本的蓝光数据归档存储方案。

（三）集中式数据管理中心

基于光存储的集中式数据管理中心，目前主要有两种形式：

一种是离线管理，使用“智能自动光盘管理柜”，采用模组化积木式设计，内置机械式存盘单元一盘一槽精准定位，支持灵活扩容，后台管理系统具有归档、调阅、库存查询等管理功能，主要为光盘的离线存储管理提供智能化集中式解决方案。

一种是近线管理，使用带有机械臂的整机柜光盘管理方案，在机柜底部配置光盘或盘匣机械臂，可随时对整机柜的光盘或盘匣进行抓取，送入机柜内预置的光驱中，数据调取的整个过程无需人工干预，只需等待机械臂完成抓盘和送盘后，光驱即可直接读取相应数据传输至系统前台，支持灵活扩容，无需专用管理系统，可在数据合规存管系统中直接调用，整体方案相比离线管理模式更便捷、更高效、可实现无接触管理，但整体投入更高，适合建设预算更高的用户。

参考文献：

[1]White Paper： Archival Disc Technology

[2]东方证券研究所报告

[3]新华网《“超级光盘”诞生 我国在光存储领域获重大突破》

作者信息：

国阳，男，毕业学校：华中科技大学大学本科，山东省泰安市，单位：上海万申信息产业股份有限公司