• 收藏
  • 加入书签
添加成功
收藏成功
分享

基于数据管理能力成熟度评估模型的核电数据质量管理体系研究

周双林 李杰
  
科创媒体号
2025年59期
1.中核武汉核电运行技术股份有限公司信息技术研究中心 湖北省武汉市 430223 2.核动力运行研究所信息技术研究中心 湖北省武汉市 430223

打开文本图片集

摘要:本研究基于数据管理能力成熟度评估模型(DCMM),探讨了核电行业的数据质量管理体系。论文分析了数据管理者、数据生产者与数据加工者在数据质量管理中的角色与职责,明确了各方在确保数据质量中的作用与协作机制。在此基础上,构建了适应核电行业的数据质量管理框架,并结合数据质量评估维度,提出了针对数据质量管理的系统化流程,包括需求识别、质量检查、数据分析与持续提升等环节。最后通过生产设备运行监测数据的应用实践,验证了该体系的可行性和有效性。本研究通过建立基于DCMM的数据质量管理体系,为核电行业制定科学的、可持续的数据质量管理提供借鉴。

关键词:数据质量管理,数据管理能力成熟度模型(DCMM),数据质量评估,数据质量提升

Abstract:This study explores the data quality management system in the nuclear power industry based on the Data Management Capability Maturity Assessment Model (DCMM). The paper analyzes the roles and responsibilities of data managers, data producers, and data processors in data quality management, clarifying their contributions and collaborative mechanisms to ensure data quality. Building on this foundation, a tailored data quality management framework for the nuclear power industry is established. Combined with data quality assessment dimensions, a systematic process for data quality management is proposed, encompassing demand identification, quality inspection, data analysis, and continuous improvement. Finally, the feasibility and effectiveness of the system are validated through its application to production equipment operation monitoring data. By developing a DCMM-based data quality management system, this research provides a scientific and sustainable reference for data governance in the nuclear power industry.

Keywords:Data Quality Management, Data Management Capability Maturity Model (DCMM), Data Quality Assessment, Data Quality Enhancement

1 引言

随着核电行业快速发展,数据质量直接影响设施的安全与效率。然而,面对复杂的安全管理要求,数据质量问题日益凸显,如何保障和提升核电行业数据质量成为了亟待解决的关键问题[1]。

数据质量管理不仅仅是数据生产过程中的质量控制,更涉及到数据生命周期中的各个环节,包括数据采集、存储、加工、应用等[2]。常用的数据质量管理方法包括规则校验和统计分析。规则校验通过预定义标准检查数据,但对复杂场景适应性差;统计分析基于数据分布识别异常,适用于大数据,但在处理低频或精确异常时效果有限[3]。随着信息化程度的不断提升,核电企业面临的数据种类和数据量呈现指数级增长,数据质量问题的管理和控制变得更加复杂[4]。因此,如何通过系统化、标准化的方式管理和提升数据质量,确保数据的完整性、准确性、时效性和一致性等[5],已成为核电行业提高管理水平和运营效率的重要课题。

在数据质量管理的体系建设中,数据管理能力成熟度模型(DCMM)作为一种评估和提升数据管理能力的框架,已被广泛应用于多个行业[6]。DCMM通过对数据管理流程、角色和责任、数据质量评估等方面的深入分析,帮助组织识别数据管理中的薄弱环节并提出改进措施。对于核电行业而言,采用DCMM模型来评估和优化数据质量管理体系,不仅能促进数据治理能力的提升,也有助于确保核电项目的安全合规性和持续发展[7]。

本研究基于DCMM模型,提出了一种适用于核电领域的数据质量管理框架与流程。首先,分析了数据管理者、生产者和加工者在数据质量管理中的职责,明确了各角色在保障数据质量中的职能。其次,围绕数据质量评估维度,构建了核心管理框架,并详细阐述了包括需求识别、检查、分析和改进在内的管理流程。同时,结合生产设备运行监测数据,对所构建的管理体系进行了验证,进一步提升其实用性和有效性。本研究旨在提供一种系统化、可操作的方法,以提高核电数据的准确性、安全性和合规性,为核电项目高效运行提供坚实的数据保障。

2 数据质量管理职责

在数据质量管理的框架内,各个角色承担着特定的职责,以确保数据的准确性、完整性和一致性。通过角色分明、职责明确的分工合作,组织能够更有效地管理和提升数据质量,以满足日益增长的数据分析和业务决策需求。

2.1 数据管理者

数据管理者在数据质量管理中扮演着核心角色,负责制定和执行数据质量战略,以确保数据管理活动与组织的整体业务目标相一致。首席数据官(CDO)负责制定公司级的数据质量战略和目标,审批各部门提交的数据质量提升方案,并为数据质量提升活动提供执行依据。此外,CDO还需推广数据质量文化,通过组织培训和宣贯活动,提升组织内的数据质量意识,建立良好的数据质量文化。部门领导则负责制定本部门数据质量目标,审批业务人员提出的数据质量规则,建立部门数据质量规则库,并监督数据质量管理活动的实施流程,提供必要指导。业务人员则需提出具体的数据质量需求,设定数据质量检验条件,提供基于本部门业务流程制定的数据质量规则,支持数据质量检查阶段的工作,并参与数据剖析和检查,分析数据剖析结果,汇总数据质量问题,并与数据生产者共同分析剖析结果,生成数据质量问题报告,制定数据质量提升方案并提交审批。

2.2 数据生产者

数据生产者涉及数据的生成和初步处理,其职责包括组织数据质量检查,审批数据质量问题解决方案的优先级,并参与数据质量问题的根因分析,反馈问题并提出改进建议。部门领导负责根据部门数据质量管理目标,组织和指导数据质量检查活动,审批各自部门的数据质量问题解决方案的优先级,作为数据质量提升的参考依据。业务人员则需进行数据录入和初步检查,按照数据质量规则提出数据质量问题,参与数据质量问题分析,建立数据质量知识库,并执行数据质量提升措施,根据数据质量提升方案,执行本部门数据源的数据质量提升工作。

2.3 数据加工者

数据加工者主要负责数据的进一步处理和分析,其职责包括汇聚和更新数据质量规则,建立并持续更新数据质量规则库。针对核电系统,数据开发人员将生产系统复制到数据模拟生产环境或直接针对上传数据进行数据质量问题剖析,执行数据质量校正,采用数据标准化、数据清洗、数据转换和数据整合等技术处理不符合质量要求的数据。此外,数据开发人员还需使用数据质量管理工具生成数据质量问题报告,并分发给数据管理者和数据生产者,协助数据管理者和数据生产者制定和实施数据质量提升方案,优化数据处理流程和技术。

3 数据质量评估维度

数据质量评估维度参考DAMA(Data Management Association, 全球数据管理委员会)白皮书中提出数据质量的6个核心维度:完整性、规范性、准确性、唯一性、一致性和及时性,作为评价数据质量的重要指导原则[8]。具体内容如下:

(1) 完整性:指数据是充分的,任何业务流程的数据都没有被遗漏。主要包括实体不缺失、属性不缺失、记录不缺失和字段值不缺失;

(2) 规范性:计量误差、度量单位、编码规则等方面的规范性应符合业务需求,数据符合预定的格式、类型或范围,如日期字段不应该包含文本或数字;

(3) 准确性:数据必须真实准确的反映实际发生的业务;

(4) 唯一性:数据值被约束成一组独特的条目,每个值都是唯一的。主要包括主键唯一和候选键唯一;

(5) 一致性:描述数据结构、数据值和他们的相互关系符合逻辑规则的程度。如统一数据来源、统一存储和统一数据口径;

(6) 及时性:衡量数据更新频率、反映当前状态的及时性以及历史数据保留策略,如国家代码等参考数据值,可能在很长时间内保持最新。

下表为从技术规则与业务规则对核电数据质量维度进行分类描述及示例说明。

4 数据质量管理框架

数据质量管理本质是构建常态化的管理机制,通过建立系统化的质量控制流程,不断提升数据的质量与可靠性。基于PDCA(计划、执行、检查、处理)质量管理思想,实现数据质量管理闭环处理,确保各项质量问题能够及时识别、解决并持续优化,从而为企业的数据治理和业务决策提供坚实的数据支撑。

在核电行业中,数据质量管理不仅是对数据生产和处理过程的管控,更是贯穿整个数据生命周期的系统性工作。从数据的采集、存储、加工,到最终的应用和分析,数据质量的每一个环节都必须受到严格管理与控制。因此,基于数据管理能力成熟度模型(DCMM)的评估要求,构建数据质量管理框架如下图所示。

根据DCMM模型,核电行业的数据质量管理框架可从以下几个方面进行构建:

(1) 战略与目标

数据质量管理应与核电企业的整体战略目标紧密结合。企业需要明确数据质量管理的战略方向,设定明确的质量目标和KPI(关键绩效指标),确保数据管理与业务目标的一致性。通过将数据质量纳入战略层面,企业能够形成统一的数据质量管理意识,从而推动各部门协同作业。

(2) 组织架构

数据质量管理需要专门的组织架构和职能部门进行统筹管理。通常,由数据管理部门牵头,组织其他部门(如业务部门、技术部门、质量保障部门等)共同参与。通过明确责任和权力划分,确保数据质量管理的高效执行,推动数据质量管理体系的落地与实施。

(3) 管理规范与流程

为了确保数据质量管理体系的有序运作,必须制定详细的管理规范和流程。这些规范涵盖数据质量的各个维度,包括数据完整性、准确性、时效性、一致性等方面。并依据PDCA管理思想,形成数据质量问题的闭环处理流程。具体流程包括数据质量需求的制定、数据质量检查与评估、数据质量问题的整改与优化等。

(4) 执行与监控

数据质量管理的核心在于执行。通过技术工具和系统化管理手段,对数据质量进行实时监控与评估。在执行层面,数据管理团队需要定期开展数据质量审计,评估数据质量的现状,并根据实际情况制定改进措施。同时,利用数据分析工具和技术手段,持续追踪数据质量指标的变化,确保各项质量要求得到落实。

(5) 数据质量文化

数据质量的提升不仅仅是技术和管理层面的工作,更需要核电企业内部形成数据质量文化。这种文化强调全员参与和责任共担,每一位员工都应意识到数据质量对生产运营和安全的重要性,推动数据质量意识的普及和深化。通过培训、宣传和激励机制,增强员工的数据质量责任感,形成长效的质量管理机制。

5 数据质量管理流程

5.1 数据质量需求

数据质量需求明确数据质量目标,由各部门数据管理者-业务人员根据业务需求及数据要求制定用来衡量数据质量的规则,包括衡量数据质量的技术指标、业务指标以及相应的校验规则与方法。依据公司的数据管理目标、业务管理的需求和行业的监管需求并参考相关标准来统一制定、管理,由数据管理者-部门领导审批数据质量需求。数据质量需求流程图如下所示:

(1) 制定数据质量目标:各部门数据管理者-部门领导制定本部门数据质量目标;

(2) 提出数据质量规则需求:各部门数据管理者-业务人员针对各自业务流程提出数据质量规则需求,并设定数据质量检验条件;

(3) 审批数据质量规则:数据管理者-部门领导审批通过数据质量规则;

(4) 建立数据质量规则库:数据加工者-数据开发人员将各部门数据质量规则汇聚,进而建立数据质量规则库,并持续更新质量规则库。

5.2 数据质量检查

数据质量检查由数据生产者-部门领导牵头,数据生产者-业务人员与数据管理者-业务人员根据数据质量规则库的技术指标、业务指标和校验方法对公司的数据质量情况进行实时监控,从而发现数据质量问题,并向数据管理者-部门领导和数据生产者-部门领导进行反馈。数据质量检查流程图如下所示:

(1) 组织数据质量检查:数据生产者-部门领导根据本部门数据质量管理目标的需要组织开展数据质量检查活动;

(2) 制定数据质量检验条件:数据管理者-业务人员在数据生产者-部门领导的指导支持下,根据数据质量规则制定数据质量检验条件;

(3) 中转分析过程:数据加工者-数据开发人员将核电生产系统复制到数据模拟生产环境,用于数据剖析;

(4) 直接分析过程:在数据质量管理工具中配置数据质量检验条件;

(5) 检查数据质量问题:数据管理者-业务人员基于数据质量检验条件对平台中的业务数据进行数据质量问题检查;

(6) 人工检查和剖析:必要时需要数据管理者-业务人员对数据进行人工检查剖析(针对线下纸质报表数据实施质量剖析,具体流程参考平台数据质量检查步骤);

(7) 汇总和分析数据质量问题:数据管理者-业务人员与数据生产者-业务人员汇总数据质量问题,对数据剖析结果进行分析;

(8) 生成数据质量问题报告:包括目标数据的各个质量的剖析结果,将数据质量问题报告分发给数据管理者-部门领导和数据生产者-部门领导。

5.3 数据质量分析

数据质量分析是数据管理者-业务人员和数据生产者-业务人员一起对数据质量检查过程中发现的数据质量问题及相关信息进行分析,找出影响数据质量的原因,并由数据生产者-部门领导审批通过数据质量问题的优先级,作为数据质量提升的参考依据。数据质量分析流程图如下所示:

(1) 分发数据质量检核结果:数据加工者-数据开发人员通过数据质量管理工具将数据质量检核结果发给各部门数据管理者-业务人员和各部门数据生产者-业务人员;

(2) 进行根因分析:数据生产者-业务人员针对各自业务流程数据质量检核中发现的问题进行根因分析;

(3) 确定数据问题优先级:数据管理者-业务人员与数据生产者-业务人员一起确定数据问题解决的优先级,对产生的信息进行知识总结,建立数据质量知识库;

(4) 审批问题解决优先级:数据生产者-部门领导审批各自部门的数据质量问题解决方案的优先级,作为数据质量提升的参考依据。

5.4 数据质量提升

数据质量提升是对数据质量分析的结果,制定、实施数据质量改进方案,包括错误数据更正、业务流程优化、应用系统问题修复等,并制定数据质量问题预防方案,确保数据质量改进的成果得到有效保持。数据质量提升流程图如下所示:

(1) 制定数据质量提升方案:根据数据质量问题解决优先级,数据管理者-业务人员、数据加工者-数据开发人员和数据生产者-业务人员一起制定数据质量提升方案并提交至数据管理者-CDO与数据管理者-部门领导。

(2) 审批数据提升方案:数据管理者-CDO与数据管理者-部门领导对数据提升方案进行审批下发,为下一步数据质量提升活动提供执行依据。

(3) 实施数据质量校正:数据加工者-数据开发人员进行数据质量校正,采用数据标准化、数据清洗、数据转换和数据整合等手段和技术,对不符合质量要求的数据进行处理,进而纠正数据质量问题。

(4) 跟踪和验证数据质量提升:数据管理者对数据质量进行跟踪,记录数据质量事件的评估、初步诊断和后续行动等信息,验证数据质量提升的有效性。

(5) 优化业务流程:数据生产者-业务人员负责本部门的数据源的数据质量提升,数据管理者-业务人员对业务流程进行优化,数据加工者-数据开发人员对系统问题进行修正,对制度和标准进行完善,防止将来同类问题的发生。

(6) 推广数据质量文化:数据管理者推广数据质量文化,通过数据质量相关培训、宣贯等活动,持续提升公司数据质量意识,建立良好的数据质量文化。

6 应用实践

核电生产的数据管理涉及设备运行监测、生产计划调度、安全风险评估等多个环节,这些数据对决策的准确性和及时性起到至关重要的作用。然而,实际操作中,数据质量问题(如缺失、不准确、不一致等)普遍存在,导致生产计划偏差、设备故障诊断延迟等问题。本文通过X公司生产设备的运行监测数据为例,运用提出的数据质量管理体系,改善数据质量管理流程,实现对数据高效地分析、清洗和改进,提升数据准确性和可用性。

6.1 问题数据分析

对上述数据进行分析总结发现如下问题:

(1) 数据完整性:维护时间和操作人员ID缺失,影响维护记录的可追溯性。

(2) 数据准确性:温度数据异常(如较大负值),功率输出为负值,可能是采集错误或录入问题。

(3) 数据一致性:日期格式不统一(如"2023-12-3"与"2023/12/4"混用)。

(4) 数据规范性:操作人员ID部分缺失或命名不规范,导致系统对记录的解析困难。

6.2质量管理体系实施

针对上述数据质量问题,基于本文提出的数据质量管理体系通过以下步骤解决上述问题:

(1) 需求阶段:明确完整性、准确性、一致性和规范性要求,设计质量检查模板。

(2) 检查阶段:利用自动化数据校验脚本,识别缺失或异常数据。

(3) 分析阶段:针对问题数据开展根因分析,如数据采集设备故障或人工录入失误。

(4) 改进阶段:调整采集规则,增加自动校验机制,并更新标准数据模板。

经过管理流程改进后生产设备运行监测数据记录结果如下表所示:

通过实践验证,本文提出的数据质量管理体系能够有效解决核电生产中常见的数据质量问题,为业务优化和安全运行提供了强有力的数据支持。

7 结论

本文通过对数据质量管理流程的深入分析,明确了数据管理者、数据生产者和数据加工者在核电数据质量管理中的职责与作用。通过构建基于DCMM模型的数据质量管理框架,本文提出了一套完整的数据质量管理流程,包括需求定义、质量检查、问题分析和质量提升等关键步骤,通过生产设备运行监测数据的实践应用,验证了体系的有效性,有效提升数据管理的成熟度,进而提高数据质量,满足数据分析和业务决策的需求。本文的研究为核电行业数据质量管理提供了新的视角和实践指导,对提升组织数据管理能力和保障核安全运营具有重要意义。

参考文献

[1] 任景莉,杨盼.核电站全生命周期数据管理框架体系构建与发展建议[J].中国工程科学,2022,24(02):152-159.

[2] 聂云贝,刘桂锋,刘琼.数据生态链视角下科学数据生命周期运行过程分析[J].信息资源管理学报,2021,11(02):69-77.

[3] KulkarniA. A study on metadata management and quality evaluation in big data management[J].Engineering Technology & Applied Science Research, 2016, 4(7): 455-459.

[4] 谷斌.信息系统建设中的数据质量管理体系研究[J].情报杂志,2007,(05):65-67.

[5] GB/T36344-2018,数据质量评价指标[S].

[6] GB/T 36073-2018,数据管理能力成熟度评估模型(DCMM)[S].

[7] 熊闪青.DCMM贯标助力工业企业数据质量提升[J].中国质量监管,2023,(10):84-85.

[8] DAMA数据管理知识体系指南:The DAMA guide to the data management body of knowledge[M].清华大学出版社,2012.

*本文暂不支持打印功能

monitor