数据治理思考

数据问题:

数据管理责任不清晰,造成数据问题无人决策解决;
数据多源头,造成数据不一致,不可信;
数据大量搬家造成IT重复投资;
数据无定义造成难于理解、难于使用;
各部门发布报告,统计口径不一致,困扰业务决策;
数据形态多样化,数据量迅猛增长,数据处理逻辑复杂,投资大;

华为在数字化转型过程中,解决了上述问题,因为华为认识到只有建立了完整的数据治理体系,保证数据内容的质量,才能够真正有效地挖掘企业内部的数据价值,对外提高竞争力。

数据治理模块域

数据治理主要专注于如下模块域:

数据集成

数据集成用来完成数据入湖动作,不是简单的数据搬家,而是按照一定的方法论进行数据备份。数据入湖的前提条件是满足6项数据标准,包括:明确数据 Owner、发布数据标准、定义数据密级、明确数据源、数据质量评估、元数据注册。此标准由数据代表在入湖前完成梳理并在数据治理平台上进行资产注册。
数据标准

数据标准管理着重建立统一的数据语言,L1到L5数据层级业务对象的定义是数据

标准的载体,并对应发布包括L1到L5数据层级的数据标准。各业务对象对应物理

实现的IT系统需发布相应的数据字典并进行数据源认证。而对于梳理出来,但没

有落IT系统的业务对象,需在后继的开发中进行数字化落地。
数据开发

数据开发是编排、调度和运维的中心,数据开发是一个提供分析、设计、实施、部署及维护一站式数据解决方案,完成数据加工、转换和质量提升等。数据开发屏蔽了各种数据存储的差异,一站式满足从数据集成、数据清洗/转换、数据质量监控等全流程的数据处理,是数据治理实施的主战场。
数据质量

数据质量管理的目标在于保证数据满足使用的要求。数据标准是衡量数据质量最基本的基准。数据质量要求各业务部门对相应数据领域的数据质量全权负责,按业务需求设计数据质量标准,制定数据质量管控目标,并遵循企业数据治理要求进行数据质量度量,制定符合各自业务情况的数据质量政策及数据质量相关的改进计划,持续进行数据质量管控。
数据资产

数据资产包括业务资产、技术资产、指标资产等。数据资产管理是数据治理的重要支撑手段,核心是构建企业级的元数据管理中心、建立数据资产目录、建立数据搜索引擎、实现数据血缘和数据全景可视。其中元数据包括业务元数据、技术
元数据和操作元数据,要求将企业所有概念数据模型、逻辑数据模型以及物理数据模型系统化地管理起来,同时建设企业数据地图及数据血缘关系,为数据调用、数据服务、数据运营及运维提供强有力的信息支撑。
数据服务

数据服务通过在整个企业范围统一数据服务设计和实现的规范并进行数据服务生命周期管理,集约管理数据服务并减少数据调用和集成的开发成本。
数据安全

由于企业使用的数据资源,既有来自于内部业务系统,所有权属于企业的数据, 同时也有来自外部的数据,必须将数据安全纳入数据治理的范畴,对所有企业数据要求依据数据安全等级定义进行数据安全定级,在数据产生、传输、存储和使用的过程中进行必要的数据安全访问控制,同时对数据相应的CRUD活动均需产生日志以完成安全审计。
主数据

主数据管理是数据标准落地和提升数据质量的重要手段,是企业级数据治理的重要范畴,其目标在于保证在企业范围内重要业务实体数据的一致(定义和实际物理数据的一致)。主数据管理首先进行企业主数据的识别,然后对已识别主数据按照主数据规范要求进行数据治理和IT改造,以支撑企业业务流和工具链的打通和串联。
管理中心

数据治理的开展离不开组织、流程和政策的建设,管理中心也管理着数据治理过程中公共核心的统一数据源、数据驾驶舱等,满足不同角色的用户拥有个性化的工作台。

数据治理实践

华为数据治理的规范流程建设,完成了从数据产生、数据整合、数据分析与数据消费全价值流的规则制定。

华为数据治理组织实践,建立实体化的数据管理组织,虚线向公司数据管理部汇报,同时组建了跨领域数据联合作战团队。

华为已建立统一的数据分类管理框架,指导各领域进行分类管理。

华为信息架构框架,通过政策发文明确信息架构的定义和构成要素,在公司层面建立统一的架构方法。基于ISO8000标准,华为建立了数据质量管理框架和运作机制,每年例行开展两次公司级数据质量度量,从 “设计“与”执行”两个方面度量数据质量,由公司数据Owner定期发布公司数据质量报告,牵引各业务领域持续改进数据质量。

数据治理框架

架构

人员分配

在战略层面，由数据治理Sponsor和各部门负责人组成的数据治理领导组制定数据治理的战略方向，以构建数据文化和氛围为纲，整体负责数据治理工作的开展、政策的推广和执行，并作为数据治理问题的最终决策组织解决争议，监控和监督数据治理工作的绩效，并确保数据治理工作预算支持。数据治理委员会和各领域数据治理工作组是数据治理战略在运作层面具体的实施团队。其中：

数据治理委员会：

由数据治理负责人、数据治理专家和数据架构专家团组成，面向企业进行数据治理工作的统筹并提供工作指导，在整个企业范围定期沟通数据治理工作，形成数据质量精细化管控文化。根据数据治理领导组的愿景和长期目标，建立和管理数据治理流程、阶段目标和计划，设计和维护数据治理方法、总则、工具和平台，协助各数据领域工作组实施数据治理工作，对整体数据治理工
作进行度量和汇报，并对跨领域的数据治理问题和争议进行解决和决策。

各领域数据治理工作组：

在各领域数据范围内进行数据治理的工作，依据数据治理委员会制定的数据治理方法和总则，制定本领域数据治理目标和工作计划，负责领域数据资产的看护，维护更新相应数据标准和及相关元数据，设计本领域数据度量和规则，监控收集数据质量问题并持续改进提升，主动升级数据相关问题。最终完成领域内数据资产的看护，并支撑数据治理目标的达成。领域数据治理工作组由数据Owner、数据代表、数据管家、数据专员和数据架构师组成。其中：