(1)数据环境愈发复杂
随着云计算、物联网、大数据、人工智能等技术的发展和应用,企业数据的来源(内部数据、外部数据)、规模(采集、存储和计算的数据量都非常大)和种类(结构化、非结构化、半结构化)急剧增加,系统之间的互连、互通、互操作需求增多,处理速度要求愈加严苛,企业面临的数据环境日趋复杂。
(2)数据质量愈发难控
由于缺乏顶层的数据标准体系设计,企业数据往往存在数据定义不一致、数据不完整、数据分散不一致、数据融合度差等问题,数据总体质量差,且缺乏有效地数据管控制度和工具。此外,影响数据质量的因素趋于多样化,例如,信息因素、技术因素、流程因素和管理因素,使得数据质量愈发难以控制。
(3)安全风险愈发增加
数据自身蕴藏的巨大价值和集中化的存储管理模式使得企业数据日益成为网络攻击的重点目标,针对数据的勒索攻击和数据泄露问题日趋严重,全球数据安全事件呈频发态势。相应的,数据安全需求已经催生相关安全技术、解决方案及产品的研发和生产,但从总体上看,安全技术仍存在发展滞后现象。
(4)合规性要求愈发提高
随 着 欧 盟《 一般数据保 护条例 》(General Data Protection Regulation,简称 GDPR)的颁布,各国都相继出台了更为严厉的法规,对个人、组织和国家重要数据进行保护。总体上看,法规的适用范围进一步扩大,对违规者的处罚大幅提高,对数据保护提出了更高的要求,这对数据合规性提出了新的要求。
二、数据治理的主要挑战
数据治理是一项长期的企业管理活动,专业性很强,往往需要外部专业机构的辅助,因此,数据治理不仅是技术问题,更是管理问题。在 Experian 发布的《2018 全球数据管理研究》报告中,梳理了十余条企业数据管理存在的挑战,排在前三位的分别是跨组织的一致性、合理的投资和治理哪些数据。总体而言,数据治理存在以下挑战:
(1) 组织和制度建设
由于企业的发展战略和组织架构各不相同,如何建立一支专业设置合理、人员配备整齐的数据治理团队是企业实施数据治理面临的首要问题。由于企业组织架构不同且缺乏相关标准和最佳实践的指导,如何建立高效组织和制定科学制度是最大的挑战。
(2) 跨部门组织协调
数据治理涉及企业的不同层级、多个部门和多方利益,如何照顾和平衡各方需求、针对治理目标和治理方法达成一致是数据治理的协调难点。同时,如何处理跨部门的数据定义、数据格式和数据语义不一致问题是数据治理需要解决的关键问题。
(3) 项目规划和实施
数据治理最终还是要落到具体的数据治理项目中,需要确定项目的具体目标(治理哪些数据、达到哪些目标)、技术选型(使用哪些工具)、标准规范(标准体系如何确定、制定哪些标准、实施哪些标准)和实施路径(确定数据治理的优先级)。