企业为何仍挣扎于数据治理:挑战与破局之道

尽管AI和分析技术得到广泛使用,但许多企业的数据治理仍不到位,这在网络安全和合规性等多个层面都存在风险,更不用说对各种利益相关者的潜在影响了。 简而言之,随着企业对数据的依赖程度不断增加,数据治理变得越来越必要,而非减少。 Info-Tech Research Group负责数据、分析、企业架构和AI的首席研究总监Steve Willis提供了一个令人清醒的统计数字:大约50%至75%的数据治理计划都失败了。

尽管AI和分析技术得到广泛使用,但许多企业的数据治理仍不到位,这在网络安全和合规性等多个层面都存在风险,更不用说对各种利益相关者的潜在影响了。简而言之,随着企业对数据的依赖程度不断增加,数据治理变得越来越必要,而非减少。

企业为何仍挣扎于数据治理:挑战与破局之道

Info-Tech Research Group负责数据、分析、企业架构和AI的首席研究总监Steve Willis提供了一个令人清醒的统计数字:大约50%至75%的数据治理计划都失败了。

Willis在电子邮件采访中表示:“即使在监管严格的行业,治理的概念和价值更广泛地融入企业文化中,大多数数据治理计划也仅仅停留在昂贵的[勾选]框练习阶段,这种练习只是将监管查询降到最低限度,但为投资带来的额外业务价值却微乎其微。”

大多数数据专业人员认为,缺乏对业务的理解和/或高层的参与、资金有限、数据环境复杂或企业普遍对变革有抵触情绪等是数据治理实施的根本障碍,也是大多数数据治理计划失败的原因,尽管Willis对此持不同看法。

Willis表示:“业务利益相关者所关心的有形成果与以数据治理之名开展的活动和计划之间缺乏深层联系,这是失败的主要原因。少数成功实施数据治理的企业能够轻易指出数据治理计划所带来的价值,他们不仅能够直接看到战术上的胜利,还能深刻感受到数据治理对企业实现战略目标和任务所作出的巨大贡献。”

问题所在

许多数据团队,特别是数据治理团队,与业务利益相关者缺乏适当的关系,因此业务方面无法了解数据治理的运作方式。

Info-Tech的Willis表示:“数据治理团队应严格专注于了解[数据使用]方面的改进将如何切实为管理和使用数据的人员减轻负担或创造新的增值机会,无论是消除关键痛点还是创造新机会。许多数据治理专业人员没有关注其‘客户’的需求,而是过度关注于为那些他们声称要帮助的人增加工作量,而提供的可衡量价值却微乎其微。”

为何会出现这种脱节?数据团队认为他们没有时间去了解利益相关者,甚至质疑业务利益相关者的需求。虽然高层的支持至关重要,但数据治理专业人员并没有充分利用这种支持。一个常常未被承认的问题是文化问题。

Willis表示:“不幸的是,在许多企业中,对治理和风险管理的主要态度是,它们是官僚主义的负担,会阻碍创新。数据治理团队也往往延续这种心态,过度关注数据控制和流程,而执行这些控制和流程所付出的努力与它们所释放的价值并不匹配。”

提高数据治理有效性的一个方法是重新评估企业的目标和方法。

Willis表示:“将数据治理活动一小步一小步地嵌入到当前的业务运营中,将数据管理作为业务流程所有者日常职责的一部分,而不是将数据的治理和管理视为一件独立的事情。将数据治理和管理与业务运营分离,是导致被指定的数据管理员(通常是业务流程所有者)不理解他们被要求做什么的一个关键原因。作为数据治理团队,你需要将数据管理活动转化为业务能理解的语言,并将其成为他们工作的一部分。”

常见错误及避免方法

企业在努力使用户能够访问数据的同时,也在努力保护数据免受滥用或泄露,这往往导致要么官僚主义盛行,要么控制不足,使企业容易效率低下并面临监管罚款。

医疗保健公司McKesson的数据和技术运营高级经理Arunkumar Thirunagalingam在电子邮件采访中表示:“解决方案是从小处着手,专注于交付成果,并在此基础上进行拓展。从高优先级领域开始,比如修复合规漏洞或清理关键数据集,以快速取得成效。这些早期的成功有助于积累势头,并在整个企业中展示治理的价值。”

他表示,公司犯的最大错误包括试图一次性解决所有问题,过度依赖技术而没有建立适当的流程,以及忽视最终用户的需求。

Thirunagalingam表示:“过度严格的治理往往会导致出现更多问题的规避方法,而等到危机迫使采取行动时,公司就会处于被动和脆弱的境地。如果做得正确,数据治理就不仅仅是一种防御机制——它还是创新和效率的推动者。”

网络安全咨询公司Stratascale的首席安全顾问Stephen Christiansen表示,数据专业人员的短缺、数据的爆炸式增长以及对AI和数据安全日益增长的需求,正在促使企业采取更为保守的方法。

Christiansen在电子邮件采访中表示:“公司需要不断投资于数据技术,以帮助他们在企业系统中管理、保护和集成数据。在公司内部,需要建立数据驱动的文化,以便员工更好地理解数据治理的重要性以及它如何使自己受益。”

全球金融科技公司RobobAI的首席技术官David Curtis表示,数据的平均数量每月增长63%,这种增长速度之快令人应接不暇,公司正在努力管理这些数据的存储、保护、质量和一致性。

Curtis在电子邮件采访中表示:“数据通常是在企业内的多个不同的ERP系统中收集的,这往往意味着数据格式不同且不完整。80%的公司估计,他们有50%至90%的数据是非结构化的。非结构化数据由于缺乏标准化,会给大型企业带来挑战,使其难以存储、分析和提取可操作的见解,同时还会增加成本、合规风险和效率低下。”

公司需要从制定数据治理策略开始,作为其中的一部分,他们需要审查相关的业务目标,定义数据所有权,确定参考数据源,并使数据治理策略的KPI与之保持一致。为了持续取得成功,他们需要通过建立数据流程和致力于主数据管理框架,来建立一个持续改进的迭代过程。

Curtis表示:“你在AI上每投资一美元,就应该在数据质量上投资五美元。根据我的经验,最常见的数据挑战是由于主数据管理计划缺乏明确的目标和可衡量的成功指标。通常,数据不足或质量低劣,而且通常规模庞大,与现有系统和工作流程的集成有限,这阻碍了可扩展性和实际应用。”

不断变化的法规也加剧了这一问题。

专业服务公司Cherry Bekaert的信息保障和网络安全负责人Kurt Manske表示:“企业不断面临来自不同司法管辖区(如GDPR、HIPAA和CCPA)不断出台的法规的合规挑战。这些法规不断演变,当IT领导者认为他们已经解决了一组合规要求时,又会出现新的合规要求,带有细微差别,需要对数据治理计划进行持续调整。现实是,公司不能简单地暂停业务来适应这些不断变化的法规。因此,开发、部署和管理数据治理计划和系统就像在高速公路上行驶时更换汽车轮胎一样。这是一项不可否认的艰巨任务。”

这凸显了建立弹性文化而非被动反应文化的必要性。

Manske在电子邮件采访中表示:“领先公司将法规合规视为其品牌和产品的差异化因素。数据治理计划和系统部署项目失败的一个关键原因是企业试图一次性承担太多任务。‘大爆炸’式的部署策略听起来很吸引人,但在实践中往往会遇到许多技术和文化问题。相反,在整个企业中采用分阶段或分规模的部署方法,可以让团队、供应商和治理领导层持续进行评估、纠正和改进。”

令人清醒的真相

缺乏强大治理的企业会被数据淹没,无法利用数据的价值,并使自己容易受到日益增长的网络威胁。根据管理咨询公司Horváth USA的合伙人Klaus Jäck的说法,像CrowdStrike泄露事件这样的事件,严峻地提醒了人们所面临的风险。数据质量问题、数据孤岛、所有权不明确以及缺乏标准化只是冰山一角。

Jäck在电子邮件采访中表示:“这些挑战的根源很简单:数据无处不在。由于新的传感器技术、过程挖掘和高级监控系统,数据是在每个业务流程的每一步中产生的。将数据货币化的驱动力只是加速了数据的增长。不幸的是,许多企业根本没有能力管理这种数据洪流。”

一个真正有效的策略必须超越政策和框架,它必须包括明确的指标来衡量数据的使用方式和创造价值的大小。分配所有权也是关键——数据管理员可以帮助创建一个对现代数据源(包括非结构化数据)的细微差别敏感的控制环境。

Jäck表示:“未能将治理与业务目标联系起来或忽视高层的支持是重大错误。沟通不畅和培训不足也会破坏相关努力。如果员工不理解治理政策或看不到其价值,进展就会停滞。同样,将治理视为一次性项目而非持续过程也会导致失败。”

安全、隐私、合规和AI数据管理公司BigID的首席执行官兼联合创始人Dimitri Sirota表示,数据治理挑战的根本原因通常源于数据质量差和治理框架不完善。

Sirota在电子邮件采访中表示:“数据收集做法不一致、关键数据元素(如日期和数值)缺乏标准化格式以及未能随时间监测数据质量,这些问题都加剧了数据治理的挑战。此外,企业孤岛和过时的系统可能导致数据不一致性持续存在,因为不同的团队可能会以不同的方式定义或管理数据。如果没有一个严格的框架来识别、修复和监测数据问题,企业在维护可靠、高质量的数据方面就会面临一场艰苦卓绝的战斗。”

最终,缺乏集中的治理策略会使标准的执行变得困难,从而在数据环境中制造噪音和混乱。

安全合规提供商Secureframe的合规负责人Marc Rubbinaccio指出了一个相关问题,即了解敏感数据的存储位置以及其在企业内的流动方式。

Rubbinaccio在电子邮件采访中表示:“在企业内部和软件产品中匆忙采用和实施AI引入了新的风险。虽然AI带来的效率提升得到了广泛认可,但由于缺乏全面的风险评估,它可能引入的漏洞往往没有得到解决。许多企业为了保持领先地位,急于求成,绕过了详细的AI风险评估,这可能使自己面临长期的后果。”

给TA打赏
共{{data.count}}人
人已打赏
理论

麻省理工研究人员提高机器学习模型准确性

2024-12-23 13:28:22

理论

使用GenAI实现缺陷检测和分析

2024-12-23 14:12:41

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索