什么是主动元数据?为什么Gartner预测它是元数据管理的新方向(数据分析前需要明确的几个概念)

导读:Gartner用主动元数据市场指南取代元数据管理魔力象限,预示着什么?到底什么主动元数据管理?欢迎聪明的读者自己去文中探索。

2022年的元数据管理已走过20多个年头。而这一年,元数据管理正处于变革转型的风口浪尖。

2021年,Gartner做了一件大胆的举措:取消了发布多年的元数据管理魔力象限,取而代之的是主动元数据市场指南。

这一变化预示着什么?现代数据堆栈中即将产生一种处理元数据的新方法。

什么是主动元数据?为什么Gartner预测它是元数据管理的新方向(数据分析前需要明确的几个概念)

无论您每天处理千字节还是兆字节的数据,您都可能想知道这究竟意味着什么。

  • 为什么传统的元数据管理会失败?
  • 传统元数据与主动元数据有何不同?
  • 为什么这份报告标志着元数据管理的范式转变?
  • 这对当今的数据领导者意味着什么?

这篇文章,笔者将尝试解答这些问题并预测元数据管理的新发展方向。

一、元数据管理的前世今生

预测一种事物的新方向,首先要回到这个事物最初的形态。元数据作为一种组织信息的思想自古就有,但元数据的现代思想可以追溯到1990年代后期

互联网时代的来临带来了数据类型和格式的爆炸式增长,IT团队负责创建“数据清单”。

随着数据传播到IT团队之外并变得更加主流,数据治理的想法就开始生根发芽——这是一个围绕数据管理人员和流程,以及确保企业数据的可用性、完整性和安全性的学科。

由于一段时间内,数据治理理念的流行,很多公司开始全力以赴。

他们创建了整个数据治理部门,为“数据管理员”赋予新角色,投资了数据治理委员会等。这些团队开始意识到他们需要软件来管理所有这些元数据。这一念头开启了元数据管理的黄金时代。

现有公司需要一种方法来整理所有这些新的元数据软件选项,因此 Gartner开始发布他们的元数据管理魔力象限报告。Gartner 报告中的所有领导者,包括Informatica、Collibra和Alation 等公司利用这些报告炒作市场,并得以迅速增长,创建了数十亿美元的公司,并在元数据管理软件上花费了数亿美元。

什么是主动元数据?为什么Gartner预测它是元数据管理的新方向(数据分析前需要明确的几个概念)

图:Gartner2020全球传统元数据管理工具的魔力象限图

那么后来,Gartner为什么会取消了元数据管理魔力象限的报告,而用主动元数据市场指南取代?原因到底什么,请继续阅读笔者下面的内容。

二、传统元数据管理为何失败?一个词:被动

如果我们用谷歌搜索“被动”这个词,可能会得到这样一个结果:“如果你形容某人很被动,你的意思可能是他不采取积极行动,而是任由某些事情发生。”

老实说,笔者也没有更好的方法来解释早期被动元数据系统的根本故障是什么。可能是如下两个原因:

  • 传统的元数据管理工具没有采取任何行动。通过简单地对元数据进行编目或存储,传统的元数据系统无法从元数据信号中驱动任何“行动”。这减少了元数据可能对数据平台和数据消费者产生的影响。
  • 传统的元数据管理系统让事情发生在他们身上。传统的元数据系统基本上是静态工具,依赖于人力来整理和记录数据。这意味着元数据程序的成功取决于实施它的人。这些根本性的缺陷导致传统元数据管理工具最终走向失败。

由于对元数据管理软件进行了大量的投资,因此大多数公司都在努力使他们的元数据项目取得成功。

几周前,某大厂的一位高级数据负责人对这些元数据管理工具这样评论,“每个人都知道我们购买的元数据管理工具只是昂贵的货架。

一家专注于元数据管理解决方案的知名顾问,证实了这一观点:“我们约50%的业务来自于帮公司花费数百万美元购买昂贵的元数据管理工具,而2-3年后公司才意识到这些工具根本是无效的,并拼命尝试去解决这种情况。

三、范式转变:从“被动”元数据到“主动”元数据

今天,我们正处于元数据管理的一个转折点——一个新时代的开始,其标志是以全新的方式来思考元数据及其在数据堆栈中所扮演的角色。这就是Gartner 主动元数据市场指南的用武之地。

花点时间在元数据的背景下思考这些短语,它们描绘了一幅活跃的元数据可以是什么样的场景。那么什么是主动元数据,笔者的定义是:一个永远在线、智能驱动、以行动为导向的系统,是其被动、静态前身的对立面。

Gartner给出的说法,主动元数据是“一组能够持续访问和处理并支持持续分析的元数据的功能……”

这实际上意味着什么?主动元数据平台与传统元数据平台有何不同?笔者下面介绍主动元数据的3个基本特征。

特征1:主动元数据平台通过全文检索和智能化展现

主动元数据平台不会只通过关键字进行简单的过滤元数据。相反,他们在现代数据堆栈的每个阶段不断地收集元数据——日志、查询历史、使用统计……几乎任何类型的元数据,从任何地方,每一秒,并通过全文检索方式智能化展现数据。

什么是主动元数据?为什么Gartner预测它是元数据管理的新方向(数据分析前需要明确的几个概念)

图注:主动元数据平台是Google式智能检索数据而不仅过滤数据

特征2:主动元数据平台不只是收集元数据,还能从数据中创建智能检索

与传统的元数据平台不同,主动元数据平台不断处理元数据以连接各个点并创造智能。主动元数据平台的真正突出之处在于它们是真正的学习系统,这意味着平台的智能只会随着时间的推移而增长。

随着人们更多地使用平台,平台在数据堆栈中观察到更多元数据,通过数据API的使用推动元数据的自治和穿透,最终让用户体验变得更好。

什么是主动元数据?为什么Gartner预测它是元数据管理的新方向(数据分析前需要明确的几个概念)

图注:麦聪DaaS平台让客户获得更好的主动元数据管理体验

特征3:主动元数据平台不仅停留在智能上,还可以与第三方集成

这可能是主动元数据平台从其传统元数据管理那里取得的最重要的飞跃。他们不仅仅是被动的观察者,而是在实时数据系统中提出建议、生成警报和操作智能,打通元数据与数据之前的通道。

下面分享一个用主动元数据来提高数据质量的例子。

当在源表中检测到数据质量问题时,系统可以自动报告数据的信息,并能通过三方集成起到自动化和智能化的效果。或者更好的是,该系统可以使用过去关于数据质量故障的记录来准确预测问题所在,并在没有任何人工干预的情况下进行修复或预警。

什么是主动元数据?为什么Gartner预测它是元数据管理的新方向(数据分析前需要明确的几个概念)

图注:麦聪DaaS平台将元数据用API的方式发布给第三方使用

四、元数据的下一步是什么?

多年来,元数据管理远远落后于现代数据堆栈的其余部分。但在2021年,元数据似乎终于开始迎头赶上,2022年会开启新发展的元年。

创新正处于超速状态。在过去的12个月里,与过去十年相比,在这个领域创立的新公司更多。

Gartner放弃其元数据管理魔力象限并将主动元数据作为一个新类别引入的重大决定,标志着主动元数据向前迈出了一大步。Gartner最终摒弃了传统的、被动的元数据管理方法,为元数据的新时代铺平了道路。

什么是主动元数据?为什么Gartner预测它是元数据管理的新方向(数据分析前需要明确的几个概念)

图注:麦聪DaaS平台全面支持主动元数据管理加速企业数字化转型

与Gartner其他重要公告一样,该公告可能会在市场上引发一些短期混乱。传统的元数据产品将争先恐后地将自己重新命名为“主动的元数据平台”。有些人实际上会开始在他们的产品中添加一些主动元数据管理的功能,这进一步增加了混乱。当然,还会有更多的初创公司成立。

但最终,在接下来的12-18个月内,一个或多个真正基于正确设计原则,从头开始构建的主动元数据平台将成为该类别的最终赢家。对于现代数据堆栈中的元数据来说,这是一个令人难以置信的时刻。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

(0)
上一篇 2022年10月7日 上午8:32
下一篇 2022年10月7日 上午8:34

相关推荐

  • 大庆石化公司主要领导调整,王一民任公司党委委员、书记、总经理

    8月17日,公司召开干部大会,集团公司以视频会议形式宣布关于大庆石化公司主要领导调整的决定。集团公司党组成员、副总经理、安全总监,股份公司总裁段良伟在主会场出席会议并讲话。 会上,…

    科研百科 2024年6月28日
    1.1K
  • 柯坦镇:桔杆作饲料 牛羊好过冬

      12月8日下午,柯坦镇“高山养殖农场” 场主束传军,正在刚收割的双晚田里用牛拉、人挑,将农户免费提供的新鲜桔杆堆积、打捆运回农场人作牛羊过冬饲料。这是该…

    科研百科 2022年6月1日
    362
  • 曲靖市邮政分公司:党建引领奏响“交响曲”全面发力再振兴(党建引领邮政业务发展)

    近年来,曲靖市邮政分公司在抓乡村振兴中锻造坚强基层党组织,在推动乡村振兴中以基层党组织建设为“主心骨”,切实把基层党组织的政治优势、组织优势转化为产业兴旺、生态宜居、乡风文明、治理…

    科研百科 2023年9月27日
    116
  • 项目管理系统风险保险

    项目管理系统风险保险:提高项目管理的透明度和效率 随着现代企业对项目管理的需求不断增加,项目管理系统已经成为企业管理中不可或缺的一部分。然而,项目管理系统也存在一定的风险,这些风险…

    科研百科 2024年12月18日
    0
  • 公司党建工作制度汇编目录(公司党建工作制度汇编目录怎么写)

    需要全文请私信 目录 XX公司党委工作职责 1 XX公司党委书记职责 2 XX公司党委中心组学习考核制度 3 XX公司党务公开制度 5 XX公司党内激励、关怀、帮扶制度 8 XX公…

    科研百科 2023年10月13日
    142
  • 项目管理ui

    项目管理UI是指用于管理项目的工具和界面,能够帮助项目经理更好地协调项目工作,提高项目效率。本文将介绍项目管理UI的重要性以及如何选择合适的UI工具。 项目管理UI的重要性 在项目…

    科研百科 2024年7月28日
    47
  • 原定研究计划执行情况

    原定研究计划执行情况原定研究计划执行情况1 原定计划以年计划为准,明确每月要完成哪些工作任务2 目标是否符合计划执行情况,可根据计划情况及时调整计划3 计划制定的情况一般有:学习计…

    科研百科 2024年11月21日
    0
  • 项目发起人的主要项目贡献怎么写

    项目发起人的主要项目贡献 在软件开发和项目管理中,项目发起人是至关重要的角色。他们通过制定愿景,规划项目,组织资源和管理团队来实现项目的成功。本文将探讨一个项目发起人的主要项目贡献…

    科研百科 2024年12月11日
    0
  • 协同办公描述

    协同办公是指多个员工或团队在同一时间和地点,共同完成一项或多项任务的过程。在现代企业中,协同办公已经成为了一项重要的工作流程,能够帮助企业提高效率、降低成本、增强团队合作和沟通。 …

    科研百科 2024年8月24日
    25
  • 别让畜牧养殖业成为污染源

       在上周举办的2015年全国畜牧业可持续发展高峰论坛上,中国畜牧业协会常务副秘书长殷成文,河南省环保联合会常务副会长兼秘书长王国平,河南畜牧规划设计研究院院长徐泽君,…

    科研百科 2022年6月5日
    320