数据网格2.0：兑现去中心化的承诺

译者 | 布加迪

审校 | 重楼

“数据网格”正迎来重大时刻。通过谷歌新闻粗略地搜索一下，你会看到几十个相关的结果，而且种类繁多。随着众多新技术不断进步，这种情况正在发生。此外，连大有希望的学科也会迅速销声匿迹，一些学科在没有达到最初效果的情况下却存活下来。这是变化万千的领域，迅速变化是一个永恒的主题。但即使有这些警告，数据网格这种不断发展的架构可能也值得关注。

即使从数据驱动的业务实践方面的正常变化来看，数据网格似乎也为重大变化提供了真正的潜力。我们不断迈向真正以数据为中心的文化；在这种环境中，每一个战略决策和业务运营都由可操作的情报作为指导，这些信息是通过实时分析海量原始数据获取的，数据网格可能会成为重大的里程碑。

问题是，这样一种关键的旅程由许多里程碑组成，正如没有哪种单一的技术解决方案可以一应俱全。数据网格是坚实的基础，但是如何将它与其他方法结合起来以提供更大的好处？如果数据网格这么好，数据网格2.0会是什么样子呢？

先介绍一下背景。虽然数据网格常常与数据湖和数据仓库归为一类，但它实际上并不属于这一类。数据湖和数据仓库本质上是用来存储或移动数据的技术；相反，数据网格直接关注数据本身。这种架构更容易使数据所有权能够分布在多个以业务为中心的领域和相似的用户群，而不是单一的集中式权限。这种民主化带来了众多相关的好处，从跨异构基础设施的分析到根据业务需求进行扩展，不一而足。

在最好的情况下，这代表一种非凡的愿景。在数据网格中，数据不再由新一代的精英专家和管理员囤积；业务专业人员可以访问它来帮助完成工作。本来就始终应该是这样。

但最好的还在后头。去中心化架构的广阔前景远未实现。当然，已经有了一些实施和项目，但它们的应用范围比较有限。“数据网格成功案例”一栏几乎空白。

我们可以做得更好，而这始于几个核心原则。

首先，需要在完整的上下文中理解基于领域的数据所有权这一概念。这不仅仅是集中式权力结构的变化，还意味着数据不再属于特定的应用程序或监督这些应用程序的技术人员，而是属于业务本身。新兴技术将数据与创建或存储数据的应用程序分离开来，它们是做到这点的最佳方法——这些解决方案如今在市面上可以找到。这是具有重大影响的根本性变化，需要对由来已久的最佳实践进行重大改变。

其次，企业需要具备能够将数据作为产品来管理。这不再是复杂技术的附带输出——数据而是一种特定的、可识别的、离散的产品，可以由一个或多个业务领域单独拥有和管理。更准确地说，我们谈论的是数据产品，不是一个产品，而是多个产品，开发所有产品是为了支持分析系统和操作系统。这是革命性的，尽管它只是从另一个层面实现了我们长期以来的愿景，即数据作为一种企业资产，可以与其他更有形的资源共同占有一席之地。

接下来，想象一下自助式数据平台的好处。这构成了元数据驱动的数据浏览器，业务用户和技术人员都可以用它来进行协作，比如发现、访问、改变、创建甚至生成数据，而无需生成新的孤岛。毫无疑问，数据集成是数字时代的基础：存储在企业内部的海量数据被存放在（或者更确切地说被锁放在）孤岛中，数据在孤岛中是安全的，却是隔离的。整理来自不同孤岛的相关数据无疑很痛苦。这非常基本，也非常普遍，所以这些数字仍会让人感到惊讶，但是与集成相关的任务可能会消耗一半的IT预算。借下一代数据平台推动的数据网格架构对于消除这个问题大有助益。

最后，还有联合计算治理问题。在与安全和合规相关的一系列规定和法规要求更强的治理环境下，这种高瞻远瞩的解决方案提供了将来自数据产品和业务领域所有者的治理策略嵌入到数据本身中的能力。这带来了巨大的操作优势：无论最终用户如何体验数据——不管设备或其他接触点如何，不管涉及什么应用程序，也不管来自任何位置，都能保证权限、控制、策略和隐私依然一致。

虽然这些原则不同于数据网格方法的核心，但它们完美互补。能够实现真正数据民主化的去中心化架构具有不可抗拒的吸引力，现在业务用户而不是IT部门决定购买什么硬件、使用什么软件和下载哪些应用程序，业务部门和公司高管越来越有权力决定该分析什么数据，以及开发什么自定义数据产品以满足业务优先级。

数据网格已经存在了很长时间，我们已经看到了它的好处，并意识到需要数据网格2.0。未来肯定会有更多的进步。但就目前而言，这种架构的下一次迭代将使我们比以往任何时候更深入地走向以数据为中心的环境。

原文标题：Data Mesh 2.0: Realizing the Promise of Decentralization，作者：Karanjot Jaswal