最近在研究数据领域的趋势，这是来自麦肯锡的数据架构的报告。

在过去的几年中，组织不得不迅速采取行动，在旧有基础架构的基础上部署新数据技术，以推动市场驱动型创新，例如个性化报价，实时预警和预测性维护。

从数据湖到客户分析平台再到流处理的这些技术附加功能极大地增加了数据架构的复杂性，通常极大地妨碍了组织提供新功能，维护现有基础架构以及确保人工智能完整性的持续能力模型。

当前的业务需求不能够容忍这样的阻碍存在。亚马逊和谷歌等领导者一直在利用人工智能技术创新 来颠覆传统的商业模式，在这样的压力下，传统企业更要重新构建业务的各个方面，以跟上发展的步伐。

五步法打造颠覆性的数据架构

我们已经观察到公司正在对其数据架构蓝图进行六项根本性的转变，这些转变可以更快地交付新功能并大大简化现有的架构方法（图）。

它们涉及几乎所有数据活动，包括采集，处理，存储，分析和公开。尽管组织可以在不改变其核心技术堆栈的情况下进行一些更改，但是许多组织仍需要仔细地重新架构现有的数据平台和基础架构，包括以前使用的旧技术和较新技术。

1.从本地部署(on-premise)到基于云(data-cloud)的数据平台

云可能是一种全新的数据架构方法的最具颠覆性的驱动力，因为它为公司提供了一种快速扩展AI工具和功能以获取竞争优势的方法。

诸如Amazon（通过Amazon Web Services），Google（通过Google Cloud Platform）和Microsoft（通过Microsoft Azure）之类的主要全球云提供商已经彻底改变了各种规模的组织的来源，部署和运行数据基础架构，平台和方式的方式。

让数据和智能大规模应用于企业的所有用例。

2.从批处理到实时数据处理

实时数据消息和流功能的成本已大大降低，为主流使用铺平了道路。这些技术实现了许多新的业务应用：例如，运输公司可以在出租车到达时向客户提供准确到秒的到达预测；保险公司可以分析来自智能设备的实时行为数据与个性化费率；而且制造商可以根据实时传感器数据预测基础设施问题。

诸如订阅机制之类的实时流功能使数据消费者（包括数据集市和数据驱动的员工）可以订阅“主题”，以便他们可以不断获取所需的交易。通用数据湖通常充当此类服务的“大脑”，保留所有细粒度的交易。

• 流处理和分析解决方案（ 例如Apache Kafka流，Apache Flume，Apache Storm和Apache Spark流）允许对消息进行实时直接分析。该分析可以基于规则，也可以包括高级分析，以从数据中提取事件或信号。
• 诸如Graphite或Splunk之类的平台可以向用户触发业务操作，如果没有达到日常目标，或者将这些操作集成到可能在企业资源计划（ERP）或客户关系中运行的现有流程中管理（CRM）系统。
• 3.从预集成的商业解决方案到模块化的同类最佳平台

为了扩展应用程序，公司通常需要远远超出大型解决方案供应商提供的旧数据生态系统的范围。现在，许多公司正在朝着高度模块化的数据架构迈进，该架构使用了同类最佳的，经常使用的开源组件，可以根据需要用新技术替换它们，而不会影响数据架构的其他部分。

建立一个独立的数据层，其中包括商业数据库和开源组件。数据通过专有的企业服务总线与后端系统同步，托管在容器中的微服务在数据上运行业务逻辑。

4.从企业仓库到基于业务域的体系结构

许多数据架构领导者已经从企业数据湖转向“域驱动”设计，这些设计可以定制和“适合目的”以缩短新数据产品和服务的上市时间。

通过这种方法，尽管数据集可能仍驻留在相同的物理平台上，但每个业务领域（例如，市场营销，销售，制造等）中的“产品所有者”都被要求以易于使用的方式来组织其数据集。既适用于区域内的用户又适用于其他业务域中的下游数据使用者。

这种方法需要仔细权衡，以免变得零散和效率低下，但作为回报，它可以减少在湖中构建新数据模型之前花费的时间，通常从几个月缩短到几天。

5.从严格的数据模型到灵活的，可扩展的数据模式

为了在探索数据或支持高级分析时获得更大的灵活性和强大的竞争优势，公司正在向“架构简化”方法发展，它们使用物理表较少的非规范化数据模型来组织数据以实现最佳性能。

如何启动？

数据技术正在迅速发展，做出了定义并朝着三到五年目标架构状态的传统努力，既有风险又有效率。制定实践使他们能够快速评估和部署新技术，以便他们快速适应，从而为数据和技术领导者提供最佳服务。这里有三种重要的做法：

• 建立数据“部落”，由数据管理人员，数据工程师和数据建模人员组成的团队与端到端的责任制一起构建数据体系结构。这些部落还致力于建立标准的，可重复的数据和特征工程流程，以支持开发高度可建模的数据集。这些敏捷的数据实践可以帮助加快新数据服务的上市时间。
• 创建一种数据文化，使员工渴望在其角色中使用和应用新的数据服务。实现此目标的一个重要工具是确保数据策略与业务目标相关联，并反映在高级管理人员给组织的消息中，这可以帮助加强这项工作对业务团队的重要性。

随着大多数组织的数据，分析越来越嵌入日常运营中，很明显，对于创建和发展以数据为中心的企业而言，必须采用截然不同的数据架构方法。

那些采用这种新方法的数据和技术领导者将可以更好地将自己的公司定位为敏捷，有弹性和在未来面临任何挑战时具有竞争力。

（来源：帆软软件）
本文言论系作者本人观点，引用文章与图片版权归原作者所有，如有侵权，请联系我们进行删除。