随着各行业产品和效劳越来越丰厚、多样化，市场的趋于饱和，竞争白热化，吸收并留存用户难度和本钱都双双居高不下，成为企业不能接受之重，同时企业又为了盈利和生存，愈加严厉地控制预算和本钱。依托数据精密化运营、数据驱动增长曾经成为企业的必修课。

近两年企业也都纷纷成立数据团队，企业大数据团队能否基于大数据平台给企业的营销赋能、运营赋能，成为驱动企业生长的关键所在。赋能的中心是搭建好用的大数据平台，成体系的、架构优秀数据产品矩阵，大数据平台也不再是独立的数据平台，开端和CRM、营销平台、PUSH系统深度交融，直接给业务系统赋能。

从产品角度解析大数据平台

我们不谈大数据平台的技术架构，而从产品角度解析下大数据平台，包含哪些产品模块，各产品模块的中心功用又是什么。例如说用户画像必谈标签，但在产品层面是一回事么，应该怎样设计？另外厂商的数据管理平台也是百花齐放，不同行业不同公司应用的偏重方向不一样，产品架构也不尽相同。广告行业的DMP，也叫做数据管理平台，但是和普通企业中的大数据开发管理平台就不是一个概念，DMP中心是标签平台，给用户打各种标签，然后和广告主、DSP做用户群对接，为精准投放广告效劳。

如何从纷乱的信息中理出一条相对明晰的产品思绪来
对应大数据平台来说是至关重要的一步，产品架构是技术架构的雏形，目的分歧，产品和技术都会少走弯路。我把体系分红4层，从下往上依次是数据搜集层、数据加工层、数据计算层、数据应用层，层层依赖，下一层是上一层的根底。这里不能简单化的把此四层看做技术架构、也无法映射到相应的BI技术组件，这里的分层只是为十分宏观地把数据产品体系拎分明，而不是设计技术架构。

我们先简单说下各层的功用以及触及到的产品模块，然后再细致引见各个产品模块

数据搜集层捕获用户在各个产品端的行为数据，加载各业务系统构造化数据、非构造化，导入流量平台数据、经过第三方平台的API接入微信、微博数据、广告投放数据，运用爬虫采集企业舆情、电商商品评论等第三方数据。相对应的产品有用户行为日志采集系统、第三方对接平台、数据爬虫。

数据加工层清洗、转换数据，把不同业务系统的用户归一化生成统一的UniID，统一不同系统中的相同字段的数据类型、数据值（例如流量系统中的渠道和营销平台、广告投放中定义的渠道不分歧），树立合理的维度、度量以及数据模型。这一层的产品模块有元数据管理、指标库、作业调度管理、数据质量管理，都是为了让数据可追溯、可管理，持续改良数据质量，产出高质量的数据。

数据计算层处理数据开发和发掘、标签制造和运用、算法调用、数据调用等问题。对应的数据产品模块有：开发管理、标签平台、算法平台、数据接口、运维监控。数据加工层和数据计算层是数据平台建立的中心。

数据应用层是业务人员、用户可感知的系统和产品功用
内部包括日常报表系统、用户画像系统、标签查询、CRM、营销平台，对外包括改善用户体验的个性化PUSH、引荐系统。

用户画像系统是在标签的根底上定期生成企业、产品线用户画像报告，宏观、汇总显现用户主要特征，同时能够自助查询单一用户、某个渠道、某条产品线的用户画像。供管理层、销售、运营、产品经理日常运用。

标签功用是需求构建一个标签效劳平台，最大限度的标准标签的体系（大类、中类、小类）、标签的格式、组合方式、调用方式等，能够基于标签进行二次加工发布新标签。自定义标签是依据数据维度、度量自行生成新标签。每发布一个新的标签，就意味着新增加一种数据才能。标签是能够直接被外部系统调取，例如在CMR中的客户信息页面显现消费者类型（购物激动型、目的明白型、理性剖析型、犹疑型）。

CRM常规功用有客户管理、潜在客户管理、业务时机管理、营销活动管理、客服记载管理。借助大数据能够为CRM扩展这些才能：用户轨迹剖析、发掘潜在用户、用户流失剖析、流失用户挽回、用户等级分群、用户价值剖析等。大数据时期，CRM也会同步进化，不再是单纯的业务过程记载，应该是和大数据走向交融，大数据的剖析结果直接嵌入CRM中，供业务人员即时运用，但数据不会直接写入大数据平台，业务变卦的数据还是进入CRM系统，加工后再汇入大数据平台。

营销平台常规功用有营销全流程管理（推行方案、广告投放、效果、人群定向）、费用审批、渠道管理、短信邮件推送、营销战略、营销执行。营销平台大数据应用有：生成种子客户群、消费者特征剖析、消费者类型分群（购物激动型、目的明白型、理性剖析型、犹疑型）、渠道权衡、营销效果剖析。标签库的用户群要能推送到营销平台，它们内嵌于消费流程，努力于端到端的处理问题，从而真正的赋能于业务人员。

CRM、营销管理平台既是数据消费者，又是数据消费者，DT时期，CRM、营销管理平台也一同同步进化，大数据应用和业务系统不时交融，对产品架构、技术架构也都是不小的应战。

报表系统说一点，为了促进业务人员经常看数据报表，培育数据化运营理念，除了报表门户外，报表也要直接嵌入业务系统，由于业务系统他们是每天都要登录的，这也是数据平台和业务系统交融的一个表现。

个性化PUSH、引荐系统的产品功用比较明白，这里就不再赘述
下面对数据管理平台的产品模块做个梳理，数据管理平台是大数据产品体系建立的中心和地基，完成数据管理、数据开发、以及对消费过程的管理。这些产品模块不一定全部需求，视数据范围及进化阶段而灵敏裁剪。

开发管理：SQL开发、Spark开发、作业调度、API管理等

数据接口：对外提供数据访问才能，CRM、营销平台能够直接运用数据平台的数据，让数据成果在业务系统中落地。

算法平台：处理数据开发和发掘的问题，支持分类、聚类、关联、回归等常见数据发掘算法，用于完成一些预测性标签、做用户分群、个性化引荐等，假如业务线很多，还能够对业务线输出算法才能供其直接运用，防止重整旗鼓。

元数据管理：元数据采集、数据字典、影响剖析、血缘剖析

质量管理：质量规则管理、质量规则检查、质量问题管理

运维管理：资源管理、运转监控

指标库：指标库精确定义数据指标的含义、计算方式，例如流失用户、活泼用户如何定义，这两个指标不像PV、UV有着明白通用的定义，适用于行业的定义。指标库重在企业内部构成统一的指标口径，防止沟通误差，影响对数据的解读。

日志采集系统需求可以支持网站、App、微信小程序不同终端的用户行为数据搜集，行为包括阅读、珍藏、分享、评论、搜索、参加购物车、登录、注册、购置等等，尽可能搜集一切有价值的行为数据。能够运用Facebook开源的Scribe，或者Flume、Kibana搭建。

公网数据采集系统就是我们常说的网络爬虫，从公网上采集微博话题、电商评论、行业数据、营销活动数据等。能够采用开源软件本人搭建，也能够购置现成的数据爬虫效劳。

第三方数据对接平台经过API从微信公众号获取文章阅读、用户、用户留言、客服记载等数据，从广告系统获取投放方案、投放结果数据。

到此，我们把通用大数据平台的产品体系梳理了一遍

能够看出来大数据博大精深，十分冗杂，就单个产品来说工作量都曾经十分大，不是一朝一夕可以建成，但我们先画定一个较合理的蓝图，择近期的中心需求先行建立，然后依据需求不时迭代前行。

(互联网责编：陈峰 )