营销数据中台建设研究

营销数据中台建设研究

王宇飞1贾高萌1李晓华1赵荣成2李超杰2

国网河南省电力公司营销服务中心（计量中心）

1. 河南九域腾龙信息工程有限公司

摘要：随着科学技术的快速发展，数据已经成为了企业在市场竞争中脱颖而出的重要支撑。以数据中台建设为载体，构建数字化商业营销能力成为当今企业做到精准营销，实时适应环境成为电商企业面临的重要问题。文章通过针对电商企业营销和消费者数据构建商业营销数据中台，以期给广大电商企业的数字化进程给出指导与建议，实现智能营销、数据闭环管理的全方位营销数字化体系。

关键词：营销数据；中台建设；研究

1.项目建设目标

通过对营销相关系统数据进行数据模型建设和数据归集，采用大数据技术对海量数据进行采集、计算、存储、加工，形成标准化数据体系，采用ogg同步技术汇集实时型需求数据。并通过建立数据中台共享体制，为前台业务运营和创新提供专业能力的共享平台，为营销业务和营销智慧大脑提供强力支撑[1]。同时基于数据标准体系，实现了营销相关核心数据的全量集中与标准化清晰治理，为营销业务开展提供了全面、高质量的数据源。

2．项目方案

2.1建设内容

（1）数据标准体系建设。梳理营销相关业务系统数据字典、数据逻辑性和业务合规性数据校核规则，编制数据标准。完成营销相关业务系统数据模型、标准代码、主数据、源数据入口标准制定；完成主业务数据接入和外部数据接入。（2）搭建营销实时型数据归集中心，接入实时数据。建立一套营销实时型数据归集中心，通过OGG复制技术实时同步营销业务系统、电能采集系统、供电服务指挥系统、计量资产全寿命等核心类数据至营销ORACLE、Mysql数据中心平台，实现核心类数据实时接入并对外统一提供数据查询、展示、轻度汇总等服务。做到数据来源一致，出口一致。（3）搭建营销分析型数据归集中心，接入非实时数据。建设营销大数据分析归集中心，通过sqoop或ogg+rtdts等工具将业务需求数据定时或准实时同步至营销大数据中心分析平台Hive、Kudu、Hbase等数据仓库中，运用大数据的MR计算任务、Spark计算任务、SQL计算任务等对基础数据进行计算、统计、汇总，并统一对外提供计算结果，供业务查询、展示、调用。做到数据一次入库，多处使用。（4）营销及外部数据归集。按照业务需求将营销相关系统及外部系统（工商局、发改委、公安和天气等）接入实时型及分析型数据归集中心。

2.2技术方案

2.2.1实时复制技术OGG

Oracle GoldenGate是一种基于日志的结构化数据复制备份软件，它通过解析Source Database在线日志或归档日志获得数据的增量变化，再将这些变化应用到Target Database，从而实现源数据库和目标数据库之间的同步。具体的工作原理如下图所示：

本项目中采用业界成熟的Oracle Golden Gate复制软件来实现从营销类系统的Oracle数据库向实时型数据平台的数据实时同步。

2.2.2 分布式文件系统HDFS

HDFS是一个高度容错性的系统，适合部署在廉价的机器上。能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的[2]。

2.2.3 分布式数据库HBASE

利用HBase技术可基于PC Server上搭建大规模结构化存储集群。HBase(Hadoop Database)是一个开源的、面向列（Column-Oriented）、适合存储海量非结构化数据或半结构化数据的、具备高可靠性、高性能、可灵活扩展伸缩的、支持实时数据读写的分布式存储系统。

2.2.4 分布式计算框架Spark

Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS。因此，Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。Spark有三个特点：（1）其API 剥离了对集群本身的关注，Spark 应用开发者可以专注于应用所要做的计算本身。（2）Spark 很快，支持交互式计算和复杂算法，内存计算下，Spark 比 Hadoop 快100倍。（3）Spark 是一个通用引擎，可用它来完成各种各样的运算，包括 SQL 查询、文本处理、机器学习等。Spark支持Hadoop YARN、Apache Mesos和自带的独立集群管理器。

2.2.5 逻辑架构

企业首先整合现有营销数据，如通过从 CRM 系统导入用户行为轨迹、标签信息等使得用户画像更加立体，实现定向营销、个性化服务；还可通过 SAP 等企业级管理系统导入财务、库存、生产信息涵盖产品的整体供应链。通过预留接口上传原有数据库中的用户信息、业务销售信息、营销信息，使企业营销部门和领导层能够获得更加连贯的全局数据，站在更高维度审视营销战略工作。此外还将多渠道营销的历史数据和时效数据一次性导入数据库中，如媒体广告、KOL、线下活动、官方网站，帮助企业将潜在客户信息引流汇集，实现统一管理，高效持续地互动培育。通过上传数据文件至服务器，分析提取有效数据导入服务器数据库等方式采集起来，实现本平台复用。数据整合的重点在于消费者数据 ID 统一。传统营销数据基于通信地址、姓名和联系方式对消费者识别，然后如今的数据基于多种类型变量，如 cookie、mac、设备 ID 等。因此企业需要打通不同类型的数据源，识别类似或相同的消费者。在数据中台搭建过程中，将海量数据化繁为简，变成业务端能看懂的指标十分重要。其基本分为两类分析方法：一是基于收集到的消费者 ID 直接分析该用户画像，并连接外部数据源对该消费者补充其他信息；二是通过知识图谱建立自定义标签，对底层数据进行结构化。其中知识图谱能够提供更精准的消费者信息，如获取某消费者一天的位置和消费数据，就能据此推测出该用户的收入水平、大致工作和平时爱好。数据中台的建设实施必须有能与之配合的组织，不仅仅个别职位的人员要配备齐全，而且组织架构建设也需要对应，有一个数据技术部门统筹企业的数字化转型，数据赋能业务中形成业务模式，在推进数字化转型中实现价值

[3]。

2.2.6 建设实施方案

（1）数据标准体系建设。梳理营销域数据字典，校核规则，并生成数据模型。根据业务分类，将营销业务表按域划分，并进行数据归类和存放。为其他系统提供计算分析服务。（2）营销实时型数据归集中心搭建。营销实时型数据归集中心，并打通各系统的链路，并安装OGG实时复制软件。通过OGG复制技术实时同步营销及外部数据至营销ORACLE、Mysql数据中心平台。（3）营销分析型数据归集中心。搭建营销分析型数据归集中心，通过sqoop或ogg+rtdts等工具将业务需求数据定时或准实时同步至营销大数据中心分析平台Hive、Kudu、Hbase等数据仓库中，运用大数据的MR计算任务、Spark计算任务、SQL计算任务等对基础数据进行计算、统计、汇总，并统一对外提供计算结果。（4）营销及外部数据归集。按照业务需求将营销相关系统及外部系统（工商局、发改委、公安和天气等）接入实时型及分析型数据归集中心。包括：营销业务应用系统，用电信息采集系统，供电服务指挥系统，营销实时费控系统，一体化缴费平台，营销GIS系统，电能服务管理平台，营销分析与辅助决策系统，电力微信公众平台，重要客户系统，计量中心生产调度平台，计量资产全寿命周期系统等。

3.结束语

营销数据中台能够全方位的帮助企业实现数据整合、数据治理、数据建模和数据服务化，并能基于企业对于数据的管理需求和商业化应用方向给予定制化支持，助力企业实现基于智能营销和消费者智能运营及管理的数据管理、洞察分析和决策支持、数据激活、数据沉淀及数据闭环管理和应用等全方位营销数字化体系，从而推动企业实现数字化转型。

参考文献

[1] 赵增涛，罗勇，梁成辉 . 电力企业中台云化构建及大数据分析研究 [J]. 水电与抽水蓄能，2020，6（03）：50-55.

[2]韩向东，屈涛 . 基于数据中台的管理会计信息化框架及创新应用 [J]. 管理会计研究，2020，3（Z1）：116-124，136.

[3]曹靖城，张继东，王培才 . 基于中台架构的运营商IT 支撑系统设计 [J]. 通讯世界，2020，27（06）：108，110.

1