文章目录
一 用户画像简介
1 用户画像
2 定位
2 应用
3 用户标签
（1）标签分级
（2）标签分类
二 用户画像的架构
1 画像处理流程
2 画像标签数据应用
3 用户画像管理平台
三 搭建用户画像管理平台
1 一些问题
2 启动服务
（1）数据库建表脚本
（2）配置修改
一 用户画像简介
1 用户画像
数据仓库是大数据体系的基石，用户画像是建立在数仓之上的一种应用，类似的应用还有商业智能，推荐系统等。
用户画像，英文: User Profile，( 也有少数称： User Portrait 或User Persona)。
一句话概念就是将用户信息标签化（Tag或者Label），以用户为中心，将各种各样的标签对应到其身上，一般表现为《人 – 标签 – 标签值》。
通过收集用户的社会属性、消费习惯、偏好特征等各个维度的数据，进而对用户或者产品特征属性进行刻画，并对这些特征进行分析、统计，挖掘潜在价值信息，从而抽象出用户的信息全貌。
2 定位
相对于数据仓库而言，用户画像属于“上层建筑”，以数据仓库沉淀的数据为基础，提炼出更有价值的信息。
同时用户画像也是一种数据服务，在它之上还有“更高的建筑”，比如推荐系统，营销系统、风控系统、用于广告投放的DMP系统等等。这些系统往往需要对用户进行识别定位，那么用户画像就是最重要的数据来源。
画像中心的数据全部来源于数仓，但是其又不能直接使用数仓，所以需要按照画像的标准，以用户为单位，将数据再次进行提炼、加工组合，形成以用户标签为中心的数据。
2 应用
画像数据的主要应用类型：
运营决策：了解用户群体，聚焦目标用户，定位产品方向。
精准营销：营销活动推送、广告投放、个性化推荐。
用户分群：寻找高价值用户，挽留待流失用户，提升用户活跃。
3 用户标签
（1）标签分级
不同公司分级不同，最常见的为以下四级标签，又可以分为三种：
有的公司分为5级标签或者6级标签，不同在类目，5/6级标签的类目更加详细。
少数公司不分级，第一种称为标签的分类，第二种称为标签，第三种称为值
（2）标签分类
各个公司的标签分类都大差不差，分为以下三类：
统计类标签
统计类标签的规则放之四海皆准，每个公司的定义都差不多，如性别指的就是人的性别，不会有歧义，偏客观。
直接提取的标签，又叫事实标签。
比如：性别，年龄，最近一次登录时间，月均消费。
有非常通用且明确的定义，是最为常见的标签。
规则类标签
规则类标签与统计类标签不同在于概念上的差别，技术上差不多，往往各个公司的业务人员根据公司的需求灵活定义，偏主观。
从程序员角度来说，统计类标签与规则类标签没有本质差别。
需要自定义规则。
比如：高价值用户、意见领袖、电子产品爱好者、黄牛党。
需要运营、产品、业务人员，根据企业自身的业务特征，设计适合自身的规则定义。往往同一个名称的标签，在不同企业的规则不同。
挖掘类标签
挖掘类标签是企业做用户画像的分水岭，通常来说，这个标签不是由人来制定规则，因为有些规则没有办法通过人类语言描述清楚，或者人类语言描述的不准确，尤其是预测相关的规则，规则随着时间的变化也在不停的变化。
一般通过机器学习算法进行预测的标签。又叫预测类标签。
比如：预测性别、预测年龄、潜在流失用户。
通常是很难根据某一个规则得到的标签。需要机器学习通过系统现有的数据，反复迭代获得一个模型算法，再根据算法得到标签。
开发周期长，难度大，准确度不能保证。但是往往也是最有价值的标签，因为从数据得到的数据，有时往往比定死的规则更反映真实情况。
二 用户画像的架构
用户画像架构如图：
1 画像处理流程
画像处理流程主要是根据标签及整个流程的规则计算标签，把数据仓库中的数据进行重组。
一般统计类和规则类标签使用spark-sql即可，复杂的规则类标签和挖掘类标签可以使用spark-core和spark-mllib完成。
是一个标准的ETL（清洗、转移、提取）流程，将数仓中的数据提取为以用户和标签为结构的数据，流程类似于数仓中的由ODS – DWD – DWS – DWT – ADS 逐层计算的过程，与数仓不同的是，画像处理中不全是SQL，并且不只是用一个数据库。
一般这个流程使用shell + 定时调度（Azkaban）就可以完成。
数仓计算的最终结果如果数据量小一般存放在MySQL中，数据量大一般存放在Kylin，Presto，HBase等容器中。
2 画像标签数据应用
用户画像最终的计算结果一般存放在ClickHouse中，目的主要有两个。
用户标签明细及分析：以用户的维度对数据进行统计分析。
用户分群：是画像最核心的需求，使用各种标签，通过标签的筛选，快速定位到目标群体，通过在数据库中编写配置文件可以完成。
画像提供了分群操作所以要操作支持即席查询的OLAP，对标签及人群进行操作。
根据实际需要一般选择性能较好，支持即席查询的OLAP数据库。用于组合和多个条件来筛选用户，比如Clickhouse或者Elasticsearch。同时也会使用K-V数据库用于精确查询用户和人群，比如Redis、Hbase 、Pika。
以上1 2 两个过程除用户标签明细及分析，其余过程均可以实现无界面化。
3 用户画像管理平台
在画像管理平台提供可视化页面，对标签及标签产生的规则进行定义，甚至直接提供可视化开发页面。
提供后台调度系统，根据标签定义的规则，从数仓中抽取计算。
计算后的用户画像标签也由平台管理，通过标签的组合，把用户分成不同的群体。为其他业务系统提供支持。
技术实现：
用户画像系统本质上是一个内部的管理系统，方便用户画像开发团队，搭建标签管理任务的。基于标准的Web应用的技术。
Vue.js：负责前端页面。
Springboot ：负责后台应用，数据保存在Mysql数据库中，相关的技术框架还包括MybatisPlus、StringTask。因为还需要把spark程序任务提交到Yarn，所以还用到SparkLauncher插件。
各个模块任务：
标签规则定义：计算哪些标签，标签任务的定义。
标签任务调度：标签何时执行，如计算性别，机器学习的预测。
任务监控：调度配置好后，到达运行条件，可以对任务进行观察，哪些标签计算成功哪些计算失败。
分群管理：标签全部运行成功之后，可以对标签进行筛选，分组管理，需要提供一个界面，这个界面可以供数据分析、营销等人员进行使用。对人群的定义，称为人群包。分群又称人圈（人群圈选）。
画像处理流程都是批处理（夜里计算），人圈则一般是即时产生的（白天计算），即筛选完几个条件，当场把目标群体圈出来，要求及时性更强。
标签数据支撑：标签数据计算完成之后，供其他部门查询这些标签，做一些数据支持或者是接口。
三 搭建用户画像管理平台
gitee仓库地址
1 一些问题
导入代码之后，初始化完成之后，project一栏只出现pom.xml 和 external libraries原因是idea没有将项目识别为一个Maven工程或SpringBoot工程，解决办法点击file – new – Module from Existing Sources… 重新选择该项目，一路next。
如果src – main – java 不是蓝色目录，说明idea没有找到对应的源码目录，需要手动设置，在java上右键 – Mark Directory as – Source Root。
搭建平台时，代码中可能会有getter、setter方法飘红，不影响运行，修复飘红方法，Settings – Plugins – 搜索栏搜索lombok – 安装 – 重启idea。lombok能在编译时给实体Bean自动生成getter、setter方法。
忘记MySQL密码
# 1.修改配置文件 my.ini，在配置文件 [mysqld] 下添加 skip-grant-tables，重启MySQL服务即可免密码登录
# 其中 --skip-grant-tables 选项的意思是启动 MySQL 服务的时候跳过权限表认证。 启动后，连接到 MySQL 的 root 将不需要口令(危险)。
# 用空密码的 root 用户连接到 MySQL，并且更改 root 口令
# 免密码登录MySQL数据库：
mysql -u root
# 重置密码：
use mysql;
update user set password=password('你的密码') where user='root';
# 3.到 my.ini 中删除 skip-grant-tables 选项，然后重启MySQL服务。
2 启动服务
（1）数据库建表脚本
创建数据库 – utf8 – utf8_general_ci
建表语句
/*
SQLyog
MySQL - 5.7.16 : Database - user_profile_manager
*********************************************************************
*/
/*!40101 SET NAMES utf8 */;
/*!40101 SET SQL_MODE=''*/;
/*!40014 SET @OLD_UNIQUE_CHECKS=@@UNIQUE_CHECKS, UNIQUE_CHECKS=0 */;
/*!40101 SET @OLD_SQL_MODE=@@SQL_MODE, SQL_MODE='NO_AUTO_VALUE_ON_ZERO' */;
/*!40111 SET @OLD_SQL_NOTES=@@SQL_NOTES, SQL_NOTES=0 */;
/*Table structure for table `file_info` */
CREATE TABLE `file_info` (
`id` bigint(20) NOT NULL AUTO_INCREMENT,
`file_name` varchar(200) DEFAULT NULL COMMENT '文件名',
`file_ex_name` varchar(20) DEFAULT NULL COMMENT '扩展名'