新闻资讯

我们是如何被大数据杀熟的?
北大青鸟总部

摘要:我们是如何被大数据杀熟的?

又是一年双十二过去了,今年你有剁手吗?

没剁手没关系,还有圣诞元旦的“双旦”节、春节、情人节、618、99节、下一个双十一,还有线下购物,总有一个场景你会剁手。在剁手买买买的时候,细心的朋友可能会发现,这商品还“杀熟”的感觉?杀熟,简单的来说,就是不同人看到的价格不一样,老用户看到的价格比新用户贵。


在互联网下半场、精细化运营时代,很多互联网公司利用各种方法收集消费者的信息,再运用大数据分析相关技术,分析消费偏好、消费习惯、消费能力、消费频次,将不同的商品以不同的价格在不同的时间推送给不同的人。具体细分有三类:


1、根据用户使用的设备不同而差别定价;

2、根据用户消费时所处的场所不同而差别定价;

3、根据用户消费频率的不同而差别定价。


那么我们今天就来看看,我们是如何一步步被大数据杀熟的吧。大数据杀熟关键的一步便是用户画像。


所谓用户画像体系指的是通过用户相关数据采集,进行数据处理分析,将用户分成不同的类。在你注册成为用户时,系统便知道你是哪一类用户,可以进行精准的数据营销。杀熟只是系统根据不同用户特点展示不同数据的一个体现。


那么用户画像体系如何建设呢?首先在产品层给用户画上不同的标签,通过产品设计中的用户注册信息校验,数据收集中的客户端、服务端日志采集,数据仓库做数据分析、呈现不同的数据,最后给到业务层进行应用(比如营销、数据报表、反欺诈等等),整个用户画像体系架构图可见下图所示。



在给用户定义标签时,我们又可以分为基础标签、行为标签、偏好标签、预测标签几大类。基础标签指的是用户的基础信息,比如年龄、设备信息、职业、性别、教育情况;行为标签指的是用户的个人行为,比如点赞、浏览、转发、分享、购买、关注;偏好标签指的是用户的个人便好,比如汽车、美食、旅游、动漫;预测标签指的是对于用户的个人预测,比如近期是否出行、近期是否买房等。


定义好标签规则后,我们便可以进行数据的采集、处理、分析了。整个架构可以分为三层,即数据采集层、数据处理层、数据服务层。在数据采集层,通过日志和数据库等方法实时采集数据,通过Kafka消息中间件进行数据传输,给到数据分析引擎。数据分析引擎包含实时计算和离线计算,实时计算可采用Flink计算引擎进行,离线计算可采用Hive、Hadoop进行。在计算架构上建议采用Lambda架构,将实时计算和离线计算拆分出来,因为有的数据不一定能通过实时计算挖掘出来。在数据存储上,可以使用HBase做离线标签存储,Redis做实时标签存储。



在数据建设体系这块,我们尤其要关注数据的质量、数据时效性。对于数据质量,我们需要关注是否覆盖全面、覆盖准确,通过监控体系做对应的验证-分析-调整可逐步的提高质量;对于数据时效性,除了来自业务需求的实时数据和非实时数据外,我们也要关注其它因素是否会导致数据采集、数据处理延时;最后,就是避免重复对接,我们应当建立统一的数据体系,让所有的业务数据都按照这个格式进行对接,而不是每套系统去兼容一次,这也是数据仓库、数据中台的一个设计思想。


在采集分析用户数据后,我们便可进行用户画像。从用户的整体生命周期来看,可以分为潜在用户、新用户、活跃用户、沉默用户、流失用户;针对不同的用户群体,再细分用户的购物习惯、购物便好、购物频次、购物能力,适时的推荐商品、发送触活短信。


我们生在互联网时代、活在互联网时代的人,享受了技术红利所带来的便利,也引起了竞争,这才有大数据杀熟的事件出现。不过大家在剁手时也不要太过于担心,在外有国家通过《电子商务法》规定:电子商务经营者根据消费者的兴趣爱好、消费习惯等特征向其提供商品或者服务的搜索结果的,应当同时向该消费者提供不针对其个人特征的选项,尊重和平等保护消费者合法权益;在内可以通过不同设备做价格对比、不同用户做价格对比、线上线下做价格评估进行避免。同时互联网巨头拥有海量的数据、强劲的算法,也更应该聚焦于科技创新,给社会带来更多进步~



相关阅读
大数据应用能识别抑郁风险人群?准确率这么高!
又快又好用的数据分析工具ApacheKylin来了!
我们是如何被大数据杀熟的?
大数据时代,我们如何选OLAP数据分析引擎
​如何从0到1搭建数据仓库?轻量级数据分析必备
热门推荐