一、选题的背景和意义

（一）选题背景

互联网电子商务的商业模式一般来分为线上拉客、线下消费以及线上拉客人、线上消费，其核心理念就是通过在线的营销互动，将潜在的消费用户群体引导到电子商务网站上，同时整合在线购物、在线支付功能，完成整个线上线下消费闭环，这样的消费模式，依靠线上的推荐引擎来拉动线下的消费，并且提高商户参与度，增加用户体验，产生的价值十分巨大[1]。在各种应用中分析转化率和访问者数量，或者本网站成员使用哪些浏览器等，根据我们分析的数据，可以进行有针对性的广告销售，让我们做很多事情，比如用户行为画像。

同时，各电商网站可能会根据本网站的支付订单数和支付成功的数量进行业务分析，这对于提高点击量、浏览量和支付成功率至关重要[2]。电商网站这些用户产生的信息然后不可避免地被我们的日志收集系统收集，然后存储在最终的收集中。非常准确，反之亦然。换句话说，电子商务网站应该设计一种能够提供良好用户体验的产品，帮助用户准确找到他们想要购买的东西，并提高用户和广告的转化率[3]。

（二）选题目的和意义

在现在这个信息的时代中生活的我们，每天每个人都会在网上产生大量的点击流数据，用户的各种行为动作信息被网站的web服务器的日志系统所收集，这些信息在我们这个信息时代就是流动的黄金，谁掌握的用户行为信息多，谁掌握的用户信息维度广，谁就是这个大数据时代的先锋领头者，现在谁都想掌握大量的数据信息，那么现在我开发研究的这个系统就是来通过各种途径来收集到用户的信息，然后通过这个我所研究的系统处理，把我们需要的用户行为信息收集到然后把这些信息存储起来，这样我们就会有很大量的信息，那么在这个信息时代我们就有了我们的核心的竞争力，我们就可以在这个大数据的时代下占有自己的一席之地[4-7]。

所以我所研究的这个电商用户行为分析系统可以很好的收集到原始数据，并且处理这些收集来的这些原始数据，把这些数据中有用的部分我们清洗提取处理，做成我们需要的用户行为的这种指标信息，然后给我分析，也可以给后面做用户画像，广告的精准投放等一些项目做一些基础的数据提供者，所以我的这个系统在当前这个时代是很有研究价值的[8-10]。

（三）国内外研究现状和发展趋势

目前越来愈多的企业开始搭建各自电子商务平台，国内包括顺丰、苏宁等都较早的从线下投入到线上平台建设，而在用户行为分析系统方面由于不同的企业有其数据的特殊性和敏感性，虽然包括谷歌、百度等都提供了用户行为分析工具及插件，但也通常作为网站流量数据分析，对于网站内部用户分析还是需要通过内部搭建系统，因此提供一套能够结合电子商务平台自身业务的用户行为分析系统是十分有必要的[11]。

1.国内研究现状

2012年开始，我国互联网电商企业进入爆发增长期，行业竞争十分激烈，各企业也纷纷开始对用户行为数据的分析和研究，但仍处于初步阶段。分析方法主要都是通过记录用户查询、搜索、点击等信息，通过统计分析，实现网站优化、预测网络行为以及保障网络安全等[12]。目前国内较为主流的思想是使用Hadoop平台作为用户数据存储的平台，在MapReduce计算框架中部署用户行为分析模型，对用户数据进行离线计算[13]。

该系统的弱点：对离线计算和实时计算没有做到有效融合，网站整体统计数据与单个用户数据没有产生有价值的关联。

局限于对网络在线数据的处理，对用户实际行为日志的分析较少，不能产生精准的用户行为分析预测。不能做到分析结果的实时反馈，往往采用T+1或T+n的形式输出报告[14]。

就如国内电子商务巨头淘宝内部的用户行为分析系统，天梯系统，在发布初期的用户属性分析是通过每天在其云梯系统上定时运行的数据分析任务来完成的，分析完成以后将分析结果导入到在线存储中，淘宝的搜索引擎通过查询在线存储中的数据获取用户属性来为用户返回个性化的结果，而目前淘宝己经开发了实时分析系统Time Tunnel实现了实时分析。由此可见，任何互联网电商无论是淘宝还是新兴电商对于用户行为分析的系统的搭建是非常迫切的[15]。

2.国外研究现状

国外对用户行为数据分析的研究起步于20世纪80年代，主要是通过研究用户的行为特征和规律来实现用户分析和网站优化。现在，在国外，用户行为分析己经可以通过对特定人群的行为特征分析，实现对网站和用户的精准聚合和分类，从而完成对网络体系的资源分配的优化[16]。

在电子商务市场中，亚马逊(Amazon.com)被公认为世界的领导者。它的成功并非偶然。亚马逊有大量有特色的购物体验。其中就有基于大数据上的用户行为分析。亚马逊也是最早实现购物推荐引擎的公司[17]。推荐引擎便是一个典型的案例。特别是实时的购物推荐体验，能够极大的增加客户的粘度。更能更快的产生收益。消费者在Amazon(亚马逊)购物时，页面点击行为都会被后台采集。Amazon根据这些数据，进行用户画像，勾画用户的特征轮廓和需求，为精准营销提供依据[18]。Twitter也发布新开发的数据实时分析平台Heron。每天在Twine：上处理着数十亿的事件。分布式流系统Storm也正是Twine：公司研发出来的[19]。

国外在大数据实时分析处理上还是处于领先地位的。也代表了未来大数据的发展趋势。引领着大数据技术潮流。

二、研究的基本内容和拟解决的主要问题

（一）研究基本内容

电商用户行为分析系统需要对电商网站的用户行模型进行分析，分析系统的实行性和稳定性是本课题的重要目标。本文旨在综合分析用户行为模型的特点以实时系统解决方案的基础上，设计并研发一套基于Hadoop的电商实时用户行为分析系统，并在实际的电商网站中进行使用。

（二）拟解决的主要问题

本课题主要解决：对电商网站中的用户行为进行分析和研究；分析用户行为分析系统的应用场景并针对实际的应用场景设计一套基于Hadoop的实时用户行为分析系统；开发JAVAEE框架下的实时用户行为分析系统；将实时用户行为分析系统在电商网站中进行投入使用。