基于大数据的消费者能力的数据可视化平台设计与实现
摘 要
大数据时代的来临，为了提高企业核心竞争力，首先需要解决电子商务大数据领域中，本设计主要为解决商家无法找到精准客户的问题，通过科学的方式对目标市场中形态各异的消费者进行精细的划分，根据每个用户不同的消费习惯以及行为特征等信息，采用现代信息技术的手段和方法，指向明确的营销策略，实现对目标市场中不同消费者群体更加精准高效的营销方式。
通过开发设计大数据可视化平台，实现商品对消费者的精准推荐，主要是对用户购买商品的记录做采集，用户当然是越多推荐结果也就越准确。然后我们对数据做数据挖掘，自己写推荐算法，找出商品与商品之间的亲密度，等用户再次登录的时候，会根据他购买过的商品，为他做出推荐，为他推荐出他可能喜欢的商品。
消费者能力的数据可视化平台采用SparkCore+SparkSQL+SparkStreaming的大数据分析技术，并用MySQL作为数据库存储数据。本平台主要包括数据生成、数据分析、数据存储和数据可视化四个模块。通过电商数据平台对海量数据的分析，筛选出具有商业价值的数据，并利用可视化网站直观地呈现数据，辅助企业调整战略和业务，促进企业的发展。
关键词：大数据；电商；消费者；数据分析；可视化
Design and implementation of a data visualization platform for consumer capabilities based on big data
Abstract
Big data era, in order to improve the core competitiveness, first need to solve the field of e-commerce big data, this design mainly to solve the problem of merchants cannot find accurate customers, through the scientific way of different consumers, according to each user's different consumption habits and behavior characteristics of information, using modern information technology means and methods, pointing to a clear marketing strategy, to achieve different consumer groups in the target market more accurate and efficient marketing methods.
Through the development and design of a big data visualization platform, the accurate recommendation of goods to consumers is mainly to collect the records of users' goods purchases. Of course, the more users recommend, the more accurate the recommendation results are.Then we do data mining on the data, write the recommendation algorithm by ourselves, and find out the affinity between the goods. When the user will log in again, we will make recommendations for him according to the goods he has bought, and recommend the goods he may like for him.
The consumer power data visualization platform uses the big data analysis technology of SparkCore + SparkSQL + SparkStreaming, and stores the data with MySQL as a database.The platform mainly includes four modules: data generation, data analysis, data storage and data visualization.Through the analysis of massive data by the e-commerce data platform, the data with commercial value is selected, and the visual website is used to visually present the data to assist enterprises to adjust their strategy and business and promote the development of enterprises.
Key words: big data; e-commerce; consumer; data analysis; visualization
目  录
摘 要 I
Abstract II
第一章 绪论 1
1.1项目背景和意义 1
1.2项目研究内容 1
1.3论文组织架构 2
第二章 相关技术介绍 3
2.1大数据技术介绍 3
2.1.1 Spark简介 3
2.1.2 弹性分布式数据集RDD 3
2.1.3数据处理模块SparkSQL 4
2.1.4实时数据处理SparkStreaming 4
2.1.5 Hive数据仓库 5
2.2 MySQL数据库介绍 5
2.3 Highchart简介 6
2.4 本章小结 6
第三章 基于大数据的消费者能力的数据可视化平台设计 7
3.1项目背景 7
3.2 系统架构设计 7
3.3 数据生成模块的设计 8
3.4数据存储模块的设计 8
3.5数据分析模块的设计 8
3.5.1 用户访问Session统计模块设计 8
3.5.2 页面单跳转化率统计模块的设计 8
3.5.3 地区热门商品统计模块设计 9
3.5.4广告流量实时统计模块的设计 9
3.6数据可视化模块设计 9
3.7 本章小结 9
第四章 基于大数据的消费者能力的数据可视化平台实现 10
4.1项目数据集描述 10
（1）user_action 10
（2）user_info 11
（3）product_info 11
4.2系统环境搭建 12
4.2.1 zookeeper与Kafka搭建 12
4.2.2 Spark环境搭建 13
4.2.3本地开发环境搭建 14
4.3数据生成模块实现 14
（1） 离线模拟数据 14
（2）实时模拟数据 14
4.4数据存储模块实现 14
4.5数据分析模块实现 18
4.5.1用户访问Session统计模块实现 18
4.5.2页面单跳转化率统计模块实现 22
4.5.3地区热门商品统计模块实现 23
4.5.4广告实时统计模块实现 24
4.6 本章小结 29
第五章 数据可视化模块 30
第六章 项目的测试与分析 41
6.1 Kafka与生成数据对接测试 41
6.2模块测试 42
6.3本章小结 44
第七章 总结与展望 45
参考文献 46
致  谢 48