撰写内容要求：

1．目的及意义（含国内外的研究现状分析）

目的及意义：

大数据时代的来临，为了提高企业核心竞争力，首先需要解决电子商务大数据领域中，没有实现数据可视化应用的问题，对基于电子商务大数据领域的数据可视化分析系统设计进行研究，对系统主要模块、后台查询模块及页面数据请求进行设计，通过数据可视化分析系统帮助企业在多变的数据时代趋势下，找到更好的发展出路。

大数据时代的来临，同样带来了物联网、互联网、云端计算机等信息技术的发展，将人类生活与信息处理相结合，产生巨大的数据[1-2]。电子商务作为现今一种新的商业模式，为用户带来了更加高效便捷的服务体验。实现传统商业服务向着PC平台的发展，这种服务趋势能够根据客户购买特性，为客户提供更加个性化的服务，大量电商数据的有效分析，具有十分重大的意义[3]。

国内外研究现状：

（1）国外研究现状

二十世纪九十年代，电子商务在国外发展开来，很多人们开始进行网上购物。随着电子商务网站中商品信息数量的剧增，可供人们选择的商品越来越多，这些大量的信息进入用户的视野，对用户造成了一定的困扰。用户如何快速地找到自己感兴趣的商品已经变得尤为重要。在这种时代潮流下，便出现了搜索引擎和消费者能力的数据可视化平台。

随着Web2.0时代的到来，互联网技术得到了进一步的发展，特别是电商网站大量普及和应用。为了效仿传统购物超市中营销员这一角色，解决如何用机器更精准的向用户推荐商品这一难题，出现了许多著名的推荐算法。协同过滤则属于其中最为成功的算法之一，协同过滤受到了许多学者的关注并不断加以优化，如今已经在很多领域都取得了不错的成果。亚马逊是最早使用消费者能力的数据可视化平台的电子商务平台，基于物品的ItemCF算法（协同过滤算法）于1998年正式上线，这一算法将用户推向了一个电子商务领域发展的新高度。个性化推荐算法陆续在各大电子商务网站中得到了应用，展现出了其显著功效。传统的、单一的推荐算法往往存在着冷启动、数据稀疏性、拓展性等问题。随后，一大批优秀的学者开始对其性能进行优化并且开始研究各类推荐算法的结合使用。使用消费者能力的数据可视化平台已经成为了信息技术企业之间互相竞争的必备工具[4]。

（2）国内研究现状

我国电子商务技术相比国外起步较晚，而对消费者能力的数据可视化平台的研究更是晚于国外。在国内，豆瓣网是最早开始使用个性化推荐的网站之一，它通过记录客户对于电影、音乐、书籍等的浏览历史和评价，然后分析用户的浏览喜好，从而为用户提供相应的资讯和相似作品的推荐。而提到国内的消费者能力的数据可视化平台，今日头条无非是其中的佼佼者，其独特的推荐算法能够精准预测用户喜好，极大地提高了用户的使用体验，在短短几年内就吸引了数亿的用户。除此之外，腾讯的QQ看点、淘宝的猜你喜欢、抖音的短视频推荐等都很好的发挥了个性化推荐的作用，且取得了很不错的效果。

目前消费者能力的数据可视化平台已成为国内学者研究的热点之一，国内研究者在资源数据处理的准确度、智能数据挖掘等涉及到消费者能力的数据可视化平台的各个方面都取得了丰硕的成果。西安电子科技大学的孔德卫为了解决了协同过滤算法存在的矩阵稀疏性和可拓展性的问题提出了一种新的混合协同过滤推荐算法[5]。南京邮电大学的沈鹏和李涛中将协同过滤算法与内容属性过滤的优点结合，提出了一种改进的混合推荐算法[6]。张玉叶教授用Python的序列字典代替了二维数组存放稀疏矩阵，有效提高了算法的效率[7]。广州大学王敏针对个性化精度的问题，采用K-means算法对协同过滤进行了优化，有效提高了精度[8]。天津理工大学的石京京等人重新对物品相似度的计算做了定义，加入了物品间联系的计算，进一步提高了推荐的准确率[9]。在消费者能力的数据可视化平台中，协同过滤因其推荐范围广、算法较为简单、易于实现等优点，受到越来越多学者的关注[10]。 虽然目前和国外相比，我国的研究水平还有很大不足，但是毫无疑问，未来国内消费者能力的数据可视化平台必将在各个领域大量应用和快速发展。

2．研究（设计）的基本内容、目标、拟采用的技术方案及措施

基本内容：

本设计主要为解决商家无法找到精准客户的问题，通过科学的方式对目标市场中形态各异的消费者进行精细的划分，根据每个用户不同的消费习惯以及行为特征等信息，采用现代信息技术的手段和方法，指向明确的营销策略，实现对目标市场中不同消费者群体更加精准高效的营销方式。

目标：

通过开发设计大数据可视化平台，实现商品对消费者的精准推荐，主要是对用户购买商品的记录做采集，用户当然是越多推荐结果也就越准确。然后我们对数据做数据挖掘，自己写推荐算法，找出商品与商品之间的亲密度，等用户再次登录的时候，会根据他购买过的商品，为他做出推荐，为他推荐出他可能喜欢的商品。

拟采用的技术方案：

在本项目中，分别从页面推荐位置分析、推荐模块数据表设计、不同推荐算法的执行流程设计、训练所需数据集的整理及清晰、深度学习的神经网络的建立与训练、Hadoop平台的搭建与推荐算法在Hadoop平台的应用、Hadoop平台的性能测试及可用性测试、传统推荐算法与深度学习推荐算法在不同维度的测试评估等方面进行了设计与实现。

对于平台页面，分别分析平台主页面、详情页面、搜索页面的不同栏位可以进行哪些推荐；对于基于算法的推荐设计并实现LSTM+GAN的深度学习神经网络；对于数据的存储、实时数据流的传递、数据的快速分析运算搭建Hadoop平台应用HDFS、Hive、Kafka、Spark等相应组件。

措施：

(1)hadoop集群的环境搭建：

去apache官网下载hadoop，在VMware上搭建4台虚拟机，其中一台做  namenode，其他三台做datanode。

(2)登录与注册模块：

使用简单的B/S体系结构，创建多个用户去购买商品，记录下来作为离线数据，以后用来做数据挖掘。

(3)推荐算法模块：

利用所学的数学知识，要求商品与商品之间的亲密度，我们可以用欧氏距离也可以用共线矩阵，在这里我选用的是共线矩阵。

(4)系统界面的设计：

我准备用html做几个页面出来，然后用相对路径把它们联系起来，然后把它们与数据库相连，读数据库。

(5)数据库模块：

我准备使用mysql数据库，因为它是免费的，而且非常好用，还有客户端支持。

3．进度安排

第七学期第5周-8周：查阅参考文献，与指导老师沟通，初步确定选题。

第七学期第9周-10周：确定选题，指导教师下达任务书。

第七学期第15周-16周：阅读大量参考文献，形成自己设计方案，完成开题答辩。

第八学期第1-2周：完成基于大数据的消费者能力的数据可视化平台设计与实现—以抖音平台为例的研究。

第八学期第3-4周：完成总体框架设计及各功能模块设计。

第八学期第5-6周：细化研究子模块，调试代码，测试数据。

第八学期第7-9周：完成毕业设计文档撰写工作，并对文档进行查重，完成毕业设计定稿。

第八学期第10周：将毕业设计提交指导教师评审，评阅人评审。

第八学期第11周：进行毕业答辩并公布成绩。

4．阅读的参考文献。

[1] 张恒玮. 基于协同过滤技术的电子商务推荐系统的研究与实现[D]. 华北电力大学, 2012.

[2] 颜颖. 个性化推荐系统在电子商务中的应用研究[J]. 太原城市职业技术学院学报, 2019(11):35-37.

[3] 吴汉. 基于混合过滤的推荐算法研究及其应用[D]. 南京邮电大学, 2018.

[4] 董文远. 基于混合过滤的推荐系统开发研究[D]. 吉林大学, 2011.

[5] 孔德卫. 基于协同过滤混合推荐系统的研究与实现[D]. 西安电子科技大学, 2015.

[6] 沈鹏, 李涛. 混合协同过滤算法在推荐系统中的应用[J]. 计算机技术与发展, 2019,29(03):69-71.

[7] 张玉叶, 宿超. 基于Python的协同过滤算法的设计与实现[J]. 山东广播电视大学学报, 2019(02):82-85.

[8] 王敏. 基于协同过滤的电子商务个性化推荐系统设计和实现[D]. 广州大学, 2019.

[9] 石京京, 肖迎元, 郑文广. 改进的基于物品的协同过滤推荐算法[J]. 天津理工大学学报, 2019,35(01):32-36.

[10] 项阳,徐浩楠,赵显基.近十年协同过滤研究热点和前沿分析[J].产业创新研究,2020(06):86-87.

[11] Goldberg D, Nichols D A, Oki B M, et al. Using collaborative filtering to

Weave an information TAPESTRY[J]. Communications of the Acm, 1992,35(12):61-70.

[12] RESNICK P. GroupLens : An open architecture for collaborative filtering of netnews[J]. Proc Cscw, 1994.

[13] Resnick P, Iacovou N, Suchak M, et al. GroupLens: An Open Architecture for Collaborative Filtering of Netnews[J]. 1994.

[14] 吴步祺. 电子商务推荐系统中协同过滤技术的研究[D]. 南昌大学, 2010.

[15] 张琳. 电子商务网站个性化推荐的多样性对推荐效果的影响研究[D]. 北京邮电大学, 2017.

[16] 布海乔, 高媛.基于协同过滤技术的电子商务推荐系统[J]. 电子制作, 2013(17):91.

[17]李奇.大数据时代精准营销[M]. 人民邮电出版社 , 2015

[18] Oleg Sukhoroslov. Building web-based services for practical exercises in parallel and distributed computing[J]. Journal of Parallel and Distributed Computing,2018,118.

[19] Lulu Wang,Jingyue Li,Bixin Li. Tracking Runtime Concurrent Dependences in Java Threads Using Thread Control Profiling[J]. The Journal of Systems & Software,2018.

[20] Lulu Wang,Jingyue Li,Bixin Li. Tracking Runtime Concurrent Dependences in Java Threads Using Thread Control Profiling[J]. The Journal of Systems & Software,2018.