模糊评价模型三级指标表Indicators3

模块节点信息表（module-info）

参与贡献

1. Fork 本仓库

2. 新建 Feat_xxx 分支

3. 提交代码

4. 新建 Pull Request

商品询价系统

介绍

商品询价系统（基于网络爬虫）

· 模块介绍：

1. crawler：采用的是selenium框架（java实现），用它来爬虫，并将爬取的商品数据入库。

2. display：是网页展示模块，你可以在该模块搜索需要比价的商品。查看商品的价格变化曲线，商品评分等。

3. search：查询模块，采用lucene全文检索框架，建立倒排索引以及分词搜索

4. evaluate：商品信息分析，对库中的数据进行分析打分，将更优秀的商品展示给用户。（基于商品销量、商品评论量、商品收藏量、粉丝数等条件打分）

5. management：项目模块管理，心跳机制，可以监控当前各模块的健康状况。

软件架构

由springboot开发、各模块之间通过Dubbo进行方法调用、Zookeeper作为服务注册中心、消息队列采用了activeMq（目前生产都不用了，原因是开发社区、性能因素），版本控制采用Maven、Mysql8.0

后续改进方向

1. crawler：目前采用的是java爬虫，如果需要更专业的爬虫，你可以采用 python实现 。另外需要考虑的是电商网站的反爬技术，否则会出现如下场景：

还有如果你需要登录一个天猫淘宝账号进行爬虫，那么一段时间后，你的登录token也会过期，此时就会出现如下页面：

1. crawler：由于后续业务发展，爬虫获取到的数据量会非常大，单机Mysql已无法承载，你需要考虑进行 分库分表

2. search: lucene是一个比较老的全文检索框架，它没有集群方案。面对大数据量、准实时的商品信息搜索，你需要使用当前比较流行的 ElasticSearch 去优化它。我在代码里已经留了接口，你可以增加一个实现。

3. evaluate:当前的商品评价模型相对比较简易，如果需要更加可靠的商品评价方案，你需要去改进它。

效果展示

1. 用户进入商品比价网站，在页面上方搜索框输入想要搜索的商品关键词，点击搜索，就可以搜索到相关商品的信息。在搜索结果中，可以查看搜索到相关商品的数量、商品的图片、商品描述、商品价格、评论数量、所在商城、商品评分和推荐理由等信息。同时用户可以对搜索结果进行价格、销量进行排序，根据商品的价格区间进行筛选，来满足用户的个性化需求。在搜索结果上方可以看到商城报价的筛选条件，选中相应的商城，可以看到本商城的商品信息，在此基础上，商品显示采用分页显示，提高网页的加载速度和渲染效果，提高用户的购物 效率。

2.数据爬取模块是将爬取到的商品过滤后保存在数据库中，提供系统的数据支撑。数据主要包含商品编号、商品名称、商品历史价格、商品分类ID、商品分类名称、销量、评论量、收藏量、库存量、发货地址、店铺ID、店铺名称、商品图片、店铺描述评分、店铺服务评分、店铺物流评分、商品规格信息、商品URL、商品详情、商品系统评分、推荐理由、爬取时间、当前价格等字段，爬取工具采用selenium驱动浏览器（FireFox）进行商品信息爬取。

3.商品搜索模块会将数据库中的商品信息进行分词索引，保存在内存或磁盘中，供Lucene全文检索使用，以此来提高搜索的效率。通过Lucene索引查看工具Luke对索引信息进行查看，在该图的左上角可以看到索引存储的位置、索引的域空间数量（Number of fields）、被索引的文档数目（Number of documents）等信息,在该图下方，可以查看不同的域索引所占的不同比率，代表每个域中的数据量不同，从图中可知，商品名称（productName）所占的数据量最大，为30.64%，可见商品数据中商品名称占了较大的一部分。选中其中一个域，可以看到当前域中索引的详细信息，包含索引内容（Text），如此处的“新款”，“音响”等，以及相应索引出现的频率（Freq）。这些都是Lucene全文检索时必须的数据基础。

4.商品评价模块负责对商品信息进行评价，评价结果包含商品评分以及推荐理由。商品评分采用商品的模糊评价模型，推荐理由主要包含一些可量化的维度，如销量、商品描述、商品评价等。不同的商品评分将会影响到商品搜索的结果，评分较高的商品将优先展示给用户。

5.后台管理模块包含模块监控、评价模型配置、商品信息维护功能。 在模块监控中，各模块采用Sigar工具包获取到当前服务器的网络延迟、带宽占用、内存占用、CPU占用等信息并返回给后台管理系统，系统管理员可以看到当前正在运行的所有模块信息，做到系统的及时预警与防护，提高系统的安全性。同时后台管理员可以对模块信息进行管理，对有问题的模块信息进行新增、修改或删除。

评价模型配置功能可以对评价模型的权重指标进行配置，来修改模型各指标的权重系数，提供模型的灵活性，降低维护成本，能及时适应不同的评价指标。

商品信息维护页面可以对不符合条件的商品数据进行维护，从数据库中通过JAVA的javax.validation包筛选出不符合条件的商品数据，并给出不符合的理由，后台管理员可以对不符合条件的数据一目了然，点击上方“更新数据”按钮对数据库数据进行更新，同时可以对商品信息进行修改与删除操作。

如何启动它

1. crawler：如果采用selenium进行爬虫，你需要安装浏览器与对应的浏览器驱动。我用的是firefox：82.0.3 (64 位)，对应的浏览器驱动上传了一份在 price-parity-of-commodities/ geckodriver.exe 根目录下，你可以修改crawler/src/main/resources/application.properties中的配置来修改

diff.broswer.path=D:\\ruanjian\\firefox\\firefox.exediff.broswer.driver.path=D:\\webDriver\\geckodriver-v0.23.0-win32\\geckodriver.exe

2、数据库表设计，你可以参考crawler/src/main/resources/application.properties中的数据库连接来配置该数据库（因为脚本找不到了，只留下文档）：

spring.datasource.url = jdbc:mysql://localhost:3306/products?serverTimezone=UTC&useSSL=false

数据库名称：products 商品信息表（product）25个字段

商品种类信息表（category）

代理ip信息表（proxyIp）

模糊评价模型一级指标表Indicators1

模糊评价模型二级指标表Indicators2

伦理名	物理名	属性	主键	外键	说明
编号	id	Int（16）	Y
类目名称	Indicators_2_name	varchar(64)
类目权重	Indicators_2_weight	Double（4，2）
对应一级类目id	Indicators_1_id	全套毕业设计论文现成成品资料请咨询微信号：biyezuopinvvp QQ：2922748026     返回首页 如转载请注明来源于www.biyezuopin.vip

标题

---

打印本页 | 关闭窗口
上一篇文章：纵轴流式水稻联合收割机脱粒系统结构设计 说明书（论文）+任务书+开题报告+开题论证书+中期检查表+CAD图纸	下一篇文章：养老机构管理系统的设计与实现 开发说明文档+项目源码及数据库文件

本类最新文章

YOLOv3改进算法在道路裂缝检 …	带有随机场变量结构的热-结构耦合 …	安卓深度学习垃圾分类 毕业论文
大学生心理健康APP的设计与实现 …	基于Python的乡村振兴电商导 …	基于SpringBoot与微信小 …