题    目

基于Scrapy框架爬虫技术的关于无锡市二手房价格影响因素研究

学    院

专业

学生姓名

学号

指导教师

姓名/工号

职称

是否外聘

□是   □否

合作导师

姓名/工号

职称

是否外聘

□是   □否

完成形式

□毕业论文   □毕业设计

内容与要求：

1 . 综述国内外网络爬虫技术与反爬虫技术研究现状；

2 . 了解网络协议及协议运行相关技术；

3 . 了解scrapy及非结构化数据库相关技术；

4 . 深入分析爬虫程序中的关键技术及程序编写的设计流程

5 . 设计并实现基于scrapy架构的爬虫程序

6 . 设计并实现数据处理与展示程序

学生应交出的设计文件（论文）：

1．内容完整、层次清晰、叙述流畅、排版规范的毕业设计论文；

2．包括毕业设计论文、源程序等内容在内的毕业设计电子文档及其它相关材料。

成果形式：

本系统实现一个基于Scrapy框架爬虫技术的无锡市二手房价格爬取分析系统。首先通过python开源爬虫框架scrapy对无锡市二手房价格信息网站进行爬取，依据不同网页的不同特性选择不同的爬取策略，编写爬虫代码，过滤并抽取所需出二手房源信息，建立以城市为区分的房源信息数据库。数据库部分采用非结构化数据库MongoDB，避免网上信息的非结构性对数据存储的影响。然后采用python开源网站搭建框架Django完成对爬取到的二手房信息的web端展示。

进度安排：

2020.11.01 - 2020.12.30 阅读文献，明确需求，论文开题；

2021.01.01 - 2021.02.15 基本完成网站的分析、设计与代码编写；

2021.02.16 - 2021.03.10 测试、修改和完善网站，完成网站设计；

2021.03.11 - 2021.03.31 完成论文初稿；

2021.04.01 - 2021.04.15 论文修改与定稿；

2021.04.16 - 2021.04.30 答辩准备、完成答辩、材料整理归档。

参考资料（不少于10篇）：

[1]陈辉. 基于SCRAPY框架的网络爬虫封锁技术破解研究[J]. 科技视界, 2020, No.300(06):230-231.

[2]庄旭东, 王志坚. 基于R语言爬虫技术的网页信息抓取方法研究——以抓取二手房数据为例[J]. 科技风, 2019, No.374(06):60+62.

[3]王晋竹. 长春市二手房价格影响因素研究[D].  2019.

[4]王晓娟. 重庆二手房价格影响因素研究[J]. 廊坊师范学院学报:自然科学版, 2019(3).

[5]方丹萍. 基于Hedonic模型的郑州市二手房价格影响因素研究[J]. 河南财政税务高等专科学校学报, 2019, 033(002):74-77.

[6]范鹏程, 涂嘉庆. 基于Scrapy框架爬取温州二手房信息的研究与实现[J]. 电脑知识与技术:学术版, 2019(6X):4-6.

[7]韩贝, 马明栋, 王得玉. 基于Scrapy框架的爬虫和反爬虫研究[J]. 计算机技术与发展, 2019, 29(02):145-148.

[8]秦亚红, 普措才仁. 基于Scrapy的新闻网页数据抓取设计[J]. 电子技术与软件工程, 2020, No.174(04):176-177.

[9]陈燕. 基于Scrapy爬虫框架的安居客二手房数据爬取[J]. 轻工科技, 2019.

[10]王海玲,  周志彬. 基于Scrapy框架的爬虫设计[J]. 软件导刊, 2020, 019(004):224-228.

[11]花丽娟. 多方机制下二手房市场价格影响因素与发展趋势研究——基于淮安市涟水县二手房市场交易数据[J]. 中国产经, 2020, No.251(19):102-103.

[12]祝瑾, 熊杨. 多方机制下二手房市场价格影响因素与发展趋势研究——基于成都市二手房市场交易数据[J]. 大众投资指南, 2020(1).

[13]陈燕. 基于Scrapy爬虫框架的安居客二手房数据爬取[J]. 轻工科技, 2019, v.35;No.250(09):79-80.

[14]丁志毅. 基于Scrapy和Hadoop平台的房屋价格数据爬取和存储系统[J]. 电子技术与软件工程, 2019, 000(017):P.166-167.

[15]朱园园, 邵雯娟, 黄志远. 基于Scrapy的房屋二手信息搜索系统设计与实现[J]. 电脑与电信, 2019(6).

[16]朱熙曈. 网络爬虫与KNN算法在房价分析中的应用[J]. 电脑编程技巧与维护, 2019, No.404(02):105-106+121.

[17]Qiu W ,  Huang X ,  Li X , et al. Investigating the impacts of street environment on pre-owned housing price in Shanghai using street-level images[C]// CARMA 2020 - 3rd International Conference on Advanced Research Methods and Analytics. 2020.

[18]Hu Y ,  Lyu P . Research on the Impact and Mechanism of Talent Introduction Policy on Urban Housing Price - An Empirical Analysis Based on Nanjing, Wuhan and Xi'an[J]. ERES, 2019.

[19]Kong J ,  Deng S ,  Zhang Y . Research on Influencing Factors of College Students’ Intention of Online Health Information Behavior Based on Social Cognitive Theory[J]. Journal of Physics: Conference Series, 2019.

[20]Ouyang Z . Research on Influencing Factors of National Tourism Development Based on Computer Technology[J]. Journal of Physics Conference Series, 2020, 1574:012108.

发出任务书日期：                   年     月     日；

完成毕业设计（论文）日期：         年     月     日。

专业审查意见：

□ 经专业审查，同意发布任务书。    □ 经专业审查，不同意发布任务书。

审核人签名：                           年   月   日