|
详细功能需求描述（必填）：（请尽可能详细填写要求 因为我们定做都是按照要求来定做）
研究目标：本论文研究内容是基于Python的爬虫网络设计，利用Python的Scrapy的框架搭建爬虫网络，使用Tornado作为Python Web框架，设计一个全新的新闻网站，网站实现对新闻数据的分类，以及用户对新闻的分享、评论等，且本论题设计网页实现对新闻数据的可视化，让人们在面对海量新闻数据时不再花费更多的时间来获取有效的有价值的新闻信息。
主要内容：第一章是研究背景，根据新闻在现在社会发展的作用，以及Python爬虫的使用，简述其发展现状以及对未来的发展，引出论题。
第二章是工具的使用，Tornado框架的使用，tornado有解决高并发，异步非阻塞，即是服务器又是框架，性能优越，速度快。Scrapy框架流程的使用。网络爬虫就是模拟客户端发送网络请求，按照一定规则，抓取互联网信息的程序；Scrapy框架是Python中一个比较强大的爬虫工具。
第三章是分析该数据采集信息的业务需求和功能需求。确定系统设计原则，对系统总体框架搭建、功能模块划分和数据库设计进行规划和阐述，设计与实现系统的功能模块。
第四章是系统测试，设计完成之后，对设计进行调试。
实现对新闻的爬取以及后台数据管理对爬取数据的实时显示，新闻数据可视化，
在新闻网页后面标明新闻来源（就比如来自新浪、搜狐什么的，就是从哪个网站爬取的这个新闻）
|
