课题名称

基于网络爬虫的网络新闻分析

阅读中外文献资料情况

爬虫技术发展到今天，已经有无数的开源库以及开源框架可供我们快速开发，如Scrapy就是其中一种，本文也将就基于Scrapy来实现一个爬虫。我们不再需要从零开始构建一个完整的搜索器，只需要根据所爬取的内容定制爬取规则，就可以很方便的开发。在诸多爬虫设计者中，公认的难题也早已不是开发周期的问题。在如今网络资源爆炸的情况下，网页的内容更新的速度将极为迅速。在这种情况下，爬虫是否能够有能力及时探测到网页内容的更新并采取相应策略成为判定该系统是否优秀的重要指标之一。目前知识版权的概念正在深入人心，网站网页作为内容的载体，其所保存的信息客观上也属于知识产权的范畴，理应受到版权协议的保护。所以有相当数量的网页并不希望其出产的内容被网络爬虫轻松地探测到并下载，所以在设计网页时，程序员会针对性地阻拦网络爬虫的访问。当然，很多爬虫并不是出于明确的商业目的而开发运行，其存在的意义更偏向于平民公益使用，如果有大量具有价值的网页不能被获取到，则其品牌价值和口碑将大打折扣。所以爬虫和网页之间的访问攻防问题则是爬虫设计者必须需要考虑的问题。

立题依据及主要内容

由于目前网络发展十分迅速，各种新闻软件层出不穷，。有些人只关注时政热点，有些人只喜欢体育新闻不喜欢娱乐事件，那对于不是我们所需要的信息或广告，一页一页寻找目标信息筛选掉无用的信息无疑在浪费我们的时间，但是如果运用爬虫技术，就会大大提高我们的效率。但是我们如何能够把这这些信息获取到，把对我们有效的信息加以利用，就成为了一个难题。现在人们在进行网络信息搜索时，几乎都使用搜索引擎，去报刊或图书馆获取新闻信息的很少，记得之前有一个伙伴住在深圳证券日报社旁边，但从来没去过报社，因为手机关注了报社公众号立刻可以看到市场最新消息。国内外的一些知名的搜索引擎的特点是尽可能多的抓取信息，所以有时候容易忽略信息的含义。可能因为信息来源的软件不同，甚至还会造成信息的不对称，如果你想整理很大的一个新闻聚合任务，而你很难下载，还需要各种各样的编辑，非常消耗时间。搜索引擎对文字的获取速度很快，但是图片、视频等信息就相对较弱，而且没有快速的存放在一起。搜索引擎需要获取关键字，然后对词义的进行分析与理解，虽然计算机各功能基本发展的非常完善，但还是不能绝对的代替人的想法和习惯。就像电脑和人对一个句子的理解和表达可能不同，网络爬虫由此诞生，它能安装设计的特定规则对信息进行爬取，很具有针对性，能提高信息获取的效率。

设计方案或论文提纲

1引言

2系统分析

2.1 可行性分析

2.2 功能需求分析

2.3 系统非功能需求

3系统设计

3.1 设计目标及原则

3.2 系统功能设计

3.3 系统流程设计

3.4 数据库设计

4系统实现

4.1 系统架构实现

4.2 系统模块的实现

4.3 用户功能模块的实现

4.4 系统信息爬取

5软件测试与分析

5.1 功能测试

5.2 测试用例

5.3 系统运行情况

结论

参考文献

致谢

毕业设计（论文）工作计划

第1周        收集资料，确定论文题目和提纲，提交指导老师审阅；

第2～4周     根据写作提纲收集论文的素材和资料，撰写论文初稿；

第5周        完成初稿，交指导教师审阅；

第6周        根据指导老师的修改意见，修改初稿；

第7周        完成初稿的修改，根据指导老师修改意见修改二稿；

第8周        完成二稿的修改，交指导教师审阅；

第9～10周    根据指导教师反馈的意见，进行三、四稿的修改；直至导师认可，最后定稿；打印、提交论文。

指导教师审核意见

指导教师签字：

年   月   日