毕业作品网站

 首 页 机械毕业设计 电子电气毕业设计 计算机毕业设计 土木工程毕业设计 视觉传达毕业设计 理工论文 文科论文 毕设资料 帮助中心 设计流程 
垫片
您现在所在的位置:首页 >>帮助中心 >> 文章内容
                 
垫片
   我们提供全套毕业设计和毕业论文服务,联系微信号:biyezuopinvvp QQ:1015083682   

Python+scrapyd服务部署爬虫项目部署运行

文章来源:www.biyezuopin.vip   发布者:毕业作品网站  

1,安装 与 启动

1,环境:centos7,这里不推荐使用 windows 系统,可以免去很多不必要的麻烦

2,安装:pip3 install scrapyd

3,启动:scrapyd

2,配置文件

1, 所在地址 /usr/local/lib/python3.6/site-packages/scrapyd/default_scrapyd.conf

2,配置能被外网访问,将配置文件的下图中的一项设置为 0.0.0.0

3,测试是否启动成功,浏览器访问 ip:6800,如笔者为 192.168.200.100:6800,出现如下界面为安装成功

3,部署自己的爬虫

1,安装客户端:pip3 install scrapyd-client

2,修改爬虫项目根目录下的自带配置文件:scrapy.cfg

[settings]

default = reptile.settings

[deploy:reptile]              # deploy 后面的为自定义客户端名

url = http://localhost:6800/  # 服务器的地址

project = reptile             # 项目名称

3,查看当前项目有多少可以部署的爬虫,注意命令要在项目根路径下执行

scrapy list

4,获取当前项目的配置的:客户端名称 和 服务器地址,同时检测模块依赖是否安装完整

scrapyd-deploy -l

5,安装完依赖模块后,部署项目,命令格式为:scrapyd-deploy 客户端名 -p 项目名

scrapyd-deploy reptile -p reptile

6,启动项目:curl http://localhost:6800/schedule.json -d project=项目名 -d spider=爬虫名

curl http://localhost:6800/schedule.json -d project=reptile -d spider=court_headlines

  全套毕业设计论文现成成品资料请咨询微信号:biyezuopinvvp QQ:1015083682     返回首页 如转载请注明来源于www.biyezuopin.vip  

                 

打印本页 | 关闭窗口
本类最新文章
Linux端环境配置 Java+MySQL+MyEcl 云计算复习要点
java连接数据库及数据库的查询 C++ 连接数据库的方法详解 windows上配置maven环
| 关于我们 | 友情链接 | 毕业设计招聘 |

Email:biyeshejiba@163.com 微信号:biyezuopinvvp QQ:1015083682  
本站毕业设计毕业论文资料均属原创者所有,仅供学习交流之用,请勿转载并做其他非法用途.如有侵犯您的版权有损您的利益,请联系我们会立即改正或删除有关内容!