博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
python3 + Scrapy爬虫学习之创建项目
阅读量:6606 次
发布时间:2019-06-24

本文共 716 字,大约阅读时间需要 2 分钟。

最近准备做一个关于scrapy框架的实战,爬取腾讯社招信息并存储,这篇博客记录一下创建项目的步骤

pycharm是无法创建一个scrapy项目的

因此,我们需要用命令行的方法新建一个scrapy项目

请确保已经安装了scrapy,twisted,pypiwin32

一:进入你所需要的路径,这个路径存储你创建的项目

我的将放在E盘的Scrapy目录下

二:创建项目:scrapy startproject ***(这个是项目名)

这样就创建好了一个名为tencent的项目

三:进入项目新建一个爬虫:scrapy genspider tencent_spider hr.tencent.com

这里我们要注意,上面的命令,加黑的是爬虫名称,斜体是域名

这样,我们就新建了一个爬虫项目,打开文件夹查看

打开spiders

然后我们用pycharm打开

点击File —>open,找到项目所在文件夹,打开即可

这样,我们就新建了一个scrapy项目,如果安装了所需要的库,scrapy飘红,记得去切换解释器

在File—>settings的标红的地方

另外推荐大家,在根目录下新建一个start.py的文件并写入

from scrapy import cmdline

cmdline.execute("scrapy crawl tencent_spider".split())

这样,我们每次运行,运行start.py,即可,不用到命令行执行运行命令

鼠标右键tencent,新建python文件,即可创建。

最近会把这个实战项目写下来并发上去。

转载于:https://blog.51cto.com/14292431/2379115

你可能感兴趣的文章
js 合并多个对象 Object.assign
查看>>
Java 反射机制
查看>>
temporary Object and destructor
查看>>
xcode - 移动手势
查看>>
细说浏览器特性检测(1)-jQuery1.4添加部分
查看>>
古中国数学家的计算力真是惊人
查看>>
Java基础-算术运算符(Arithmetic Operators)
查看>>
C#编程(四十七)----------集合接口和类型
查看>>
【转】关于大型网站技术演进的思考(十二)--网站静态化处理—缓存(4)
查看>>
积跬步,聚小流------Bootstrap学习记录(1)
查看>>
HDUPhysical Examination(贪心)
查看>>
C++中public、protected及private用法
查看>>
苹果公司的产品已用完后门与微软垄断,要检查起来,打架!
查看>>
顶级的JavaScript框架、库、工具及其使用
查看>>
AYUI -AYUI风格的 超美 百度网盘8.0
查看>>
用MPMoviePlayerController做在线音乐播放
查看>>
【前端笔记】彻底理解变量与函数的声明提升
查看>>
Android 反编译利器,jadx 的高级技巧
查看>>
Android官方架构组件LiveData: 观察者模式领域二三事
查看>>
[Android组件化]组件化数据分享
查看>>