最新公告
  • 欢迎您光临知事网,本站秉承服务宗旨 履行“站长”责任,销售只是起点 服务永无止境!立即加入我们
  • python scrapy框架是异步还是多线程?

    小伙伴们很喜欢给小编出各种难题,比如今天关于框架,有小伙伴在浏览时,看到别人咨询异步还有多线程,因为自己也不是很理解,于是把问题转发给小编看,小编仔细看了下,虽然跟我们现在课程学习并没有什么相互关联的内容,但是既然这么感兴趣,以及为了解决小伙伴疑惑,决定为大家讲解下。

    什么是异步:

    工作涉及一次执行多个IO操作。

    什么是多线程:

    多线程:允许单个任务分成不同的部分运行

    相互之间是有一定的相似之处的,那我们接下来解说下 scrapy框架,然后大家自己来抉择下哈~

    Scrapy框架是通过命令行来创建项目的,代码的编写还是需要IDE。项目创建之后,项目文件结构如下所示:

    scrapy.cfg
    project/
     __init__.py
     items.py
     pipelines.py
     settings.py
     middlewares.py
     spiders/
     __init__.py
     spider1.py
     spider2.py
     ...复制代码

    Scrapy数据流是由执行的核心引擎控制,流程是这样的:

    1、爬虫引擎获得初始请求开始抓取。

    2、爬虫引擎开始请求调度程序SCHEDULER,并准备对下一次的请求进行抓取。

    3、爬虫调度器返回下一个请求给爬虫引擎。

    4、引擎请求发送到下载器DOWNLOADER,通过下载中间件下载网络数据。

    5、一旦下载器完成页面下载,将下载结果返回给爬虫引擎。

    因此大家可以抉择出来了嘛?关于这个框架到底是异步还是多线程呢?其实我们也不必针对于到底分清哪个是哪个,我们只需要知道,我们使用的框架还有这些功能可以怎么使用即可哦~

    转载自:python学习网 https://www.py.cn/

    猜你在找

    找互联网优质资源,上知事网!
    知事网 » python scrapy框架是异步还是多线程?

    常见问题FAQ

    网盘提取密码在哪里?
    在网站右侧有个“文件密码”,点击复制即可!
    网站的积分如何获得?
    注册登录后,每天签到可获得2个积分,每天可签到一次!

    发表评论

    • 1286会员总数(位)
    • 666资源总数(个)
    • 3本周发布(个)
    • 0 今日发布(个)
    • 3461稳定运行(天)

    提供最优质的资源集合

    Mac软件 Dedecms源码
    升级SVIP尊享更多特权立即升级