Scrapy 2.14.0 宣布,Python 爬虫框架

Scrapy 是一套基于 Twisted 的异步处理框架,纯 Python 实现的爬虫框架,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片。它也可以用于广泛的目的,从数据挖掘、监控到自动测...

应用介绍

Scrapy 2.14.0 现已宣布,具体更新内容包含:

亮点:

  • 更多基于协程的 Deferred-based API 替代筹划
  • 默认优先级队列如今是DownloaderAwarePriorityQueue
  • 已停止支撑 Python 3.9 和 PyPy 3.10
  • 改进并完美了自定义下载处理法度榜样的 API 文档

Scrapy 是一套基于 Twisted 的异步处理框架,纯 Python 实现的爬虫框架,用户只须要定制开辟几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各类图片。它也可以用于广泛的目标,从数据发掘、监控到主动测试等。

Modified requirements

  • 已停止支撑 Python 3.9。(issue 7121)
  • 已停止支撑 PyPy 3.10。(issue 7050)
  • 进步了以下依附项的最低版本请求:
    • lxml:4.6.0 → 4.6.4
    • Pillow(可选依附项):8.0.0 → 8.3.2
    • botocore(可选依附项):1.4.87 → 1.13.45
  • 已恢复对 Scrapy 2.13.4 中已移除的brotlicffi支撑。其最低支撑版本现已为1.2.0.0。(issue 7160)

更多详情可查看:https://docs.scrapy.org/en/latest/news.html#scrapy-2-14-0-2026-01-05

点赞(0) 打赏

立即下载

相关下载

评论列表 共有 0 条评论

暂无评论

微信小程序

微信扫一扫体验

立即
投稿

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部