Scrapy 2.14.0 宣布,Python 爬虫框架
Scrapy 是一套基于 Twisted 的异步处理框架,纯 Python 实现的爬虫框架,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片。它也可以用于广泛的目的,从数据挖掘、监控到自动测...
应用介绍
Scrapy 2.14.0 现已宣布,具体更新内容包含:
亮点:
- 更多基于协程的 Deferred-based API 替代筹划
- 默认优先级队列如今是
DownloaderAwarePriorityQueue - 已停止支撑 Python 3.9 和 PyPy 3.10
- 改进并完美了自定义下载处理法度榜样的 API 文档
Scrapy 是一套基于 Twisted 的异步处理框架,纯 Python 实现的爬虫框架,用户只须要定制开辟几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各类图片。它也可以用于广泛的目标,从数据发掘、监控到主动测试等。
Modified requirements
- 已停止支撑 Python 3.9。(issue 7121)
- 已停止支撑 PyPy 3.10。(issue 7050)
- 进步了以下依附项的最低版本请求:
- lxml:4.6.0 → 4.6.4
- Pillow(可选依附项):8.0.0 → 8.3.2
- botocore(可选依附项):1.4.87 → 1.13.45
- 已恢复对 Scrapy 2.13.4 中已移除的
brotlicffi支撑。其最低支撑版本现已为1.2.0.0。(issue 7160)
更多详情可查看:https://docs.scrapy.org/en/latest/news.html#scrapy-2-14-0-2026-01-05
©软件著作权归作者所有。本站所有软件均来源于网络,仅供学习使用,请支持正版!
转载请注明出处: FQPY » Scrapy 2.14.0 宣布,Python 爬虫框架

发表评论 取消回复