更新

1. 支持csv pipelines
2. item 支持指定 pipelines
3. mysql数据库支持设置charset
4. MysqlDB 增加 set_session 参数，解决时间默认 UTC 的问题

Bug Fixes

1. 修复 item 不同字段相同值导致指纹误判
2. 修复创建表时的成功判断逻辑
3. 修复mongodb批量更新时,多个满足条件的数据只更新一条的问题.
4. 修复playwright获取状态码的bug

更新

1. mongo支持自定义传参，支持MONGO_URL
2. mysql 执行更新或删除操作，返回影响的行数

Bug Fixes

1. 修复unexpected keyword argument 'huge_tree'问题
2. 修复response判断空的逻辑

更新

1. BloomFilter去重默认使用同一个key，其它类型去重默认使用redis_key
2. BloomFilter 自动分批去重，防止一次性传输大量的数据，导致报错
3. MongoDB 批量更新代码。
4. RedisDB 支持hvals 命令返回哈希表所有的值。
5. 钉钉报警支持指定用户id
6. 爬虫代码支持提示
7. 支持python3.12

Bug Fixes

1. 修复mysql db find 方法bug

更新

1. 支持外置下载中间件
2. 钉钉报警支持加签密钥
3. 适配selenium>=4.0版本，新增Edge Webdriver
4. 优化报警中的爬虫名

Bug Fixes

1. 修复 taskspider 不回调start_callback的bug
2. 修复重新导入失败item的bug

更新

1. 重写代理池，可自主控制删除代理、可自定义代理池

更新

1. 支持stop_spider方法，停止爬虫
2. 监控模块metrics支持设置retention_policy副本数及是否设置为默认
3. 完善normal_user_pool登录失败后回调的逻辑
4. TaskSpider 可选择是否使用mysql
5. 支持python3.11版本
6. 精简安装包
7. log 支持success方法

Bug Fixes

1. 修复监控打点时间戳的问题

Bug Fixes

1. 修复去重库ExpireFilter与LiteFilter在批量去重时，本批内数据之间未参与去重的bug。如 ["xxx", "bbb", "xxx"] 两个xxx应只保留一个

更新

1. Task spider 支持检查依赖爬虫的状态，依赖的爬虫做完才可结束自己
2. 命令行工具支持retry，可重试失败的请求或者item
3. 支持重新导入失败的item
4. 批次爬虫支持设置不自动启动下一批次
5. item 支持update方法

Bug Fixes

1. 修复任务爬虫依赖其他爬虫的bug
2. 修复 GoldUserPool bug
3. 修复有依赖爬虫时，依赖爬虫不结束，新批次开启不了的bug

Bug Fixes

1. 修复下载中间件中自定义返回response时，response.browser属性不存在导致异常的bug
2. 修复默认ua的bug，以及浏览器渲染模式下，ua及代理优先级的问题
3. 修复selenium浏览器渲染bug
4. 适配parsel==1.7.0

更新

1. 支持playwright
2. exception_request及failed_request透传异常参数e
3. AirSpider 支持去重
4. 批次超时报警后，若后续批次完成，则发个批次完成的报警，提醒已恢复正常
5. 爬虫并发数默认1

Bug Fixes

1. 修复feapder命令在pycharm中上下方向键不起作用的问题