scrapy 明明在settings中设置 'INFO',但用CrawlerProcess运行的时候,为什么是DEBUG?_其他语言_编程问答 问题: scrapy 明明在settings中设置 'INFO',但用CrawlerProcess运行的时候,为什么是DEBUG?
描述:

我在scrapy的settings中设置了LOG_LEVEL = 'INFO',但我用CrawlerProcess将多个项目在一个进程中运行的时候,日志显示为DEBUG,这是为什么?'INFO'比较省些资源吧?
用的是官网的第一个案例,

类似这样,再运行该文件。


解决方案1:

把DEBUG的包 比如urllib3,根据这个改
logging.getLogger("urllib3").setLevel(logging.WARNING)

解决方案2:

请加载设置


from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings

process = CrawlerProcess(get_project_settings()) #加载项目设置

# 'followall' 是爬虫项目中的爬虫示例
process.crawl('followall', domain='scrapinghub.com')
process.start() # the script will block here until the crawling is finished

https://doc.scrapy.org/en/lat...


这个代码示例是展示直接运行爬虫,运行爬虫项目需加载项目设置

上一篇python 爬虫
下一篇python类中的方法都定义为@classmthod的,好不好
明星图片
相关文章
《 scrapy 明明在settings中设置 'INFO',但用CrawlerProcess运行的时候,为什么是DEBUG?》由码蚁之家搜集整理于网络,
联系邮箱:mxgf168#qq.com(#改为@)