Exceptions

Built-in Exceptions reference

这是Scrapy中包含的所有例外及其用法的列表.

DropItem

exception scrapy.exceptions.DropItem

物料管道阶段必须引发的异常才能停止处理物料. 有关更多信息,请参见项目管道 .

CloseSpider

exception scrapy.exceptions.CloseSpider(reason='cancelled')

可以从蜘蛛回叫引发此异常,以请求关闭/停止蜘蛛. 支持的参数:

Parameters: 原因str )–关闭的原因

例如:

def parse_page(self, response):
    if 'Bandwidth exceeded' in response.body:
        raise CloseSpider('bandwidth_exceeded')

DontCloseSpider

exception scrapy.exceptions.DontCloseSpider

可以在spider_idle信号处理程序中引发此异常,以防止关闭Spider.

IgnoreRequest

exception scrapy.exceptions.IgnoreRequest

调度程序或任何下载程序中间件均可引发此异常,以指示应忽略该请求.

NotConfigured

exception scrapy.exceptions.NotConfigured

某些组件可以引发此异常,以指示它们将保持禁用状态. 这些组件包括:

  • Extensions
  • 物料管道
  • 下载器中间件
  • 蜘蛛中间件

必须在组件的__init__方法中引发异常.

NotSupported

exception scrapy.exceptions.NotSupported

引发此异常以指示不支持的功能.