近日，一则题为“Scrapy not returning items despite crawling?”的技术求助帖在开发者社区引发广泛讨论。多位Python爬虫工程师反映，Scrapy框架在运行过程中明明显示页面已被抓取、请求状态码正常，但最终输出结果中却迟迟不见Item对象，导致整个数据采集管道形同虚设。这一看似“诡异”的现象，背后究竟隐藏着哪些陷阱？

爬取正常，Item却“失踪”

Scrapy作为Python生态中最成熟的爬虫框架之一，凭借异步处理、中间件机制和强大的Item Pipeline，成为数据采集领域的常用工具。然而，不少开发者都曾遭遇过类似困境：日志中清晰记录着200 OK响应，蜘蛛的parse()方法似乎也被正常调用，但终端输出的item_scraped_count始终为零，或者CSV/JSON文件中一片空白。

有开发者调侃：“爬虫在努力地爬，但果子却一个都没摘到。”这种“只爬不取”的异常，往往比直接报错更令人头疼——因为没有异常抛出，排查难度陡增。

五大“元凶”浮出水面

综合Stack Overflow及国内技术社区的讨论，造成Scrapy不返回Item的原因主要集中在以下五个方面。

第一，解析方法未正确产出Item。 这是最常见也最容易被忽视的问题。部分开发者在parse()中虽然提取了数据，却忘记使用yield item，或是错误地使用了return。在Scrapy中，return仅能返回单个请求或Item，且只在第一次调用时有效；若想持续产出数据，必须通过yield将Item或新请求逐个抛出。此外，若回调函数命名不正确，Scrapy会静默跳过，导致页面请求完成后无任何数据进入Pipeline。

第二，选择器匹配失误，字段提取为空。 使用XPath或CSS选择器时，如果页面结构发生变化，或者定位表达式过于严格，提取到的字段可能为空值。更隐蔽的是，某些动态渲染的网页在初始HTML中并不包含目标数据，爬虫抓取到的是空壳。此时虽然HTTP请求成功，但解析结果中无有效内容，自然没有Item产出。

第三，去重过滤器误伤。 Scrapy默认启用RFPDupeFilter，若在同一次运行中多次请求相同URL，后两次请求会被过滤器拦截，不再触发解析。如果开发者在循环中意外构造了相同的URL，或者重载了start_requests却未关闭去重，就会出现“明明有请求，却无对应回调”的假象。

第四，Item Pipeline拦截或丢弃。 数据从蜘蛛产出后，还需经过Pipeline链处理。如果Pipeline中设置了raise DropItem，或是在数据清洗、去重、入库环节抛出了未捕获的异常，Item会被静默丢弃。部分开发者还会在Pipeline的open_spider或close_spider中误操作，导致整个管道提前关闭。

第五，robots.txt与中间件配置问题。 Scrapy默认遵守robots协议，若网站的robots.txt禁止抓取，框架会拒绝请求，但日志中可能只显示Filtered offsite request或Robots rule，不会产生任何Item。另外，若自定义Downloader Middleware在process_request中返回Response对象而未经解析，也可能绕过Spider直接结束流程。

排查思路：从“日志”到“管道”

面对这一难题，资深爬虫工程师建议按以下顺序排查：

  • 首先，检查日志中的item_scraped_count统计项，确认Spider是否真正产出了Item。
  • 其次，在parse()函数中加入临时打印，验证Selector提取结果是否为空。
  • 再次，临时禁用Pipeline和去重过滤器，缩小问题范围。
  • 最后，使用scrapy shell对目标URL进行单页测试，快速定位是解析问题还是框架配置问题。

结语

Scrapy“只爬不取”的现象，本质上是爬虫契约中“请求—解析—产出—清洗”链条的某一环断裂。与其说是框架缺陷，不如说是开发细节的累积误差。随着反爬技术的演进和页面复杂度的提升，这类问题会愈发常见。对于开发者而言，掌握系统化的排查方法，远比记住某个单一解决方案更有价值。毕竟，在爬虫的世界里，看不见的错误往往才是最难缠的。