PHP前端开发

如何在 Scrapy 中使用 Meta 字典传递参数合并列表页和详情页信息?

百变鹏仔 5天前 #Python
文章标签 字典

使用 scrapy meta 传递参数

在 scrapy 中,itemparser 可以使用 meta 字典来传递参数,这允许我们将列表页抓取的信息与详情页抓取的信息合并到同一个 item 中。

具体步骤:

  1. 在列表页 itemparser 中抓取标题、时间和 url:
def parse(self, response):    # 获取列表页的标题、时间、url    title = response.css("h1::text").get()    time = response.css(".time::text").get()    url = response.css("a::attr(href)").get()    # 将列表页信息放入 meta 字典中    meta = {        "title": title,        "time": time,        "url": url    }    # 通过 request 回调给详情页 itemparser    yield request(url, callback=self.parse_item, meta=meta)
  1. 在详情页 itemparser 中抓取内容并合并列表页信息:
def parse_item(self, response):    # 获取详情页的内容    content = response.css(".content::text").get()    # 从 meta 字典中获取列表页信息    meta = response.meta    title = meta["title"]    time = meta["time"]    url = meta["url"]    # 创建 Item 并赋值    item = Item()    item["title"] = title    item["time"] = time    item["url"] = url    item["content"] = content    yield item

通过这种方式,我们可以在详情页 itemparser 中访问列表页抓取的信息,并将它们与详情页抓取的内容合并到同一个 item 中。