python爬虫url怎么看

如何查看 Python 爬虫的 URL

在使用 Python 爬虫时，查看被爬取 URL 的方式有多种：

1. 使用 requests 库的 'url' 属性

requests 库是 Python 中常用的 HTTP 库。在使用 requests 发送 HTTP 请求时，响应对象包含一个 'url' 属性，该属性返回请求的最终 URL：

立即学习“Python免费学习笔记（深入）”；

import requestsurl = 'https://example.com'response = requests.get(url)print(response.url)

2. 使用 urllib 库的 'geturl()' 方法

urllib 库是 Python 中另一个用于处理 URL 的库。它提供的 'urlopen()' 函数返回一个类似于文件对象的响应对象，该对象具有 'geturl()' 方法，可返回请求的最终 URL：

import urllib.requesturl = 'https://example.com'response = urllib.request.urlopen(url)print(response.geturl())

3. 使用 BeautifulSoup 库的 'current_url' 属性

BeautifulSoup 库用于解析 HTML 和 XML 文档。当使用 BeautifulSoup 解析响应 HTML 时，根 BeautifulSoup 对象具有 'current_url' 属性，该属性返回请求的最终 URL：

from bs4 import BeautifulSoupurl = 'https://example.com'response = requests.get(url)soup = BeautifulSoup(response.text, 'html.parser')print(soup.current_url)

4. 使用 Selenium 库的 'current_url' 属性

Selenium 库用于自动化 Web 浏览器。当使用 Selenium 自动化浏览器并导航到某个 URL 时，Web 驱动程序对象具有 'current_url' 属性，该属性返回当前浏览器的 URL：

from selenium import webdriverdriver = webdriver.Chrome()driver.get('https://example.com')print(driver.current_url)

选择哪种方法取决于您使用的具体库和项目需求。