vscode写python爬虫教程

VS Code 中创建 Python 爬虫教程

创建虚拟环境

1. 打开 VS Code，按 Ctrl + Shift + P（macOS 为 Cmd + Shift + P）打开命令面板。
2. 输入 "Python: Create Virtual Environment" 并回车。
3. 选择要创建的环境的目录，然后按回车。这将在该目录中创建一个名为 .venv 的虚拟环境。

激活虚拟环境

1. 在 VS Code 中打开终端（Ctrl + Shift + ~ 或 Cmd + Shift + ~）。
2. 输入 "source .venv/bin/activate" 并回车。

安装爬虫库

立即学习“Python免费学习笔记（深入）”；

1. 在终端中输入 "pip install requests" 并回车。这将安装用于发送 HTTP 请求的 requests 库。
2. 输入 "pip install BeautifulSoup4" 并回车。这将安装用于解析 HTML 的 BeautifulSoup4 库。

创建 Python 爬虫

1. 在 VS Code 中创建一个新的 Python 文件。
2. 导入 requests 和 BeautifulSoup4 库。
3. 定义爬取的目标 URL。
4. 发送 HTTP 请求以获取目标页面的内容。
5. 使用 BeautifulSoup4 解析 HTML 内容，提取所需的信息。

示例代码

import requestsfrom bs4 import BeautifulSoup# 定义目标 URLtarget_url = "https://example.com"# 发送 HTTP 请求response = requests.get(target_url)# 解析 HTML 内容soup = BeautifulSoup(response.content, "html.parser")# 提取所需信息title = soup.find("title").textbody_text = soup.find("body").text

保存和运行爬虫

1. 保存爬虫文件。
2. 在 VS Code 中按 F5 或 Ctrl + F5 （macOS 为 Cmd + F5）运行爬虫。

提示