爬虫python教程创建项目

爬虫 Python 教程：创建项目

创建项目

在开始编写爬虫脚本之前，我们需要创建一个项目目录来存储我们的文件。

1. 创建目录：使用命令行创建一个新目录，作为我们项目的根目录。例如：

mkdir my_crawler

1. 切换目录：切换到新创建的目录。

cd my_crawler

1. 创建 Python 文件：在这个目录中，创建一个新的 Python 文件，作为我们的主脚本文件。例如：

touch main.py

项目结构

立即学习“Python免费学习笔记（深入）”；

我们的项目结构可能如下所示：

my_crawler/├── main.py

主脚本文件

在 main.py 文件中，我们将编写爬虫的逻辑。这个文件通常包括以下部分：

示例脚本

以下是 main.py 文件的一个示例脚本，它从一个简单的 HTML 网页中提取所有标题：

import requestsfrom bs4 import BeautifulSoup# 定义目标 URLurl = "https://example.com"# 获取网页内容response = requests.get(url)# 解析网页内容soup = BeautifulSoup(response.text, "html.parser")# 提取所有标题titles = soup.find_all("h1")# 打印标题for title in titles:    print(title.text)

通过遵循这些步骤，你可以创建你的第一个 Python 爬虫项目，并开始从网上提取数据。