PHP前端开发

python爬虫怎么存csv

百变鹏仔 4天前 #Python
文章标签 爬虫
Python 爬虫可将数据存储为 CSV 文件,具体步骤如下:导入 csv 库。以写模式打开 CSV 文件,避免空行。写入标题行和循环遍历数据行,将其写入 CSV 文件。关闭文件。

Python爬虫如何将数据存储为CSV文件

Python爬虫可以轻松地将提取的数据存储为CSV(逗号分隔值)文件。CSV文件是一种广泛使用的数据格式,可用于各种应用程序,如数据分析和可视化。以下是使用Python爬虫将数据存储为CSV文件的步骤:

1. 导入必要的库

import csv

2. 打开一个CSV文件

with open('data.csv', 'w', newline='') as csvfile:    csvwriter = csv.writer(csvfile)

3. 将数据写入CSV文件

csvwriter.writerow(['列1', '列2', '列3'])  # 写入标题行for row in data:    csvwriter.writerow(row)  # 循环遍历数据行并将其写入

4. 关闭文件

csvfile.close()

示例

以下是一个简单的示例,说明如何使用爬虫从网页提取数据并将其存储为CSV文件:

import requestsfrom bs4 import BeautifulSoupimport csv# 爬取网页url = 'https://example.com/data.html'response = requests.get(url)# 解析HTMLsoup = BeautifulSoup(response.text, 'html.parser')# 提取数据data = []for row in soup.find_all('tr'):    row_data = [column.text for column in row.find_all('td')]    data.append(row_data)# 打开CSV文件并写入数据with open('data.csv', 'w', newline='') as csvfile:    csvwriter = csv.writer(csvfile)    csvwriter.writerow(['姓名', '年龄', '城市'])    for row in data:        csvwriter.writerow(row)