Python爬虫怎么设置进度条

百变鹏仔 5天前 #Python

文章标签爬虫

Python爬虫设置进度条的方法有：使用 tqdm 库：提供易用的 API 和丰富的自定义选项。使用进度条回调函数：适合需要自定义进度或低级爬虫任务。使用 rich 库：提供美观且高级的进度条和控制台输出。

Python爬虫如何设置进度条

简介

在爬取大型网站或处理庞大数据集时，使用进度条可以直观地显示爬虫的进度，提高用户体验。Python中有多种方法可以设置进度条。

方法 1：tqdm 库

tqdm 库是一个流行的进度条库，提供了丰富的功能和易于使用的 API。

示例代码：

from tqdm import tqdm# 针对列表进行迭代并显示进度条my_list = ['item1', 'item2', 'item3', 'item4', 'item5']for item in tqdm(my_list):    # 对 item 执行操作    pass

优点：

立即学习“Python免费学习笔记（深入）”；

方法 2：进度条回调函数

示例代码：

def progress_callback(bytes_downloaded, blocks_downloaded, total_bytes):    # 计算下载进度    progress = bytes_downloaded / total_bytes    # 显示进度条    print(f'下载进度：{progress*100:.2f}%')# 使用 progress_callback 设置进度条import requestsurl = 'https://example.com/file.zip'response = requests.get(url, stream=True)for chunk in response.iter_content(chunk_size=1024):    progress_callback(len(chunk), 1, response.headers.get('Content-Length'))

优点：

立即学习“Python免费学习笔记（深入）”；

方法 3：rich 库

rich 库提供了更丰富的进度条和控制台输出。

示例代码：

from rich.progress import Progress# 创建进度跟踪器with Progress() as progress:    # 针对列表进行迭代并显示进度条    my_list = ['item1', 'item2', 'item3', 'item4', 'item5']    for item in my_list:        # 对 item 执行操作        progress.update(task_id="my_task", advance=1)

优点：

立即学习“Python免费学习笔记（深入）”；

文章推荐

Python爬虫怎么设置进度条

Python爬虫如何设置进度条

简介

方法 1：tqdm 库

方法 2：进度条回调函数

方法 3：rich 库

如何在Python中将DateTime转换为整数？

Python - 字典中键的值求和

Python程序向列表中添加元素

Python程序将列表中的所有元素连接成一个字符串

学习起来哪个更容易，SQL还是Python？