如何在Python中实现一个简单的爬虫程序

import requestsfrom bs4 import BeautifulSoup

url = "目标网站的URL"response = requests.get(url)html = response.textsoup = BeautifulSoup(html, "html.parser")

# 示例：提取新闻标题和链接news_list = soup.find_all("a", class_="news-title")  # 假设新闻标题使用CSS类名 "news-title"for news in news_list:    title = news.text    link = news["href"]    print(title, link)

# 示例：将数据存储到文件with open("news.txt", "w", encoding="utf-8") as f:    for news in news_list:        title = news.text        link = news["href"]        f.write(f"{title}    {link}")

import time# 示例：设置延时和爬取数量interval = 2  # 延时2秒count = 0  # 爬取数量计数器for news in news_list:    if count <p>以上便是一个简单的爬虫程序的实现过程。通过这个示例，你可以了解到如何使用Python编写一个基本的爬虫程序，从目标网站获取数据，并存储到文件中。当然，爬虫程序的功能远不止于此，你可以根据自己的需求进一步扩展和完善。</p><p>同时，需要注意的是，编写爬虫程序时需遵守法律和道德的规范，尊重网站的robots.txt文件，避免给目标网站带来不必要的负担。</p><p><span>立即学习</span>“<a href="https://pan.quark.cn/s/00968c3c2c15" style="text-decoration: underline !important; color: blue; font-weight: bolder;" rel="nofollow" target="_blank">Python免费学习笔记（深入）</a>”；</p>