使用 Beautiful Soup 在 Python 中进行网页抓取和解析 HTML

百变鹏仔 6天前 #Python

文章标签网页

利用python和beautiful soup从网络抓取midi数据，训练magenta神经网络生成经典任天堂风格音乐。本文将引导您完成整个过程，从环境搭建到数据下载，并提供代码示例。

准备工作与依赖安装

首先，确保已安装Python 3和pip。建议创建一个虚拟环境，以避免包冲突。激活虚拟环境后，运行以下命令安装必要的库：

pip install requests==2.22.0 beautifulsoup4==4.8.1

我们使用Beautiful Soup 4，因为它比已不再维护的版本3更稳定。

使用requests抓取数据，Beautiful Soup解析

立即学习“Python免费学习笔记（深入）”；

以下代码从指定网页获取HTML，并创建一个Beautiful Soup对象用于解析：

import requestsfrom bs4 import BeautifulSoupvgm_url = 'https://www.vgmusic.com/music/console/nintendo/nes/'html_text = requests.get(vgm_url).textsoup = BeautifulSoup(html_text, 'html.parser')

soup 对象允许您遍历和搜索HTML中的数据。例如，soup.title 获取页面标题，print(soup.get_text()) 打印所有文本内容。

了解Beautiful Soup的核心方法

find() 和 find_all() 是Beautiful Soup中最常用的方法。find() 用于查找单个元素，例如 soup.find(id='banner_ad').text 获取指定ID元素的文本。 find_all() 用于查找所有匹配条件的元素，例如以下代码打印页面上所有超链接的URL：

for link in soup.find_all('a'):    print(link.get('href'))

find_all() 支持多种参数，例如正则表达式或属性，以精确过滤搜索结果。

解析和导航HTML

在编写解析代码之前，建议使用浏览器开发者工具检查目标网页的HTML结构。下图显示了目标网页截图和开发者工具的使用方法。

我们的目标是从网页下载MIDI文件，但需要排除重复曲目和混音版本。

使用Beautiful Soup过滤和下载MIDI文件

以下代码使用正则表达式过滤链接，仅下载不包含括号的MIDI文件：

import reimport requestsfrom bs4 import BeautifulSoupvgm_url = 'https://www.vgmusic.com/music/console/nintendo/nes/'html_text = requests.get(vgm_url).textsoup = BeautifulSoup(html_text, 'html.parser')def download_track(count, track_element):    track_title = track_element.text.strip().replace('/', '-')    download_url = '{}{}'.format(vgm_url, track_element['href'])    file_name = '{}_{}.mid'.format(count, track_title)    r = requests.get(download_url, allow_redirects=True)    with open(file_name, 'wb') as f:        f.write(r.content)    print('Downloaded: {}'.format(track_title))if __name__ == '__main__':    attrs = {'href': re.compile(r'.mid$')}    tracks = soup.find_all('a', attrs=attrs, string=re.compile(r'^((?!().)*$'))    count = 0    for track in tracks:        download_track(count, track)        count += 1    print(len(tracks))

运行此代码将下载所有过滤后的MIDI文件。

总结与展望

通过Beautiful Soup，您可以轻松地从网页中抓取所需数据。请记住，网页结构可能会发生变化，需要定期检查和更新代码。您可以使用mido等库进一步处理MIDI数据，并使用Magenta训练神经网络生成音乐。希望您能利用这些技术创建令人惊叹的项目！

文章推荐

使用 Beautiful Soup 在 Python 中进行网页抓取和解析 HTML

使用Python将列表展开为单独的元素

如何选择适合自己的Python编程就业方向

Python编程技能在当今就业市场的价值

深入探索Python在金融领域的人工智能应用

如何在Python字符串中间添加短语？