共享博客如何用 Python 抓取 javascript 网站？
问题内容
我正在尝试抓取一个网站。我尝试过使用两种方法，但两种方法都没有为我提供我正在寻找的完整网站源代码。我正在尝试从下面提供的网站 url 中抓取新闻标题。
网址：“https://www.todayonline.com/”
这是我尝试过但失败的两种方法。
方法一：美汤
tdy_url = "https://www.todayonline.com/"page = requests.get(tdy_url).textsoup = beautifulsoup(page)soup # returns me a html with javascript textsoup.find_all('h3')### returns me empty list []方法2：selenium + beautifulsoup
tdy_url = "https://www.todayonline.com/"options = Options()options.headless = Truedriver = webdriver.Chrome("chromedriver",options=options)driver.get(tdy_url)time.sleep(10)html = driver.page_sourcesoup = BeautifulSoup(html)soup.find_all('h3')### Returns me only less than 1/4 of the 'h3' tags found in the original page source请帮忙。我尝试过抓取其他新闻网站，这要容易得多。谢谢。
立即学习“Java免费学习笔记（深入）”；
正确答案
您可以通过 api 访问数据（查看“网络”选项卡）：
例如，
import requestsurl = "https://www.todayonline.com/api/v3/news_feed/7"data = requests.get(url).json()
文章推荐
-
Python - 检查字符串中的所有字符是否都是字母数字？
要检查字符串中的所有字符是否都是字母数字，我们也可以使用 Python 和 Regex 中的 isalnum() 方法。...
Python
29秒前 0 -
高级Python元编程：动态代码生成和反射
Python 是一种灵活的编程语言，为开发人员提供了广泛的功能和工具。其强大的功能包括元编程——一种先进的技术，使开发人...
Python
1分钟前 0 -
如何在Python中实现梯度下降算法以寻找局部最小值？
梯度下降是机器学习中一种重要的优化方法，用于最小化模型的损失函数。通俗地说，它需要反复改变模型的参数，直到找到最小化损失...
Python
3分钟前 0 -
Python程序删除数组中的重复元素
数组是相同数据类型的元素的集合，数组中的每个元素都由一个索引值来标识。它是一种最简单的数据结构，其中每个数据元素只需使用...
Python
3分钟前 0 -
使用Networxx模块的超链接诱导主题搜索（HITS）算法- Python
超链接诱导主题搜索（HITS）算法是一种用于网络链接分析的流行算法，特别是在搜索引擎排名和信息检索中。 HITS 通过分...
Python
4分钟前 0