如何用 Python 巧妙获取电商网站所有商品网址？

Python 巧妙获取网站所有 URL

获取电商网站所有商品网址并非易事。市面上常见的解决方案仅能取得当前页面的 URL，无法满足我们的需求。但我们提出一个精妙的方法：

假设该网站包含海量的商品，大小约为 10 GB。而单一网页最多只能容纳 1 GB 的内容。这意味着，我们无法从 1 GB 的网页中获取 10 GB 的数据。

因此，我们的解决之道分如下几步：

立即学习“Python免费学习笔记（深入）”；

1. 从网站首页获取一组初始 URL（N 个）。
2. 通过这 N 个 URL 获取新的页面，从而获得更多的 URL（NxN 个）。
3. 继续依此类推，不断通过新获取的 URL 扩充 URL 集合（NxNxN 个）。

通过不断迭代，我们可以逐步扩大 URL 集合，最终获取该网站中所有商品的网址。