为什么同一URL在Windows上正常爬取而在Linux上返回403?
爬虫求助:同一url在windows上正常爬取,在linux上却返回403
问题描述:
如图所示,使用python脚本爬取新浪新闻的json格式异步加载新闻信息时,在windows系统上可以正常爬取和解析,但在linux系统上却报403错误。
代码如下:
import requestsheaders = {'User-Agent': 'Mozilla/5.0 (Macintosh; U; PPC Mac OS X; en-US; rv:1.0.1) Gecko/20021104 Chimera/0.6'}url = 'https://feed.mix.sina.com.cn/api/roll/get?pageid=153&lid=2509&k=&num=50&page=1'resp = requests.get(url, headers=headers)print(resp.status_code)
经测试,使用curl命令也能访问该链接。
解决方案猜测:
有一种可能的原因是linux系统的ip存在问题。
文章推荐
-
如何在Python中实现梯度下降算法以寻找局部最小值?
梯度下降是机器学习中一种重要的优化方法,用于最小化模型的损失函数。通俗地说,它需要反复改变模型的参数,直到找到最小化损失...
Python
1分钟前 0 -
Python程序删除数组中的重复元素
数组是相同数据类型的元素的集合,数组中的每个元素都由一个索引值来标识。它是一种最简单的数据结构,其中每个数据元素只需使用...
Python
2分钟前 0 -
使用Networxx模块的超链接诱导主题搜索(HITS)算法- Python
超链接诱导主题搜索(HITS)算法是一种用于网络链接分析的流行算法,特别是在搜索引擎排名和信息检索中。 HITS 通过分...
Python
3分钟前 0 -
使用索引列表在Python中查找元素的乘积
简介列表是Python中的一种数据类型,用于在单个变量中存储多个数字、字符串。我们可以借助索引来访问列表的元素。在Pyt...
Python
3分钟前 0 -
在Python中打印字符串的所有子序列
简介在字符串操作和算法设计领域,打印给定字符串的所有子序列的任务起着至关重要的作用。子序列是通过从原始字符串中选择零个或...
Python
4分钟前 1
最新文章