python爬虫如何设置代理ip

百变鹏仔 3小时前 #Python

文章标签爬虫

python爬虫设置代理ip的方法：首先写入获取到的ip地址到proxy；然后用百度检测ip代理是否成功，并请求网页传的参数；最后发送get请求，并获取返回页面保存到本地。

【相关学习推荐：python教程】

python爬虫设置代理ip的方法：

设置ip代理是爬虫必不可少的技巧；

查看本机ip地址；打开百度，输入“ip地址”，可以看到本机的IP地址；

立即学习“Python免费学习笔记（深入）”；

本文使用的是goubanjia.com里面的免费ip；

使用时注意要注意传输协议是http还是https，代码如下；

# 用到的库import requests# 写入获取到的ip地址到proxyproxy = {    'https':'221.178.232.130:8080'}# 用百度检测ip代理是否成功url = 'https://www.baidu.com/s?'# 请求网页传的参数params={    'wd':'ip地址'}# 请求头headers = {    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'}# 发送get请求response = requests.get(url=url,headers=headers,params=params,proxies=proxy)# 获取返回页面保存到本地，便于查看with open('ip.html','w',encoding='utf-8') as f:    f.write(response.text)

打开存入的“ip.html”查看内容如下；

文章推荐

python爬虫如何设置代理ip

golang和python有什么区别？

python常用运算符有哪些？

python如何求水仙花数？

python排序算法有哪些？

python语言属于汇编语言吗？