扣丁学堂Python培训之使用http和https代理实例讲解

2018-07-24 11:01:10 410浏览

在目前Python开发培训中，利用Python从Internet上爬取数据时，有些网站或API接口被限速或屏蔽，这时使用代理可以加速爬取过程，减少请求失败，今天扣丁学堂小编为大家分享一篇关于python使用http、https代理的实例讲解，下面我们来看一下Python程序使用代理的方法主要有以下几种：

1、如果是在代码中使用一些网络库或爬虫框架进行数据爬取，一般这种框架都会支持设置代理，例如：

<span style="font-size:14px;">import urllib.request as urlreq 
# 设置https代理 
ph = urlreq.ProxyHandler({'https': 'https://127.0.0.1:1080'}) 
oper = urlreq.build_opener(ph) 
# 将代理安装到全局环境，这样所有请求都会自动使用代理 
urlreq.install_opener(oper) 
res = oper.open("https://www.codingke.com") 
print(res.read())</span>

2、如果使用的库没有提供设置代理的接口，但是底层使用了urllib、requests等库，可以尝试设置HTTP_PROXY和HTTPS_PROXY环境变量，常用的网络库会自动识别这些环境变量，使用变量设置的代理发起请求，设置如下：

import os 
os.environ['http_proxy'] = 'http://127.0.0.1:1080' 
os.environ['https_proxy'] = 'https://127.0.0.1:1080' 

<span style="font-size:14px;">import requests as req 
print(req.get("https://www.codingke.com", proxies={'https': 'https://127.0.0.1:1080'}).content)</span>

（3）如果上述两种方法都没有用，那么还可以使用一些可以监听、拦截和修改网络包的工具和库如（Fiddler、mitmproxy）来拦截http请求包并修改地址，达到使用代理的效果。

以上就是关于扣丁学堂Python培训之使用http和https代理实例讲解，希望对大家学习有所帮助，也希望大家多多支持扣丁学堂，扣丁学堂Python技术交流群：279521237。

【关注微信公众号获取更多学习资料】

查看更多关于"Python开发资讯"的相关文章>