扣丁学堂Python培训简述Python3爬虫之urllib携带cookie爬取网页的方法

2019-08-21 10:51:17 3015浏览

本篇文章扣丁学堂Python培训小编为大家分享一篇Python3爬虫之urllib携带cookie爬取网页的方法，文中有代码列出供小伙伴参考操作，小编觉得有很好的参考价值，希望对大家有所帮助。

如下所示：

import urllib.request
import urllib.parse
 
url = 'https://weibo.cn/5273088553/info'
#正常的方式进行访问
# headers = {
#  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36'
# }
# 携带cookie进行访问
headers = {
'GET https':'//weibo.cn/5273088553/info HTTP/1.1',
'Host':' weibo.cn',
'Connection':' keep-alive',
'Upgrade-Insecure-Requests':' 1',
'User-Agent':' Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36',
'Accept':' text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
# 'Referer: https':'//weibo.cn/',
'Accept-Language':' zh-CN,zh;q=0.9',
'Cookie':' _T_WM=c1913301844388de10cba9d0bb7bbf1e; SUB=_2A253Wy_dDeRhGeNM7FER-CbJzj-IHXVUp7GVrDV6PUJbkdANLXPdkW1NSesPJZ6v1GA5MyW2HEUb9ytQW3NYy19U; SUHB=0bt8SpepeGz439; SCF=Aua-HpSw5-z78-02NmUv8CTwXZCMN4XJ91qYSHkDXH4W9W0fCBpEI6Hy5E6vObeDqTXtfqobcD2D32r0O_5jSRk.; SSOLoginState=1516199821',
}
request = urllib.request.Request(url=url,headers=headers)
response = urllib.request.urlopen(request)
#输出所有
# print(response.read().decode('gbk'))
#将内容写入文件中
with open('weibo.html','wb') as fp:
 fp.write(response.read())

想要了解更多关于Python和人工智能方面内容的小伙伴，请关注扣丁学堂Python培训官网、微信等平台，扣丁学堂IT职业在线学习教育平台为您提供权威的Python开发环境搭建视频，Python培训后的前景无限，行业薪资和未来的发展会越来越好的，扣丁学堂老师精心推出的Python视频教程定能让你快速掌握Python从入门到精通开发实战技能。扣丁学堂Python技术交流群：279521237。

扣丁学堂微信公众号 Python全栈开发爬虫人工智能机器学习数据分析免费公开课直播间

【关注微信公众号获取更多学习资料】【扫码进入Python全栈开发免费公开课】

查看更多关于"Python开发资讯"的相关文章>

标签: Python培训 Python视频教程 Python在线视频 Python学习视频 Python培训班

上一篇千锋扣丁学堂Python培训之必用六款Chrome插件爬虫工具下一篇 8月22日Python公开课之AI会走IOS和ANDROID老路么?五年后也从神坛跌落

扣丁学堂Python培训简述Python3爬虫之urllib携带cookie爬取网页的方法

热门专区

课程推荐