扣丁学堂零基础学Python之初次了解网络爬虫

2018-01-31 15:46:49 486浏览

　　目前Python这门语言在众多的编程语言中脱颖而出，很多人想参与到Python学习之中来，扣丁学堂零基础学Python之初识网络爬虫，今天我们先从网络爬虫的定义、与浏览器的相似之处和网络请求等基础内容入手。让大家来具体了解一下Python相关的内容。

1、零基础学Python之初识网络爬虫—网络爬虫的定义

网络爬虫(又被称为网页蜘蛛，网络机器人)，是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。

2、零基础学Python之初识网络爬虫—网络爬虫与浏览器相似之处

网络爬虫的抓取过程可以理解为模拟浏览器操作的过程。

浏览器的主要功能就是向服务器发出请求，在浏览器窗口中展示您选择的网络资源。这里所说的资源一般是指HTML文档，也可以是PDF、图片或其他的类型。

资源的位置由用户使用URI(统一资源标示符)指定。

浏览器解释并显示HTML文件的方式是在HTML和CSS规范中指定的。这些规范由网络标准化组织W3C(万维网联盟)进行维护。

3、零基础学Python之初识网络爬虫—网络爬虫抓什么

一般来讲，抓取的内容主要来源于网页，目前，随着这几年移动互联网的发展，越来越多信息来源于移动互联网App、H5等，所以爬虫就不止局限于一定要抓取解析网页，还有移动互联网app、H5等的网络请求进行抓取

对网络爬虫而言，需要抓取的是某个网站或者某个应用的内容，提取有用的价值。

4、零基础学Python之初识网络爬虫—了解网络请求

网络爬虫以HTTP、HTTPS请求为主，读取网页内容，提取有用的价值，内容一般分为两部分，非结构化的文本，或结构化的文本。

超文本传输协议(HTTP，HyperTextTransferProtocol)是互联网上应用最为广泛的一种网络协议。所有的WWW文件都必须遵守这个标准。设计HTTP最初的目的是为了提供一种发布和接收HTML页面的方法。

扣丁学堂通过以上的Python网络爬虫的定义，模拟浏览器的操作过程，使用URL，以及Python网络请求等方面具体介绍了Python，有想要进一步学习或者更深一步了解的学生可以来我们扣丁学堂官网查看相关Python视频教程内容，或者关注我们的微信公众号“扣丁学堂”，私聊我们的客服美女，对Python有更深层次的掌握。

关注微信公众号获取更多的学习资料

查看更多关于"Python开发资讯"的相关文章>>