什么是抓包?Fiddler是什么?Fiddler与Python网络爬虫的关系

时间:2018-11-02 15:59:27   来源:上海尚学堂   阅读:

一、什么是抓包?

我们使用计算机上的浏览器或者客户端软件要与外界进行通信,就必然会有数据的发送接收,有的时候,我们需要对这些传递的数据进行分析,就需要截获这些传递的数据,其中对这些数据进行截获、重发、编辑、转存的过程叫作抓包。在写爬虫的时候,抓包分析用得相对来说也是较多的,要进行抓包,可以通过一些常见的抓包软件实现,Fiddler就是一种常见的比较好用的抓包软件。

二、什么是Fiddler

Fiddler是一种常见的抓包分析软件,同时,我们可以利用Fiddler详细地对HTTP请求进行分析,并模拟对应的HTTP请求。

fiddler

目前抓包软件有很多,除了 Fiddler之外,常见的还有:
1)浏览器自带的调试工具,按F12可以调出。前几章我们所用到的抓包工具就是浏览器自带的调试工具。这一类工具的优点是由浏览器自带,比较轻量,缺点是不能支持一些复杂的抓包,这也是我们为什么要使用除自带抓包工具以外的抓包工具的原因。

2) Wireshark,这是一款通用的抓包工具,功能比较齐全,正因为其功能比较齐全,所以较为庞大,而我们写爬虫的时候主要是分析HIP请求,所以这款软件的很多功能都用不到,故而我们没有选择介绍这款软件。

我们知道,写爬虫的时候配合 Fiddler这款抓包软件来使用是比较合适的。有人可能会问, Fiddler既然是一款抓包分析软件,那么Python网络爬虫与 Fiddler到底有什么关系?

三、爬虫与Fiddler的关系

Python网络爬虫是自动爬取网页的程序,在爬取的过程中必然涉及客户端与服务器端之间的通信,自然也需要发送一些HTTP请求,并接收服务器返回的结果。在一些稍复杂的网络请求中,我们直接看网址的变化是看不出规律的,此时如果要进行自动化爬取网页,就必须要通过程序构造这些请求,而要通过程序构造这些请求,就必须首先分析这些请求的规律。所以此时我们要使用工具截获这些请求,对这些请求进行分析,这个过程如果使用抓包软件配合进行,则将会变得更加方便。

比如,我们在浏览一些网页时,浏览到最下面的时候会出现一个“加载更多”的字样此时单击“加载更多”则会展现出更多的内容,加载出来的内容跟原内容是在同一个网页上展示的。我们直接看网址的变化看不出任何规律,便无法分析该请求是如何实现的,自然也就无法通过程序构造出该请求,因此只能通过手动单击实现“加载更多”,这显然不是我们所希望的结果,那么怎样解决这个问题呢?

此时可以使用 Fiddler进行抓包,并对这些数据进行分析,这样就可以分析出实现“加载更多”功能的实现方法,知道其实现规律后,就可以通过编写程序构造出对应的请求,并由程序自动地实现这些请求的发送。

同样,在进行登录的时候,很多网页的真实登录处理地址并不是我们看到的网址,这些网址一般需要通过工具进行分析得出,比如之前我们在实现登录功能的时候,就是通过浏览器自带的调试工具来分析真正的登录处理网址的,同样,我们也可以使用 Fiddler分析出真实登录处理网址,在学习Fiddler之后,我们更多地会以 Fiddler为例来讲解对应的网络数据包如何分析。
 
所以可以看到,编写爬虫的时候,不一定都会用到Fiddler,但对某些稍复杂网页进行爬取的时候,利用Fiddler可以更好、更快、更方便地分析对应网页,从而编写出对应爬虫。


以上就是Fiddler介绍和Fiddler与Python爬虫的关系,更多Python爬虫相关文章请返回本栏目查看,获取Python学习资料视频请联系客服小姐姐。
 
分享:0

电话咨询

客服热线服务时间

周一至周五 9:00-21:00

周六至周日 9:00-18:00

咨询电话

021-67690939
15201841284

微信扫一扫