curl简介

今天给大家介绍一个命令行下的网络传输客户端工具、Web神器curl，它支持包Http、Ftp在内的常见网络协议，支持代理，支持Https、证书，支持各种Http方法，在各发行版的Linux和Windows都支持，而且linux默认自带。其底层的C库libcurl也被很多脚本语言包括PHP（cURL）、Perl（Net::Curl，WWW::Curl）、Python（PyCurl）等打包成模块调用，可直接用于Web客户端编程，编写网络爬虫或者其他Web自动工具。尤其对于php来说由于它缺乏这类工具可以直接做Web客户端，cURL就成了它唯一的选择了。

关于curl的详细介绍和各种参数很多很杂，在此不做赘述，请自己搜索或者查看官方文档。

简单访问

最简单的用法就是在命令行下输入curl 后面跟个网站Url就可以获取页面信息了。当然由于获取的是html文件的内容，不是我们浏览器常见的网站的展现形式(命令行浏览器有w3m可以更好解析html内容)，有很多Html标签穿插在内容之间。

咱们先访问个有趣的网站。（不能直接帖文本网址，会被头条机器人认为是网站广告）

利用curl下载

curl作为一个支持多协议的工具，可不可代替wget做下载呢？

当然，完全可以用来替代wget做文件下载，而且有不少的优势。下面就实例演示下：

下载载文档

我们以头条上一片文章的配图为例子，介绍如何下载图片。先通过浏览器访问，图片显示为：

我们永curl下载，主要加-o/O参数:

-o表示指定下载后文件的名称

-O表示下载后的文件名和服务端的文件名一样。

目录下下载到的文件信息和浏览器显示效果的文件大小差不多，应该一样，表示下载成功，如下图。

默认是直接输出信息到终端的，如果是图片文件的话，由于是二进制不支持显示，就会乱码。

批量下载

注意curl支持对url做模式匹配，这样一个url就可以表示多个文件，可以一次性下载多个文件：

上图中的有个错误，大家发现问题没有？小编刚开始用的时候怎么也没下载到文件，后来找了半天才发现问题所在。Url最后的模式匹配部分写错了，[1-0]是个错误写法，应该是[下限-上限] 把上面的url改成[1-8]立马就可以了。结果如下：

由于URL是演示需要随意杜撰的所以都没下载到文件，文件大小很小为空。

对多个文件我们也能通过-o指定自己的需要名字，不过需要用一个变量#1来表示后面模式的中的参数，如下图所示：

结果是，这样就可以个性化命名下载的文件了。

用这招可以一下子把所有序列化特征的文件都下载来了，是不是很方便。对了，这才是它比一般浏览器厉害的地方，可以用来取代人，自动做重复性的工作。

curl还支持很多的下载功能，比如断点续传、分段部分下载等等。更多技巧请看官方的文档或者去搜索，应该都找得到，在此就不多说了。

用curl做安全渗透

获取http头搜集服务器信息

通过curl快速取得服务器版本信息。我们可以用curl -I url取得Web服务的Http头信息，做为信息搜集用，为进一步渗透做准备。例如，我们看看今日头条旗下的产品悟空问答的首页：

我们看到https头中说明悟空用的服务器是nginx变种淘宝的Tengine，但是屏蔽了版本信息（安全工作做的还是挺到位的）。

Via段信息可能是某个CDN厂商信息（小编瞎猜测的）。

Timing-Allow-Origin: * 表示允许任何资源都可以服务器看到的计时信息。

我们还看到，我们用curl 访问时，返回了 403 Forbidden，说明服务器对客户端限制了。接着下一节我们将介绍如何通过设定User Agent信息获得服务器的信任。

通过设置User Agent 和Porxy代理突破服务限制

上一步骤中我们用curl直接被悟空服务给403拒绝了，我们猜测是服务器根据User Agent给禁止掉了。这时候该怎么办？好办，我们给它一个浏览器的User Agent信息就好了。

设置User Agent信息很简单，用curl -A "XXX" ，XXX表示User Agent信息就行。比如对悟空首页，我们给它喂个 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)，伪装成IE 6，悟空小姐姐立马就驯服了。

妥妥的，200 OK。

有时候由于你机器访问太频繁，比如爬虫大批量爬数据时候，你的IP可能被服务器探测到访问不正常，当成恶意攻击，或不正常访问被防火墙，WAF等给封掉。这时候就需要一个武器Porxy代理来隐藏到我们的实际地址，骗取服务器的信任。

代理设置也简单，给curl加个-x参数，随后紧跟代理服务器地址即可：

当然问题是你没有代理服务器，代理服务器地址怎么找，我只说一句"诸事不宜，找度娘"。

还有curl结果也能配合shell管道和其他神器对获取的信息进行处理，比如grep：

以上是我们对抓的悟空首页的内容最筛选，搜索包含"悟空"字串的行。对信息处理然后入库，这是做一个爬虫获取信息的一个必须步骤，业界有个专门名字叫etl数据清洗，没有这个过程获取到都将是垃圾。

突然发现篇幅有点长了，那就分开几篇发把，今天这篇就到这里，先休息睡觉把! 虫虫明天见