爬虫笔记（四）——代理服务器的设置

　

代理服务器的设置

使用同一个IP去爬取同一个网站上的网页，久了之后会被该网站服务器屏蔽。这个时候我们就可以使用代理服务器。 （使用代理服务器去爬取某个网站的内容的时候，在对方的网站上，显示的不是我们真实的IP地址，而是代理服务器的IP地址）。给大家推荐一个网址：http://www.xicidaili.com/，这上面有免费的代理Ip。我们尽量找验证时间比较短的，这样的成功率会比较大。

我们可以看到图片的第一个ip地址，101.236.60.48，对应的端口号为8866，则完整的格式为：“ip地址：端口号",即101.236.60.48：8866。选择好代理ip地址后，我们就可以进行相应的程序编写了，可以使用以下程序，实现通过代理服务器来爬取网站内容。

import urllib.request
import urllib.parse

url = "https://mp.csdn.net/postlist/list/enable"
proxy = urllib.request.Proxyhandler ({'http':'101.236.60.48：8866'})
opener = urllib.request.build_opener(proxy)
opener.addheaders = [('User-Agent','Mozilla/5.0 (X11; ubuntu; linux x86_64; rv:45.0) Gecko/20100101 Firefox/45')]
urllib.request.install_opener(opener)
data = urllib.request.urlopen(url).read()
print (len(data))
fhandle = open('/home/wl/csdn.html','wb')
fhandle.write(data)
fhandle.close()

• urllib.request.ProxyHandler(proxy)函数是用来设置对应的代理服务信息，代理信息的格式为：{'http':代理服务器地址}。
• urllib.request.build_opener()函数创建一个opener对象。
• urllib.request.install_opener()将opener变成全局默认的对象。

文章最后发布于: 2018-07-16 20:08:29

相关阅读

爬虫（二）—解析真实网页（猫途鹰）

爬虫的爬取过程为，从服务器获得网页数据，通过python的相关解析库进行数据的提取分析。过程如下，其中对遇到的问题进行汇总记录解答!

有哪些网站用爬虫爬取能得到很有价值的数据

0、IT桔子和36Kr在专栏文章中（http://zhuanlan.zhihu.com/p/20714713），抓取IT橘子和36Kr的各公司的投融资数据，试图分析中国各家基金

【Grades Crawler】利用python编写爬虫 爬取西电教务

Grades Crawler 项目介绍 由于教务处成绩不易自己打印，故编写爬虫Grades Crawler, 其可以将自己的（需要合法的学生帐号信息）教务处

爬虫：爬取豆果网和美食网的菜单

爬虫：爬取豆果网和美食网的菜单 所有代码请到我的github中下载，欢迎star，谢谢。 https://github.com/sileixinhua/SpiderRecipes

Python爬虫之——爬取妹子图片

近期很多博友找我咨询问题，我将更新的代码写在最后，由于精力有限只更新单线程版 首先声明，本博文为我原创，但是我在看了 崔庆才 博主