使用HTTP代理

　

http 代理

原理：

HTTP代理服务器可以比作客户端与Web服务器之间的一个信息中转站，客户端发送的HTTP请求和Web服务器返回的HTTP响应通过代理服务器转发给对方，如下图所示：

爬虫程序在爬取某些网站时也需要使用代理，例如：

• 由于网络环境因素，直接爬取速度太慢，使用代理提高爬取速度。
• 某些网站对用户的访问速度进行限制，爬取过快会被封禁ip，使用代理防止被封禁，多线程爬取。
• 由于地方法律或政治原因，某些网站无法直接访问，使用代理绕过访问限制。

利用网站 http://httpbin.org 提供的服务可以窥视我们所发送的HTTP(S)请求，如请求源IP地址、请求头部、Cookie信息等。

import requests

response = requests.get("http://www.onefine.top/ip")
print(response.text)

输出：

{"origin":"116.53.31.209"}

使用代理：

import requests

proxy = {
    'http': '221.132.18.38:80'
}

response = requests.get("http://www.onefine.top/ip", proxies=proxy)
print(response.text)

输出：

{"origin":"221.132.18.38"}

相关阅读

localtime、localtime_s、localtime_r的使用

a.localtime用来获取系统时间，精度为秒 #include <stdio.h> #include <time.h> int main() { time_t time_seconds = time(

smokeping的安装和使用笔记

Smokeping 是一款用于网络性能监测的监控软件，通过它可以在自己公司IDC的网络状况，如延时，丢包率，是否BGP多线等，通过rrdtool制图方式，

使用python做一个玩数字炸弹的游戏

 使用python3,数字炸弹游戏规则：在一个数字范围内，有一个数字作为炸弹，谁猜中这个炸弹就被惩罚。比如范围是1~100，炸弹是60，然后猜了

学习一下强大的druid，看看druid 连接池部分的源码-创建

前言 druid是阿里爸爸的开源数据库连接池，据说其性能算是位于领先的水平，从连接的创建和销毁这个性能方面优于其它连接池，但是觉得

jhipster使用感受

个人使用jhipster框架的一个感受一.好处 1.快速、便捷、省时间几分钟可以快速创建好一个有基本框架组成的后台项目，能够生成对应的