拉勾网登录问题

　

拉勾

拉钩登录问题，在参考别人的博客后，解决啦

class lagouSpider(CrawlSpider):
    name = 'lagou'
    allowed_domains = ['www.lagou.com']
    start_urls = ['https://www.lagou.com/']
    agent = "Mozilla/5.0 (windows NT 10.0; WOW64) APPleWebKit/" \
            "537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36"

    # if not settings, it will be redirect to login
    custom_settings = {
        "COOKIES_ENABLED": False,
        "DOWNLOAD_DELAY": 1,
        'DEFAULT_request_headers': {
            'Accept': 'application/json, text/javascript, */*; q=0.01',
            'Accept-Encoding': 'gzip, deflate, br',
            'Accept-Language': 'zh-CN,zh;q=0.8',
            'Connection': 'keep-alive',
            'Cookie': 'JsessionID=ABAAABAAAFCAAEGBC99154D1A744BD8AD12BA0DEE80F320; showExpriedIndex=1; showExpriedCompanyHome=1; showExpriedMyPublish=1; hasDeliver=0; _ga=GA1.2.1111395267.1516570248; _gid=GA1.2.1409769975.1516570248; user_trace_token=20180122053048-58e2991f-fef2-11e7-b2dc-525400f775ce; PRE_UTM=; LGUID=20180122053048-58e29cd9-fef2-11e7-b2dc-525400f775ce; index_location_city=%E5%85%A8%E5%9B%BD; X_HTTP_TOKEN=7e9c503b9a29e06e6d130f153c562827; _gat=1; LGSID=20180122055709-0762fae6-fef6-11e7-b2e0-525400f775ce; PRE_HOST=github.com; PRE_SITE=https%3A%2F%2Fgithub.com%2Fconghuaicai%2Fscrapy-spider-templetes; PRE_LAND=https%3A%2F%2Fwww.lagou.com%2Fjobs%2F4060662.html; Hm_lvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1516569758,1516570249,1516570359,1516571830; _putrc=88264D20130653A0; login=true; unick=%E7%94%B0%E5%B2%A9; gate_login_token=3426bce7c3aa91eec701c73101f84e2c7ca7b33483e39ba5; LGRID=20180122060053-8c9fb52e-fef6-11e7-a59f-5254005c3644; Hm_lpvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1516572053; TG-TRACK-CODE=index_navigation; SEARCH_ID=a39c9c98259643d085e917c740303cc7',
            'Host': 'www.lagou.com',
            'Origin': 'https://www.lagou.com',
            'referer': 'https://www.lagou.com/',
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36',
        }
    }

虽然现在还不能很好理解这样做的原因。

文章最后发布于: 2018-03-01 10:36:27

相关阅读

rj45网络接口规格书

目前常用的一种RJ连接器是RJ45连接器，用于ethernet连接，8P8C，可以连接4对双绞线，12mm宽，比RJ11系列要宽一些。RJ45连接器有时也用于电

新网站文章如何快速收录

在刚建设好网站后，文章页面收录很慢还有今天收录明天掉，这个问题让很多站长困惑接下来笔者分享一下新站文章快速收录的方法。1、把

下半年投资理财应该怎么选！拍拍贷、铜板街、银象网、pp

在平时的社交环境中，类别不同，收入也不同，但只要进入投资理财的门槛，目标都是相同的，就是如何赚取更好的收益。那么怎样投资理财最赚钱

长网页截屏

按F12弹出调试台 按ctrl+shift+p出现功能框 输入cap选择第二项 在文件夹中显示下载的图片 打开图片会看到全屏的网页已在一张图片

网易云音乐增资至5.89亿美元

A5创业网(公众号：iadmin5)3月21日日消息，天眼查数据显示，3月18日，网易云音乐运营主体杭州网易云音乐科技有限公司注册资本由41075万美