北大法宝
本篇主要分析网站爬虫思路，仅供个人研究分析使用。
（虽然上个月实训老师刚讲过java的爬虫过程，但当时对爬虫只有一知半解，实在惭愧。作为第一次实战爬虫，我还是选择了比较擅长的Python。
最近实在太忙，白天一直在外面上课，只能晚上回来搞_(:з」∠)_。）
法宝网V6版地址 http://www.pkulaw.com/
1.找到登录界面，分析网页找到POST
可以编码获取Cookie，我使用的是python
2.然后就可以在查询页面，寻找需要的文书
与上面的步骤一样，寻找POST网址，不同的是这里要找到format，替换关键字即可。
4.最后通过编号找到案例网页，爬取分析
使用正则表达式获取元素，例如下面的标题获取。
以上就是法宝网最新版网站案例的爬取过程。
其实原本是爬的V5版，已经爬了一部分，结果IP被封，只能慢慢搞，真要命，然后爬了没两天，老版V5更新网址，改动特别多，已经看不懂了=.=，本来就是第一次搞，不能再倒霉。。。只好换到V6版重新来了 囧rz
相关阅读
接着上一篇文章，这次爬取小米app的数据。主要是爬取应用和游戏这两类的app数据import requests from lxml import etree import re
写本博客的原因 其实这个项目很早前我就做完了，当时由于·时间仓促，仅在csdn上传了打包后的程序：点击下载，没想到陆陆续续有校友找到
# -*- coding: utf-8 -*- import os import json import requests import time from multiprocessing import Process, Queue, Po
学python也快2个礼拜了，从开始看别人写的爬虫代码，然后试着抄着学习，感觉没太大进步，最大收获就是改了几处bug（可能有些地方不适用我的
趁着学习计划空白的时间，我决定自己创建一个project练手爬虫，刚好可以实践之前学习过的scrapy 项目内容：1.抓取拉钩网下，关键字为【数