通过session实现通用爬虫--爬取到开心网账户的首页界面

　

开心网登录

目录

1.点开开心网的登录界面

2.获取login_url 以及 账号和密码

第一种方法 ：F12 找到form表单

第二种方法：Network

3.开始写代码

---

开心网的网址是http://www.kaixin001.com/

我们接下来的操作是为了直接用session登录开心网，爬取账户主页的代码

1.点开开心网的登录界面

我们发现这是用form表单实现账号登录的

2.获取login_url 以及 账号和密码

第一种方法 ：F12 找到form表单

首先在form表单中找到action,即为要提交的url

form表单里面的内容是要提交的数据，找到id；没有id，就找name

第二种方法：Network

输入账号，密码 ，点击登录，此时htttp的请求方法是post

打开F12     找到network

formData 里面的数据即为要提交的数据

3.开始写代码

"""
开心网登陆，获取主页
"""
import requests
# 登录的url
login_url = 'https://security.kaixin001.com/login/login_auth.php'
data_dic = {
    "loginemail": "账号",
    "password": "密码",
}
session = requests.session()
response = session.post(url=login_url, data=data_dic)
response1 = session.get(url='http://www.kaixin001.com/home/"" class="has" height="393" src="https://img-blog.csdnimg.cn/20190426124741274.png" width="770" />

要是不放心的话，在运行一下，在浏览器中查看一下


这就说明我们成功的爬取到了账户主页的代码！！
成功！！！
                                    
                    
    
        
相关阅读
在servlet 中使用 request.getSession().getServletCo
今天恰好有个上传文件的练习需要使用 request.getSession().getServletContext().getRealPath("upload/" ); 获取上传到服务器上
Session设置存活时间的三种方式
Session默认时间是30分钟，设置为0或者附属不限制有效时间。1.html中设置<session-config>    <session-timeout>30</session-t
java中session和cookie的创建与销毁
1.后端创建cookieCookie cookName =newCookie("cookName", cookValue);
cookName.setMaxAge(60*60*24*7);//设置cookie的最大生命
Spring session与HttpSession的区别
作为一名 Java Web 应用开发者，你已经快速学习了 request（HttpServletRequest）和 session（HttpSession）作用域。在设计和构建 Java Web
zookeeper超时--minSessionTimeout与maxSessionTimeou
很多同学可能有这样的疑问，我明明把连接zk客户端的超时时间sessionTimeout设置为180秒了，可是为什么仅仅过了40几秒就超时了？