python爬虫——爬取抽屉新热榜

　

抽屉新热榜

爬取抽屉新热榜

爬取段子

抽屉网址https://dig.chouti.com/r/scoff/hot/

爬虫的常规操作，根据需求进行分析。我们要爬取段子，也就是每条段子信息。先按F12查看一下网页，审查元素。

我们刚好找到段子信息，看看其他段子是不是也在这个位置。我们发现了25条一样的标签。每条标签下都有段子信息，刚好和这页的25条信息相对应。

提取这些信息，我们同样使用BeautifulSoup。BeautifulSoup的用法我在另一篇文章中有所介绍BeautifulSoup用法

这是一页的信息，如何获取多页呢，看看第二页的网址。

再看看第三页的网址。

我们发现了规律，用表达式写出来

url = 'http://dig.chouti.com/r/scoff/hot/'+str(i)

这样就可以获取多页的段子信息了。

直接上代码

完整代码

import requests
from bs4 import BeautifulSoup

headers={'User-Agent':'Mozilla/5.0 (windows NT 10.0; WOW64; rv:58.0) Gecko/20100101 Firefox/58.0'}
for i in range(10):
    url = 'http://dig.chouti.com/r/scoff/hot/'+str(i)
    html=requests.get(url,headers=headers)
    html.encoding=html.APParent_encoding


    soup=BeautifulSoup(html.text,'html.parser')
    p=soup.find(id='content-list')
    p2=p.find_all('p',class_="item")


    for i in p2:
        a=i.find('p',class_="part2")
        b = a.get('share-title')
        print(b)
        with open('duanzi.txt','a',encoding='utf-8')as f:
            f.write(b)

相关阅读

爬取妹子图网站的图片

网站：http://www.meizitu.com/ 目标：用BeautifulSoup解析网页源代码，获取图片． 图片链接： # /home/wl/PycharmProjects/untitled

爬取许嵩的所有微博并存入MongoDB

我很喜欢许嵩的音乐，我以前基本上他的每首歌都会唱，比如《素颜》、《灰色头像》、《玫瑰花的葬礼》、《清明雨上》、《

爬虫爬取快递100网查快递信息

这个是爬静态网页巩固练习的第二个小小小小小小项目，爬快递100网站查快递信息，这个其实很简单，本身这个网站就已经把该做的能做的都

爬取豆瓣TOP250书单

小白学习爬虫 爬取豆瓣TOP250的书，正好本人也喜欢看书 思路分析： https://book.douban.com/top250这是TOP250第一页的链接 https://

Python3爬取豆瓣短评——以好剧《白鹿原》为例

背景： 近期刚看完电视剧《白鹿原》。”自信平生无愧事，死后方敢对青天“的白嘉轩虽显执拗，但仍令人倾服，朱先生提到的“凡物之骤为之