必威体育Betway必威体育官网
当前位置:首页 > IT技术

python爬虫——增量式爬虫——queue

时间:2019-08-21 10:10:00来源:IT技术作者:seo实验室小编阅读:85次「手机版」
 

sixgod

Python队列queue

Queue是python标准库中的线程安全的队列(FIFO)实现,提供了一个使用于多线程编程的先进先出的数据结构,即队列,用来在生产者和消费者线程之间的信息传递。

基本FIFO队列

class Queue.Queue(maxsize=0)。FIFO即first in first out,先进先出。queue提供了一个基本的FIFO容器,使用方法很简单,maxsize是个整数,指明了队列中能存放的数据个数的上限。一旦达到上限,插入会导致阻塞,直到队列中的数据被消费掉。如果maxsize小于或者等于0,队列大小没有限制。它是进行广度遍历。

import queue
test = queue.Queue()
test.put("123")
print(test.get())
test.get()

然后python会一直运行。

LIFO队列

LIFO即Last in First Out,后进先出。与栈的类似,使用同FIFO用法类似。

如果要实现增量式爬虫,要使用FIFO队列

以爬百度贴吧为例:

import requests
import lxml.html
from queue import Queue


class TiebaSpider(object):
    """
    实现下载某个贴吧指定页码前的内容,存储下载内容
    """

    def __init__(self, name, pages):
        """
        初始化方法
        """
        self.tieba_name = name
        self.pages_download = pages
        self.base_url = "https://tieba.baidu.com/f?kw={}&ie=utf-8&pn={}"
        self.header = {"User-Agent": "Python"}

        self.crawl_queue = Queue()
        self.crawl_queue.put(UrlType(0, "https://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=0"))

    def make_url_list(self):
        """
        获取待下载的url列表
        :return:返回生成的url列表
        """
        url_lists = []
        for i in range(self.pages_download):
            download_url = self.base_url.format(self.tieba_name, i * 50)
            url_lists.APPend(download_url)
        return url_lists

    # 注意maybe static 警告,怎么消除警告?
    def save_url(self, content, file_name):
        """
        将指定内容进行存储
        :param content:要存储的内容,这里传入的参数要求是二进制
        :param file_name:文件名
        :return:无
        """
        with open(file_name, 'wb') as f:
            f.write(content)

    def download_url(self, url_str):
        """
        下载指定url处的内容
        :param url_str: 要下载的地址
        :return: 返回下载的结果
        """
        response = requests.get(url_str, headers=self.header)
        return response.text  # content是二进制数据

    def run(self):
        """
        主业务逻辑,使用run后期可以改造成多线程爬虫
        :return:
        """
        while not self.crawl_queue.empty():
            url_type = self.crawl_queue.get()
            # 广度优先遍历的访问自身
            print("正在下载", url_type.compelete_url())
            result_text = self.download_url(url_type.compelete_url())
            parse_result = lxml.html.fromstring(result_text)

            # 广度优先遍历的访问邻居
            if url_type.url_type == 1 or url_type.url_type == 0:
                result_elements = parse_result.cssselect("ul#thread_list > li.j_thread_list")
                next_element = parse_result.cssselect("p.thread_list_bottom a.next")[0]
                url_str_next = next_element.xpath(".//@href")[0]
                self.crawl_queue.put(UrlType(1, url_str_next))
                # print("next page is :",url_str_next)
                # print("*" * 50)

                for result_element in result_elements:
                    result_thread = result_element.cssselect("p.threadlist_title > a.j_th_tit")[0]
                    print(result_thread.text)
                    url_str_detail = result_thread.xpath(".//@href")[0]
                    self.crawl_queue.put(UrlType(2, url_str_detail))
                    print(url_str_detail)
            else:
                pass


class UrlType(object):
    """
    URL类型对象,用来存放网址类型
    """

    def __init__(self, url_type, url_str):
        """
        初始化函数
        :param url_type: url类型 1:下一页 2:详情页
        :param url_str: url字符串
        """
        self.url_type = url_type
        self.url_str = url_str

    def compelete_url(self):
        """
        根据url_type类型返回完整的url
        :return:
        """
        if self.url_type == 1:
            return "https:" + self.url_str

        if self.url_type == 2:
            return "https://tieba.baidu.com" + self.url_str

        return self.url_str


tieba_spider = TiebaSpider('lol', 2)
tieba_spider.run()

然后就会一直进行爬取。

相关阅读

python pandas库——pivot使用心得

最近在做基于python的数据分析工作,引用第三方数据分析库——pandas(version 0.16)。 在做数据统计二维表转换的时候走了不少弯路,发

python从入门到实践:9-6 冰淇淋小店

代码如下 class Restaurant(): def __init__(self,restaurant_name,cuisine_type): #self.属性 的作用获取形参re

python encode(),编码和解码

前言: 我们知道,计算机是以二进制为单位的,也就是说计算机只识别0和1,也就是我们平时在电脑上看到的文字,只有先变成0和1,计算机才会识

使用Python提取身份证上的信息

import pytesseract import cv2 import matplotlib.pyplot as plt import dlib import matplotlib.patches as mpatches from ski

简单聊聊Python中的wraps修饰器

转自 https://segmentfault.com/预备知识在了解wraps修饰器之前,我们首先要了解partial和update_wrapper这两个函数,因为在wraps的

分享到:

栏目导航

推荐阅读

热门阅读