Scrapy框架爬取苏宁图书信息

　

苏宁图书

# -*- coding: utf-8 -*-
import scrapy
from SNBook.items import SnbookItem
import re


class SnBookSpider(scrapy.Spider):
    name = 'sn_book'
    allowed_domains = ['suning.com']
    start_urls = ['http://snbook.suning.com/web/trd-fl/999999/0.htm']

    def parse(self, response):
        li_list = response.xpath("//ul[@class='ulwrap']/li")
        for li in li_list:
            item = SnbookItem()
            item['parent_type'] = li.xpath(".//a/text()").extract_first()
            item['parent_href'] = li.xpath(".//a/@href").extract_first()
            item['parent_href'] = 'http://snbook.suning.com' + item['parent_href']
            item['son_type'] = li.xpath(".//p[@class='three-sort']//text()").extract()
            item['son_href'] = li.xpath(".//p[@class='three-sort']//@href").extract()
            item['son_href'] = ['http://snbook.suning.com' + i for i in item['son_href']]

            yield scrapy.request(item['son_href'],
                                 callback=self.parse_son_type,
                                 meta={'item': item})

    def parse_son_type(self, response):
        item = response.meta['item']
        li_list = response.xpath("//ul[@class='clearfix']/li")
        pattern = re.compile(r'pagecount=(\d+);')
        pagecount = pattern.findall(response.body.decode())[0]  # 子类图书总页数
        item['pagecount'] = pagecount
        for li in li_list:
            item['belong_son_tyoe'] = li.xpath(".//a[@class='ci']/text()").extract_first()  # 所属子类没取到
            item['book_href'] = li.xpath("./p[1]/a/@href").extract_first()
            item['book_img'] = li.xpath("./p[1]/a/img/@src").extract_first()  # 图片没取到
            item['book_name'] = li.xpath("./p[1]/a/img/@alt").extract_first()
            item['book_author'] = li.xpath("./p[2]//p[@class='book-author']/a/text()").extract_first()
            item['book_descrip'] = li.xpath("./p[2]//p[@class='book-descrip c6']/text()").extract()
            # print(item)
            #TODO 价格
            yield item
        # next_url = 'javascript:turnpage(下一页的页码);'  # ???不用selenium怎么到下一页
        #TODO 翻页

相关阅读

苏宁京东物流仓库大PK，京东“亚洲一号”实为“亚洲五号

京腾计划过去不久，京东于今天又一次召开发布会，发布会上对京东的“亚洲一号”大施笔墨，显然对于“亚洲一号”的

国美与苏宁之间市值相差一百倍 新零售会是国美最后一

相对于阿里、腾讯在线下招兵买马，国美跟苏宁还是得益于早年就有经营线下实体店的优势，它们在新零售上的动作都集中在加快线下扩张门

京东、苏宁下架权健商品 但淘宝仅屏蔽了搜索仍在售

A5创业网(公众号：iadmin5)12月28日消息：近日，丁香医生在其微信公众号发布的一篇文章《百亿保健帝国权健，和它阴影下的中国家庭》将权

autojs调用java的类库爬取bilibili视频弹幕内容，get请

/** * @功能 爬取指定bilibili视频弹幕 * @作者 家 * @感谢 内个谁, ProjectXero * @难点 不会解压gzip和deflate,再次感谢上

苏宁物流持续下沉，偏远山区也能送货上门

近几日，联邦快递未按名址投递快递事件备受关注，由此也引发了中国物流行业的自我警醒。国家邮政局局长马军胜特别指出：对用户交寄有核