热点指南

投稿
首页 > 互联网 > 基于python的Scrapy爬虫框架实战，小白也可操作

基于python的Scrapy爬虫框架实战，小白也可操作

热点指南• 2020-03-22 08:03:27• 互联网• 阅读 496

1.伯乐在线

网站页面如下图所示：

1.1 新建爬虫工程

命令：scrapy startproject BoleArticle

新建爬虫工程命令

命令：scrapy genspider article "blog.jobbole.com" 注意：运行此命令时必须在爬虫工程文件夹内，如下图路径所示。

新建爬虫文件命令

1.2 编辑items.py文件

6个字段:title、publishTime、category、digest、detailUrl、img_url，数据类型为scrapy.Field对象

import scrapy
from scrapy import Field

class BolearticleItem(scrapy.Item):
    title = Field()
    publishTime = Field()
    category = Field()
    digest = Field()
    detailUrl = Field()
    img_url =Field()

1.3 编辑article.py文件

parse函数用于解析最大共有多少页，并将每一个目录页面的链接通过字符串拼接的方法传给下一级解析函数 scrapy.Request函数里面有2个参数：

第1个参数数据类型是字符串，是下一级解析页面的url链接；

第2个参数数据类型是函数对象，是ArticleSpider里面函数的函数名。

parse1函数用于解析每一个目录页面的文章信息

共有6个字段:title、publishTime、category、digest、detailUrl、img_url，publishTime字段是通过正则表达式找到的，

具体是使用re.search方法。其他字段通过xpath可以找到。

import scrapy
from ..items import BolearticleItem
import re

class ArticleSpider(scrapy.Spider):
    name = 'article'
    allowed_domains = ['blog.jobbole.com']
    start_urls = ['http://blog.jobbole.com/all-posts/']

    def parse(self, response):
        pageNum = response.xpath("//a[@class='page-numbers']/text()")[-1].extract()
        for i in range(1,int(pageNum)+1):
            url = "http://blog.jobbole.com/all-posts/page/{}/".format(i)
            yield scrapy.Request(url,callback=self.parse1)

    def parse1(self,response):
        def find(xpath, pNode=response):
            if len(pNode.xpath(xpath)):
                return pNode.xpath(xpath).extract()[0]
            else:
                return ''
        article_list = response.xpath("//div[@class='post floated-thumb']")
        for article in article_list:
            item = BolearticleItem()
            item['title'] = find("div[1]/a/@title",article)
            pTagStr = find("div[2]/p",article)
            item['publishTime'] = re.search("\d+/\d+/\d+",pTagStr).group(0)
            item['category'] = find("div[2]/p/a[2]/text()",article)
            item['digest'] = find("div[2]/span/p/text()",article)
            item['detailUrl'] = find("div[2]/p/a[1]/@href",article)
            item['img_url'] = find("div[1]/a/img/@src",article)
            yield item

1.4 编辑pipelines.py文件

在管道类初始化时，删除并新建表article1 下面一段代码中有2处需要修改：

1.数据库名，第4行的变量database；

2.数据库连接的密码，第8行的变量passwd 代码第28行变量insert_sql的数据类型是字符串，通过字符串拼接形成插入数据的sql语句。

理解变量fieldStr、valueStr形成过程的难点是字符串的join方法和推导式 每次插入数据后都执行self.conn.commit()

import pymysql
from time import time

def getConn(database ="bolearticle"):
    args = dict(
        host = 'localhost',
        user = 'root',
        passwd = '... your password',
        charset = 'utf8',
        db = database
    )
    return pymysql.connect(**args)

class BolearticlePipeline(object):
    startTime = time()
    conn = getConn()
    cursor = conn.cursor()
    drop_sql = "drop table if exists article1"
    cursor.execute(drop_sql)
    create_sql = "create table article1(title varchar(200) primary key,publishtime varchar(30)," \
                 "category varchar(30),digest varchar(500)," \
                 "detailUrl varchar(200),img_url varchar(200));"
    cursor.execute(create_sql)

    def process_item(self, item, spider):
        fieldStr = ','.join(['`%s`'%k for k in item.keys()])
        valuesStr = ','.join(['"%s"'%v for v in item.values()])
        insert_sql = "insert into article1(%s) values(%s)" %(fieldStr,valuesStr)
        self.cursor.execute(insert_sql)
        self.conn.commit()
        return item

1.5 编辑settings.py文件

关键点是最后3行要开启管道，CONCURRENT_REQUESTS变量设置为96能够较好利用多线程性能 ROBOTSTXT_OBEY设置为False,意思是不遵守爬虫协议，也称机器人协议。

如果设置为True，即遵守爬虫协议，则可能访问受限。

BOT_NAME = 'BoleArticle'
SPIDER_MODULES = ['BoleArticle.spiders']
NEWSPIDER_MODULE = 'BoleArticle.spiders'
ROBOTSTXT_OBEY = False
CONCURRENT_REQUESTS = 96
ITEM_PIPELINES = {
   'BoleArticle.pipelines.BolearticlePipeline': 300,
}

1.6 运行结果

在命令行中运行命令：scrapy crawl article 查看数据库，结果截图如下：

2.网易新闻图片

用urllib.parse.unquote方法查看%E4%B8%AD%E5%9B%BD的中文对应字符，如下图所示：

网站页面如下图所示，需要爬取2400张图片：

2.1 新建爬虫工程

新建爬虫工程命令：scrapy startproject NeteasyImage 进入爬虫工程文件夹：cd .\NeteasyImage 新建爬虫文件命令：scrapy genspider image "news.163.com"

2.2 编辑items.py文件

3个字段：id、img_url、img_title

import scrapy
from scrapy import Field

class NeteasyimageItem(scrapy.Item):
    id = Field()
    img_url = Field()
    img_title = Field()

2.3 编辑image.py文件

image_number变量是下载图片的数量。

start_urls变量数据类型为列表，其中的每个元素的数据类型为字符串，是获取图片链接的请求url。 start_urls中的元素发出请求返回的内容为json类型的文本。

json.loads方法中有1个参数，参数数据类型为字符串，这个方法的作用可以把字符串转为字典，要求字符串必须以{开头，以}结束。

对于下图的json文本来说，需要删除左边的var jsonres=,删除最后一个字符; 转化后的字典赋值给jsonLoad变量，jsonLoad['hits']数据类型为列表，当中有图片的链接，标题等。

id字段用来判断是第几张图。


import scrapy
import json
from ..items import NeteasyimageItem
class ImageSpider(scrapy.Spider):
    name = 'image'
    allowed_domains = ['netease.com']
    image_number = 2000
    urlBefore = "http://uvs.youdao.com/search?site=photogalaxy.163.com" \
                "&sort=time&channelid=&q=%E4%B8%AD%E5%9B%BD&length=100&start={}"
    start_urls = []
    for i in range(0, image_number, 100):
        start_urls.append(urlBefore.format(i))
    count = 0
    def parse(self, response):
        jsonStr = response.text.lstrip("var jsonres=").strip().strip(";")
        jsonLoad = json.loads(jsonStr)
        for image in jsonLoad['hits']:
            self.count += 1
            item = NeteasyimageItem()
            item['id'] = self.count
            item['img_title'] = image['setname']
            item['img_url'] = image['imgsrc']
            yield item

2.4 编辑settings.py文件

关键点是最后3行要开启管道，CONCURRENT_REQUESTS变量设置为96能够较好利用多线程性能 ROBOTSTXT_OBEY设置为False,意思是不遵守爬虫协议，也称机器人协议。

如果设置为True，即遵守爬虫协议，则可能访问受限。

import os
BOT_NAME = 'NeteasyImage'
SPIDER_MODULES = ['NeteasyImage.spiders']
NEWSPIDER_MODULE = 'NeteasyImage.spiders'
ROBOTSTXT_OBEY = False
CONCURRENT_REQUESTS = 96
CONCURRENT_ITEMS = 200
IMAGES_STORE = os.getcwd() + '/images/'
ITEM_PIPELINES = {
   'NeteasyImage.pipelines.NeteasyimagePipeline': 300,
}

2.5 编辑pipelines.py文件

下面代码比较难懂的地方是item_completed函数中的results参数
results数据类型为列表，列表中的第一个元素为元组，元组中第一个元素result[0][0]数据类型为布尔，是下载结果是否成功。
result[0][1]是下载图片返回的一些信息，数据类型为字典，其中有3个键值对，3个键为url、path、checksum。格式如下所示。
{'url': 'http://img2.cache.netease.com/photo/0003/2016-07-18/t_BS95B1C900AJ0003.jpg', 'path':
'full/98979c89e2b5e6ef9926183dab4e8bf5a8efa8a4.jpg', 'checksum': '15d5231fcd77d81ddd58d7db6a07c1ce'}
url是下载图片的链接，path是下载图片保存的路径，checksum是下载图片的文件校验和。
用os.rename方法重命名图片文件。
from scrapy.pipelines.images import ImagesPipeline
import scrapy
from .settings import IMAGES_STORE as images_store
import os

class NeteasyimagePipeline(ImagesPipeline):
    def get_media_requests(self, item, info):
        yield scrapy.Request(item['img_url'])
    def item_completed(self, results, item, info):
        if results[0][0]:
            old_path = images_store + results[0][1]['path']
            fileName = "{}-{}.jpg".format(item['id'],item['img_title'])
            new_path = images_store + fileName
            os.rename(old_path,new_path)

2.6 运行结果

在命令行中运行命令：scrapy crawl image 查看图片保存的文件夹，如下图所示：

小编寄语

最后小编帮助大家整理了一套python教程，下面展示了部分，希望也能帮助对编程感兴趣，想做数据分析，人工智能、爬虫或者希望从事编程开发的小伙伴，毕竟python工资也还可以，如果能帮到你请点赞、点赞、点赞。

点赞，收藏并转发文章后点击小编头像或昵称

PS：如果你喜欢python，并觉得这篇文章对你有益的话，麻烦多多点赞关注支持！

Scrapy 网络爬虫 Python

本文来自投稿，不代表本人立场，如若转载，请注明出处：http://www.souzhinan.com/hlw/343806.html

赞 (165)
打赏 微信扫一扫
« 上一篇2020-03-22 08:03:26
下一篇 »2020-03-22 08:18:22

相关推荐

×