必威体育Betway必威体育官网
当前位置:首页 > IT技术

全国增值税发票查验平台验证码识别

时间:2019-09-19 22:10:00来源:IT技术作者:seo实验室小编阅读:90次「手机版」
 

增值税专用发票查询

拿到一张发票,如何把上面的内容转化为计算机中结构化的数据呢?

直接拿到图片OCR,虽然目前的技术可以识别出内容,但很关键的问题就是,不知道哪条数据是什么。譬如“100”是数量还是单价。例如下面是一张增值税发票。

在这里插入图片描述

OCR识别结果如下:

在这里插入图片描述

这样的数据没啥意义。

发票左上角有一个二维码,通过扫描可以得到,发票的四要素(发票代码,发票号码,开票日期,校验码)。然后可以去全国增值税发票查验平台,输入四要素,查看发票详细信息。

在这里插入图片描述

二维码识别代码,放这里。要安装zxing包。参考:Python生成+识别二维码

import os
from PIL import Image
import zxing  # 导入解析包
import random


# 在当前目录生成临时文件,规避java路径问题
def ocr_qrcode_zxing(filename):
    img = Image.open(filename)
    ran = int(random.random() * 100000)  # 设置随机数据的大小
    img.save('%s%s.png' % (os.path.basename(filename).split('.')[0], ran))
    zx = zxing.BarCodeReader()  # 调用zxing二维码读取包
    data = ''
    zxdata = zx.decode('%s%s.png' % (os.path.basename(filename).split('.')[0], ran))  # 图片解码
    print(zxdata)
    # 删除临时文件
    os.remove('%s%s.png' % (os.path.basename(filename).split('.')[0], ran))

    return zxdata  # 返回记录的内容


if __name__ == '__main__':
    filename = '3.png'  # 二维码图片
    # zxing二维码识别
    ltext = ocr_qrcode_zxing(filename)  # 将图片文件里的信息转码放到ltext里面
官网查验需要验证码,回到本文主题,验证码识别

1 数据集

全国增值税发票查验平台的验证码主要构成是:数字、字母、汉字的6位组合,以及红、黄、蓝、黑4种颜色,每次会随机要求输入其中某种颜色。没有颜色要求即是黑色。

基于selenium包进行验证码收集和标注。

参考:

selenium 安装与 chromedriver安装

自动化测试 selenium 模块 webdriver使用

通过对网站的分析发现,必须输入发票的四要素才能获得验证码的图片。

get_captcha.py

from selenium import webdriver #安装:pip install selenium
import time
import base64  #安装:pip install base64


def labelme(prex,filename):
    src = browser.find_element_by_id('yzm_img').get_property('src')
    filename = prex + str(filename)
    label = "#"
    while label.endswith("#"):  #修改:要么从末尾backspace,要么输入"#"回车。注意从中间修改无效。看不清直接回车
        label = input(filename+":")#输入:内容(字母一律小写)/颜色 颜色编码:除黑色为e,其余均为英文单词首字母
    label = label.split('/')
    if label == ['']:
        return false
    if len(label)!=2 or len(label[0])!=6 or len(label[1])!=6:
        print("输入长度有误,内容颜色均6位,用/隔开")
        return False
    with open('labels.txt', 'a', encoding='utf-8') as f:  # 标签保存在同目录下的labels.txt
        f.write(filename + ":" + str(label) + "\n")

    img = base64.b64decode(src.split(',')[-1])
    with open('pic/'+filename + '.png', 'wb') as f:
        f.write(img)
    return True


if __name__ == "__main__":

    prex = input('输入唯一标示(姓名首字母,例如:fsf):')
    cnt = int(input('输入中断文件号,第一次为1:'))

    browser = webdriver.Chrome()

    browser.get("http://inv-veri.chinatax.gov.cn")

    browser.find_element_by_css_selector('#fpdm').send_keys("发票代码")
    browser.find_element_by_css_selector('#fphm').send_keys("发票号码")
    browser.find_element_by_css_selector('#kprq').send_keys("开票日期")
    browser.find_element_by_css_selector('#kjje').send_keys("校验码")
    time.sleep(1)
    print('修改:要么从末尾backspace,要么输入"#"回车。注意从中间修改无效。看不清直接回车')
    print('输入:内容(字母一律小写)/颜色(颜色编码:除黑色为e,其余均为英文单词首字母)')
    '''
    获取需要输入的颜色,已注释
    try:
        color = browser.find_element_by_css_selector('#yzminfo font').text
    except:
        color = None
    print(color)
    '''

    while True:

        if labelme(prex,cnt):
            cnt += 1
        browser.find_element_by_css_selector('#imgarea a').click()
        time.sleep(0.5)

2 模型

EndToEnd文本识别网络-CRNN(CNN+GRU/LSTM+CTC)

参考:语音识别:深入理解CTC Loss原理

模型结构图

输入是一张(35,90,3)的图片,分别是高、宽、通道数。(tensorflow里面高是在第一位)。通过一个CNN,这是一个类似VGG的三层卷积池化层。得到了(4,11,128)的特征向量。之后需要把高宽转置一下,让宽在第一位,reshape成(11,4*128),这个特征的含义,相当于把图片按宽度从左到右分成了11条,每一条是一个512维向量,代表这一条的特征。

在这里插入图片描述

之后这个(11,512)的特征向量作为第一个双向GRU的输入,一路从左到右输入到 GRU,一路从右到左输入到 GRU,然后将他们输出的结果加起来(sum)。然后输入第二个双向GRU,还是一路正方向,一路反方向,只不过这次直接将它们的输出连起来(contact)。这样得到了一个(11,128)维的向量。这个时候再分两路,一路全连接层输出11个(标签是6个,这时候就得靠ctc来对齐了)字符的概率,另一个全连接层输出11个颜色的概率。最后就是最小化ctc损失了。这里模型整体有两个ctc损失,一个来自颜色,一个来自字符。我这里按照颜色,字符3:7的权重计算最后总的loss(个人觉得颜色比较简单),这里大家可以自行调整。或者可以颜色训练一轮,字符训练两轮。好了,放代码吧。

先放个代码目录:

在这里插入图片描述

简单解释一下:

1.datasets,文件夹就是数据集咯,包括训练集train和测试集test。每个文件夹下又分别有输入inputs.npy、

字符标签labels_str.npy和颜色标签labels_color.npy。

2.get_captcha,数据集的获取和标注。由于本文只使用了少量数据集,想要提升识别效果,可以使用这个代码增加数据集。

其中pic存放验证码图片,labels存放文件名对应的标签。

3.model,一个是模型的代码,一个是模型的训练权重(只用了少量数据集7000,数字字母表现效果良好)。

4.captcha_predict.py, 验证码预测,sigin_in的中间文件。

5.color.txt, 所有颜色。

6.string.txt,所有字符(不全,只包含7000数据集中出现的字符)

7.config.py,配置文件。

8.pretreat.py, 图片预处理文件。

9.evaluate.py, 模型评估文件。

10.train.py, 模型训练文件。

11.sign_in.py,运行该文件,自动登录发票平台,查询发票信息。

ctc_model.py

from keras.layers import Conv2D, MaxPooling2D, Dropout, Flatten, Dense, GRU,\
    lambda,Permute,TimeDistributed,Bidirectional
from keras.models import Input,Model
from keras import backend as K


Height = 35
Width = 90
rnn_size = 64  # GRU的隐层大小
n_str = 1288  # 字符类别 + 1
n_color = 5  #
n_len = 6
conv_shape = (None, 11, 512)


def ctc_lambda_func(args):
    y_pred, labels, input_length, label_length = args
    return K.ctc_BATch_cost(labels, y_pred, input_length, label_length)


def nn_base(input_tensor):

    conv1_1 = Conv2D(32, 3, activation='relu', padding='same', kernel_initializer='he_normal')(input_tensor)
    conv1_2 = Conv2D(32, 3, activation='relu', padding='same', kernel_initializer='he_normal')(conv1_1)
    pool1 = MaxPooling2D((2, 2))(conv1_2)
    conv2_1 = Conv2D(64, 3, activation='relu', padding='same', kernel_initializer='he_normal')(pool1)
    conv2_2 = Conv2D(64, 3, activation='relu', padding='same', kernel_initializer='he_normal')(conv2_1)
    pool2 = MaxPooling2D((2, 2))(conv2_2)
    conv3_1 = Conv2D(128, 3, activation='relu', padding='same', kernel_initializer='he_normal')(pool2)
    conv3_2 = Conv2D(128, 3, activation='relu', padding='same', kernel_initializer='he_normal')(conv3_1)
    pool3 = MaxPooling2D((2, 2))(conv3_2)

    m = Permute((2, 1, 3), name='permute')(pool3)   # 高宽转置

    flt = TimeDistributed(Flatten(), name='timedistrib')(m)  #相当于flatten最后两个维度

    des = Dense(32)(flt)

    gru_1 = Bidirectional(GRU(rnn_size, return_sequences=True, kernel_initializer='he_normal'), merge_mode='sum')(des)
    gru_2 = Bidirectional(GRU(rnn_size, return_sequences=True, kernel_initializer='he_normal'), merge_mode='concat')(
        gru_1)

    x = Dropout(0.25)(gru_2)
    x1 = Dense(n_str, kernel_initializer='he_normal', activation='softmax',name='str_output')(x)
    x2 = Dense(n_color, kernel_initializer='he_normal', activation='softmax', name='color_output')(x)

    return x1,x2


def ctc_model(input_tensor, return_layer):

    labels1 = Input(name='the_labels1', shape=[n_len], dtype='float32')
    input_length = Input(name='input_length1', shape=[1], dtype='int64')
    label_length = Input(name='label_length1', shape=[1], dtype='int64')
    loss_out1 = Lambda(ctc_lambda_func, output_shape=(1,),
                       name='ctc1')([return_layer, labels1, input_length, label_length])

    model = Model(inputs=[input_tensor, labels1, input_length, label_length], outputs=loss_out1)
    model.compile(loss={'ctc1': lambda y_true, y_pred: y_pred}, optimizer='adadelta')
    model.summary()
    return model


input_tensor = Input(shape=(Height, Width, 3))
return_layers = nn_base(input_tensor)

model_str = ctc_model(input_tensor, return_layers[0])
model_color = ctc_model(input_tensor, return_layers[1])
model_all = Model(input_tensor, [return_layers[0], return_layers[1]])
model_all.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])

train.py

from model.ctc_model import *
import os
import numpy as np
from keras.utils import generic_utils
from config import Config


def train():
    train_x = np.load(os.path.join(Config.train_path,"inputs.npy"))
    train_y_str = np.load(os.path.join(Config.train_path,"labels_str.npy"))
    train_y_color = np.load(os.path.join(Config.train_path,"labels_color.npy"))

    best_loss = np.inf
    n_epoch = Config.n_epoch
    batch_size = Config.batch_size
    data_length = len(train_x)
    steps = data_length // batch_size + 1
    losses = np.zeros(shape=(steps, 2))  # 记录每个step的两个loss,一个epoch后又覆盖
    for epoch in range(n_epoch):
        bar = generic_utils.Progbar(steps)   # keras进度条
        print('Epoch {}/{}'.format(epoch + 1, n_epoch))
        for step in range(steps):
            start = batch_size * step
            end = min(batch_size * (step + 1), data_length)   # 获取批次首尾
            X = train_x[start:end]
            Y = train_y_str[start:end]
            Y1 = train_y_color[start:end]
            loss_str = model_str.train_on_batch([X, Y, np.array(np.ones(len(X)) * int(conv_shape[1])),
                                                 np.array(np.ones(len(X), ) * n_len)], Y)
            loss_color = model_color.train_on_batch([X, Y1, np.array(np.ones(len(X)) * int(conv_shape[1])),
                                                     np.array(np.ones(len(X), ) * n_len)], Y1)
            losses[step, 0] = loss_str
            losses[step, 1] = loss_color
            bar.update(step, [('str', np.mean(losses[:step + 1, 0])), ('color', np.mean(losses[:step + 1, 1]))])
        mean_loss_str = np.mean(losses[:, 0])
        mean_loss_color = np.mean(losses[:, 1])
        mean_all_loss = 0.7 * mean_loss_str + 0.3 * mean_loss_color  # 3:7 分配loss权重
        print()
        print("loss_str {} loss_color {} all_loss {}".format(mean_loss_str, mean_loss_color, mean_all_loss))
        if mean_all_loss < best_loss:  # 保存最佳val_loss的模型
            best_loss = mean_all_loss
            print("save weights")
            model_all.save_weights(Config.model_path)

运行train.py就可以开始训练啦。

完了之后,模型用起来。

captcha_predict.py

from model.ctc_model import model_all,conv_shape
from pretreat import img_pretreat
from PIL import Image
import numpy as np
from keras import backend as K
from config import Config


def predict(filename):
    '''
    根据识别结果返回颜色和字符
    :param filename: 验证码图片路径
    :return:
    '''
    img = Image.open(filename)
    arr = np.expand_dims(img_pretreat(img),0)
    model_all.load_weights(Config.model_path)
    result = model_all.predict(arr)
    pred_str = K.get_value(
        K.ctc_decode(result[0], input_length=np.ones(1, dtype=int) * int(conv_shape[1]), )[0][0])[:, :6]  # ctc解码,[:,:6]只取前6位
    pred_color = K.get_value(
        K.ctc_decode(result[1], input_length=np.ones(1, dtype=int) * int(conv_shape[1]), )[0][0])[:, :6]
    with open(Config.str_table_path,"r",encoding="utf-8") as f:
        t_string = f.read()
    with open(Config.color_table_path, "r", encoding="utf-8") as f:
        t_color = f.read()
    # print(pred_str,pred_color)
    strings = [search_table(t_string,item)for item in pred_str[0]]
    colors = [search_table(t_color,item)for item in pred_color[0]]
    return strings,colors


def search_table(table,idx):
    '''
    排除掉小于0或者大于分类数目的索引
    :param table: srting or color
    :param idx: 索引
    :return:
    '''
    if idx < 0:
        return "0"
    elif idx >= len(table):
        return "1"
    else:
        return table[idx]

最后selenium脚本一键登录

sign_in.py

from selenium import webdriver
import time
import base64
from captcha_predict import predict


def captcha_img_ocr(input_color=None):
    '''
    :param input_color: 要求输入的颜色
    :return:待输入字符串
    '''
    filename = time.strftime("%Y%m%d-%H%M%S")+'.png'
    src = browser.find_element_by_id('yzm_img').get_property('src')
    img = base64.b64decode(src.split(',')[-1])
    with open(filename, 'wb') as f:
        f.write(img)
    strings, colors = predict(filename)

    if input_color:
        res = ""
        for char,_color in zip(strings,colors):
            if _color == input_color:
                res += char
    else:
        res = "".join(strings)

    return res


def set_text():
    try:
        color = browser.find_element_by_css_selector('#yzminfo font').text[0]
    except:
        color = None
    print(color)
    text = captcha_img_ocr(color)
    print(text)
    browser.find_element_by_css_selector('#yzm').clear()
    browser.find_element_by_css_selector('#yzm').send_keys(text)


if __name__ == "__main__":

    browser = webdriver.Chrome()
    browser.get("http://inv-veri.chinatax.gov.cn")

    browser.find_element_by_css_selector('#fpdm').send_keys("发票代码")
    browser.find_element_by_css_selector('#fphm').send_keys("发票号码")
    browser.find_element_by_css_selector('#kprq').send_keys("开票日期")
    browser.find_element_by_css_selector('#kjje').send_keys("校验码")
    time.sleep(1)

    set_text()
    check = browser.find_element_by_css_selector('#checkfp')
    check.click()
    time.sleep(1)
    try:
        popup = browser.find_element_by_css_selector('#popup_ok')
    except:
        popup = None
    while popup:  # 输错后弹窗点击换验证码,反复输入
        popup.click()
        browser.find_element_by_css_selector('#imgarea a').click()
        time.sleep(1)
        set_text()
        check.click()
        time.sleep(1)
        try:
            popup = browser.find_element_by_css_selector('#popup_ok')
        except:
            popup = None

源码:https://download.csdn.net/download/okfu_dl/11193913

相关阅读

发票是什么?常见的发票类型分为哪些?企业如何申领?

发票是指一切单位和个人在购销商品、提供或接受服务以及从事其他经营活动中,所开具和收取的业务凭证,是会计核算的原始依据,也是审计

实务:企业及员工必须要知道的5大发票基本知识

导读:对个人来说,发票是用来报销和售后服务的凭证;对公司来说,发票是会计用来记账报税的依据。在日常生活中,我们经常会接触到发票,比

支付宝发票管家怎么抽奖?发票管家有什么用?

我们前面就说过,支付宝的功能是非常强大的,像支付宝预约挂号、出入境预约、结婚登记预约等这些功能在这里我们就不说了,今天,小编要和

公司的发票是什么?如何开具、报销、申领?

一、发票是什么简单来说,发票就是发生的成本、费用或收入的原始凭证。对于公司来讲,发票主要是公司做账的依据,同时也是缴税的费用凭

京东发票没有纳税人识别号怎么办?

在京东商城上购物是可以要求商家开具发票的,但是在开发票的过程中,会出现一些问题,像是没有写公司名称,没有纳税人识别号等到情况发生

分享到:

栏目导航

推荐阅读

热门阅读