bert
写这篇文章的时候，跳过了两个专题，因为BERT的确太火了，也比较实用吧，就拿最近的阅读理解比赛来说，几乎霸榜了，比如下面这个图：
之所以NLP这么多任务都会被刷新纪录，是因为BERT做的工作就是用来学习语言特征表达的，所以几乎只要是涉及到词向量的NLP任务都可以用到bert，而绝大部分NLP任务都会用到词向量，所以这就是BERT火的原因，对于新手来说，BERT的使用门槛无论从原理以及代码上看，的确比word2vec要高得多，所以这篇博客，我将详细记录我的使用心得。
这个系列我将分为BERT原理（上）、BERT代码使用说明（中）、BERT下游任务实战（下）三个部分讲一下我利用BERT的实战经历，其中第三个下游任务实战，我之前已经写过一篇在NER上的应用了也给出了代码，详情戳这里。下面就开始我的梳理。
BERT有那么玄乎么？
这个真没有，其实原理挺简单的，他并不是横空出世的一个东西，甚至可以说继承了好多前面的工作，接下来我就接着之前的第二篇博客语言模型与词向量后面讲。
前面讲到NNLM训练出来的词向量基本上可以代表一个词的含义了，最直观的体现就是可以拿他来做相似度匹配，找近义词，词向量火于2013年，知道现在我们依旧在使用它，即使是BERT也离不开这个东西，但是，但是，NNLM训练出来的词向量存在一个很大很大的问题：
有人把word-embedding在多义词上的局限性称为是乌云真的一点都不为过，很显然多义词始终在embed矩阵中对应的同一行，这就是他的局限性。
为了打破这种局限，下面我谈一下比较重要的三个工作，ELMO，GPT，BERT。如何打破？
回想下我们是怎么用word embedding表示句子的，是把每个词通过look-up拼接成一个矩阵对吧,再往前想，就是用one-hot（id）通过一个已经训练好的线性的NNLM。我姑且把这种嵌入方式叫为static嵌入，那么，多义词无非就体现在上下文的语境上，那如果我把static embedding输入到训练好的lstm，这样出来的n-step个hidden向量是不是就动态的了，包含了上下文语境，简单来说单打独斗我刚不过，还不能叫帮手么，这就是ELMO的思想：
思路就是：embedding不再仅仅嵌入词语特征，还嵌入lstm通过大量网络学习到的参数特征，词向量和lstm学习到的权重一起嵌入到下游任务。
那它的使用方式呢？其实很Word2vec一样，加载参数么，文章在补充材料里面提到了在第一个epoch进行嵌入后的微调操作，没写在正文里，好多人拿这点说事儿，我倒觉得问题不在这里，这里举一个NER的例子：
再来，这个模型有没有问题呢？
我们来回顾下历史，看看Word2vec是怎么做的，为啥这么说NNLM的核心是DNN，而Word2vec呢？简化版的NNLM，怎么简化的，就是线性变换嘛，那ELMO呢，的确在word-embeding上加LSTM显得有点点笨拙，而且当时Google已经提出了Transformer了，所以GPT模型就是在这上下文建模上做的优化，利用了Transformer。
这里不了解Transformer的我简单提一下，实际上这个工作至关重要，我先再贴两个图：
这张图是一个Encoder-Decoder框架，lstm怎么做Encoder-Decoder想必大家都清楚，这里也是一样的，我们我里面的每一个Block实际上在作用上和lstm,cnn并没区别，只是功效不同，简单来讲Transformer就是self-attention的叠加。那好，Transformer的Encoder和Decoder有没有区别，是有的，这也是GPT和BERT的区别，好多博客将GPT用的是Transformer的Decoder部分，Bert用的是Encoder部分，这没错，不过应该有人看到这还是懵的状态，区别就在masked attention上，说白了就是attention的叠加方向不一样，模型真没啥区别，再往细里说，Decoder之所以是masked attention，因为是解码嘛，自然在做attention时候不能给词语看到未来信息，比如下面这个图：
所以咯GPT用的就是Decoder部分：
训练方式和NNLM一样，不是word2vec喔，是NNLM，利用前n-1个词预测第n个词训练词向量。
再来，Transformer在做embedding比lstm好在哪里？
这里我谈一下我的个人理解，lstm时序建模原理上可以处理无限长的句子，实际上呢，200个词撑死了吧，这样信息的确不全，所以大多数是在lstm上加Attention，那好，self-attention呢？这种叠加的Attention机制是直接算两个词之间的关系权重，然后累加到一个词上，这样每个词在计算时由于是直接计算的，距离就是1，当然这是我的个人理解，不过从现在的结果上看，在词向量的训练上（不含其它任务）Transformer要好的多。
最后来谈BERT。
这三个图很直观了吧，既然GPT和BERT都用的Transform,为啥BERT是双向？有些博客怎么讲都不清楚，估计也是他们没理解，答案刚才就说了，就是attention的叠加方向，就是attention的叠加方向，就是attention的叠加方向。再说直白点，BERT的训练思路和word2vec的CBOW训练思路一样，利用上下文预测中间词，自然用不上masked attention 啦，GPT呢？训练思路和NNLM一样，这就是区别。
BERT怎么训练？
两个点：
1.对中间的词利用一定规则变成mask,啥规则建议看代码和论文吧。然后把这些要预测的词做成标签进行预测。
2.多任务：预测两个句子是不是有关联性（这里对语料的结构有新的要求）
最后怎么使用呢？Google这次真的很良心，论文很精品，开源也做得好，来看一下施工图：
这个图在我第一篇博客有提到，总的来说，有了施工图 ，到什么山唱什么歌，怎么用都行，我之前举例个NER的例子，给了代码，可以去看看。
最后贴下论文的实验结果做个结束吧！
接下来我会挖掘BERT的源代码，写个教程在下篇文章中，实际上之前已经做过一部分了
相关阅读
VRP的登录主要有以下几种：Console口登录、VTY登录、以及HTTP、HTTPS登录。Console登录以及VTY登录按验证方式又可分为none（无验证）、
一、浏览器根据html中外连资源出现的顺序，依次放入队列（Queue）,然后根据优先级确定向服务器获取资源的顺序。同优先级的资源根据html
一 java.util.Scanner 是 Java5 的新特征，我们可以通过 Scanner 类来获取用户的输入。首先要导入包 import java.util
设计究竟是如何赋能业务，帮助扩大产品营销的效果的呢？文章通过实际案例为你解读。在刚刚过去的2017天猫双11全球狂欢节当中，一款网红
U盘启动安装Ubuntu16.04，主要分下面几个大步骤(注：比较重要的操作用红色字体标识）： 一、制作U盘启动Ubuntu16.04镜像文件 这个可以参