正则化
虽然一直知道正则化是用于避免网络过拟合，可是不是很清楚为什么可以避免过拟合，昨天通过通过公式才看懂究竟是为什么。今天做一个小总结。
在论文中，正则化用“regularization”表示，翻译成中文应该是规则化。规则化是规则什么呢？规则的是我们学习提取到的特征。
在学习的过程中，有些时候会出现过拟合的情况，就是对于训练集和验证集有着优秀的拟合预测能力，但是对于测试集或未见过的样本，拟合预测能力很差，我们说泛化能力较差，出现了过拟合的情况。针对过拟合这种测试误差，通常的解决方法有提前停止训练，增强数据集，使用集成学习，L1，L2正则化，使用dropout层，使用BN层等等方式。
正则化就是针对特征，针对模型的一种限制算法。拟合能力越强，说明到学习的特征越多，w参数数量越多，模型越复杂。
博客https://charlesliuyx.github.io/2017/10/03/%E3%80%90%E7%9B%B4%E8%A7%82%E8%AF%A6%E8%A7%A3%E3%80%91%E4%BB%80%E4%B9%88%E6%98%AF%E6%AD%A3%E5%88%99%E5%8C%96/
给出了详细的数学说明，我这里做一个简单的说明
博客中给出的正则化公式为
前项为模型，后项为加入的限制条件，也就是正则项的惩罚函数，实际上还有好多例如：
还用第一个式子做说明，我们想要这个式子的值最小，就是损失函数最小。然后引入了正则项后使得整体值增加了。M是模型的阶次，也就是w的数量，是学习到的特征的数量，那么相应的学习到的特征越多，加和项越多，损失函数就不可能小，于是在这里达到了一个限制平衡。
L1和L2正则化就是当q=1,1=2时的情况，它的图是这样的：
这两种正则化方式，限制了w的大小，从另一个方面讲是将w的值缩小，那么一些不重要的特征被减小到0或者可以被忽略时，模型的复杂度就被降低了，自然就避免了过拟合的情况。L2正则化实现了权值衰减；L1正则化可以产生稀疏权重参数矩阵。
至于两种算法的推导，博客https://www.cnblogs.com/yxwkf/p/5268577.html中讲的很明白了，就是求导，改变了权值的更新公式。为了完整性，这里截图说明。
文章最后发布于: 2018-09-14 15:43:18
相关阅读
12 排序合并连接(SORT MERGE JOIN)--优化主题系列
select * from a,b where a.id<=b.id;这个一般都走排序合并连接排序合并连接(SORTMERGE JOIN)前文提到嵌套循环以及哈希连接，他们
Sketch 52.2 轻量易用的矢量设计工具1，Sketch 是一款适用于所有设计师的矢量绘图应用2，Sketch 52.2 汉化补丁3，视频教程1，Sketch 是一
这是一款神奇的产品，一款三个月用户上亿的产品，一款堪比王者荣耀的产品，一款马化腾夸奖的产品。1“我早就说，QQ秀可以在手机上实现的
近期，有不少站长前来A5营销咨询SEO的问题，我们也简要回答了一些。那么，从问题上来看，不少网站存在着各种各样的奇葩问题，同时也分析出
什么是光栅化 2015-04-02 00:44 555人阅读 评论(0) 收藏 举报光栅化是将一个图元转变为一个二维图像的过程。二维图像上每个