【MachineLearning】之 多项式回归（理论）

　

多项式回归

topic:

1. 多项式回归简介
2. 多项式拟合
3. 多项式特征矩阵

之前学习了 线性回归，那么多项式回归又是什么呢？

一、多项式回归简介

---

在线性回归中，我们通过建立自变量 x 的一次方程来拟合数据

而非线性回归中，则需要建立因变量和自变量之间的非线性关系。

从直观上讲，也就是拟合的直线变成了「曲线」。

对于非线性回归问题而言，最常见的便是「多项式回归」

多项式：x3−2xyz2+2yz+1" role="presentation">x3−2xyz2+2yz+1$x^3-2xy{z}^2+2yz+1$

二、多项式拟合

---

一元高阶多项式函数：

(1)y(x,w)=w0+w1x+w2x2+...+wmxm=∑j=0mwjxj" role="presentation">y(x,w)=w0+w1x+w2x2+...+wmxm=∑j=0mwjxj(1)$$\begin{array}{}\text{(1)}& y(x,w)=w_0+w_{1}x+w_2{x}^2+...+w_m{x}^m=\sum _{j=0}^m{w}_j{x}^j\end{array}$$

其中，m" role="presentation">m$m$ 表示多项式的阶数，xj" role="presentation">xj$x^j$表示 x" role="presentation">x$x$ 的 j" role="presentation">j$j$次幂，w" role="presentation">w$w$ 则代表该多项式的系数。

当我们使用上面的多项式去拟合散点时，需要确定两个要素，分别是：多项式系数 w" role="presentation">w$w$ 以及多项式阶数 m" role="presentation">m$m$

可以看到当 m=8 时，曲线呈现出明显的震荡，这就是过拟合（overfitting）

那什么是过拟合？过拟合不好吗？

过拟合：由于学习能力过于强大，以至于把训练样本所包含的不太一般的特性学到了。

过拟合不好？ 因为只是把潜在样本的特征考虑进去了，并没有增强学习能力。

三、多项式特征矩阵

---

多项式回归相当于线性回归的特殊形式。

比如：一元二次多项式：y=w0+w1x+w2x2" role="presentation">y=w0+w1x+w2x2$y=w_0+w_{1}x+w_2{x}^2$

将其转换为：y=w0+w1∗x1+w2∗x2" role="presentation">y=w0+w1∗x1+w2∗x2$y=w_0+w_1\ast x_1+w_2\ast x_2$ （x=x1" role="presentation">x=x1$x=x_1$ x2=x2" role="presentation">x2=x2$x^2=x_2$）

这样就变成了多元线性回归。

这样就实现了 一元高次多项式到多元一次多项式之间的转换

之前，我们通过 y=wx+b" role="presentation">y=wx+b$y=wx+b$ 线性回归模型进行拟合。

同样，y=w0+w1x+w2x2" role="presentation">y=w0+w1x+w2x2$y=w_0+w_{1}x+w_2{x}^2$，若能得到由 x=x1,x2=x2" role="presentation">x=x1,x2=x2$x=x_1,x^2=x_2$构成的特征矩阵，那也就可以通过线性回归进行拟合了。

文章最后发布于: 2018-07-29 18:29:01

相关阅读

excel2010怎么做回归线

一般我们研究一对数据是否具有相关性，是正相关还是负相关时。我们就需要用到回归直线，如果相关性达到0.9999，我们就可以说着一对数据

各种回归的概念回顾

回归问题的条件/前提：1） 收集的数据2） 假设的模型，即一个函数，这个函数里含有未知的参数，通过学习，可以估计出参数。然后利用这个模型去

回归分析中的评价方法

回归（Regression）不同于分类问题，在回归方法中我们预测一系列连续的值，在预测完后有个问题是如何评价预测的结果好坏，关于这个问题目前

浅谈切比雪夫多项式推导及其实现模版归类

切比雪夫多项式 概述： 切比雪夫多项式是与棣美弗定理有关，以递归方式定义的一系列正交多项式序列。 通常，第一

5种五种回归模型及其优缺点

参考资料：https://mp.weixin.qq.com/s/mr83EK24S94b_UUlecyqlA 线性回归 对异常值非常敏感 多项式拟合 如果指数选择不当，容易