「评价方法」回归分析中的评价方法

评价方法

回归（regression）不同于分类问题，在回归方法中我们预测一系列连续的值，在预测完后有个问题是如何评价预测的结果好坏，关于这个问题目前学术界也没有统一的标准。下面是我在论文中的看到的一些常用方法，希望对有缘人有用。

1 MAE（Mean absolute ERROR）平均绝对差值

In statistics, the mean absolute error (MAE) is a quantity used to measure how close forecasts or predictions are to the eventual outcomes. The mean absolute error is given by

\mathrm{MAE} = \frac{1}{n}\sum_{i=1}^n \left| f_i-y_i\right| =\frac{1}{n}\sum_{i=1}^n \left| e_i \right|.

As the name suggests, the mean absolute error is an average of the absolute errors $e_i = |f_i - y_i|$ , where $f_i$ is the prediction and $y_i$ the true value. Note that alternative formulations may include relative frequencies as weight factors.

注意：MAE与 MAD（Mean Absolute Difference）等价。此外，MAE很容易跟absolute deviation(绝对偏差)混淆，它们的定义很类似，但使用的场景完全不同；绝对偏差针对的就是一组数据，而MAD针对的两组数据（预测值一组，真实值一组）。

2 MSE(Mean Square Error)均方误差

If $\hat{Y}$ is a vector of n predictions, and $Y$ is the vector of the true values, then the (estimated) MSE of the predictor is: $\operatorname{MSE}=\frac{1}{n}\sum_{i=1}^n(\hat{Y_i} - Y_i)^2.$

3 RMSE(Root Mean Square error)均方根误差

RMSE跟RMSD(Root-mean-square deviation)均方根偏差的定义等价，RMSE实际上就是MSE的平方根。

The RMSD of an estimator $\hat{\theta}$ with respect to an estimated parameter $\theta$ is defined as the square root of the mean square error:

\operatorname{RMSD}(\hat{\theta}) = \sqrt{\operatorname{MSE}(\hat{\theta})} = \sqrt{\operatorname{E}((\hat{\theta}-\theta)^2)}.

For an unbiased estimator, the RMSD is the square root of the variance, known as the standard error.

The RMSD of predicted values $\hat y_t$ for times t of a regression's dependent variable $y$ is computed for n different predictions as the square root of the mean of the squares of the deviations:

\operatorname{RMSD}=\sqrt{\frac{\sum_{t=1}^n (\hat y_t - y_t)^2}{n}}.

In some disciplines, the RMSD is used to compare differences between two things that may vary, neither of which is accepted as the "standard". For example, when measuring the average difference between two time series $x_{1,t}$ and $x_{2,t}$ , the formula becomes

\operatorname{RMSD}= \sqrt{\frac{\sum_{t=1}^n (x_{1,t} - x_{2,t})^2}{n}}.

4 Normalized root-mean-square deviation归一化均方差跟偏差

The normalized root-mean-square deviation or error (NRMSD or NRMSE) is the RMSD pided by the range of observed values of a variable being predicted,or:

\mathrm{NRMSD} = \frac{\mathrm{RMSD}}{y_\max -y_\min}

The value is often expressed as a percentage, where lower values indicate less residual variance.

5 coefficient of variation of the RMSD

The coefficient of variation of the RMSD, CV(RMSD), or more commonly CV(RMSE), is defined as the RMSD normalized to the mean of the observed values:

\mathrm{CV(RMSD)} = \frac {\mathrm{RMSD}}{\bar y}.

It is the same concept as the coefficient of variation except that RMSD replaces the standard deviation.

-------------------------------------------------------------------------------------------------------------------------------------------

Correlation Coefficient（相关系数）

相关表和相关图可反映两个变量之间的相互关系及其相关方向，但无法确切地表明两个变量之间相关的程度。于是，著名统计学家卡尔·皮尔逊设计了统计指标——相关系数(Correlation coefficient)。相关系数是用以反映变量之间相关关系密切程度的统计指标。相关系数是按积差方法计算，同样以两变量与各自平均值的离差为基础，通过两个离差相乘来反映两变量之间相关程度；着重研究线性的单相关系数。

依据相关现象之间的不同特征，其统计指标的名称有所不同。如将反映两变量间线性相关关系的统计指标称为相关系数（相关系数的平方称为判定系数）；将反映两变量间曲线相关关系的统计指标称为非线性相关系数、非线性判定系数；将反映多元线性相关关系的统计指标称为复相关系数、复判定系数等。

相关关系是一种非确定性的关系，相关系数是研究变量之间线性相关程度的量。由于研究对象的不同，相关系数有如下几种定义方式：

简单相关系数：又叫相关系数或线性相关系数，一般用字母P 表示，用来度量两个变量间的线性关系。

复相关系数：又叫多重相关系数。复相关是指因变量与多个自变量之间的相关关系。例如，某种商品的季节性需求量与其价格水平、职工收入水平等现象之间呈现复相关关系。

典型相关系数：是先对原来各组变量进行主成分分析，得到新的线性关系的综合指标，再通过综合指标之间的线性相关系数来研究原各组变量间相关关系。

下面是两种在回归分析评价中常用的相关系数。

-------------------------------------------------------------------------------------------------------------------------------------

6 Pearson's Correlation Coefficient(皮尔逊相关系数)

有的论文里叫COR（相关性）

相关系数：考察两个事物（在数据里我们称之为变量）之间的相关程度。

如果有两个变量：X、Y，最终计算出的相关系数的含义可以有如下理解：

(1)、当相关系数为0时，X和Y两变量无关系。