必威体育Betway必威体育官网
当前位置:首页 > IT技术

最小二乘法原理理解

时间:2019-10-12 20:14:24来源:IT技术作者:seo实验室小编阅读:51次「手机版」
 

最小二乘法

概念:最小二乘法是一种熟悉而优化的方法。主要是通过最小化误差的平方以及最合适数据的匹配函数

作用:(1)利用最小二乘法可以得到位置数据(这些数据与实际数据之间误差平方和最小)(2)也可以用来曲线拟合

实例讲解:有一组数据(1,6),(3,5),(5,7),(6,12),要找出一条与这几个点最为匹配的直线 : y = A + Bx

有如下方程:

6 = A + B

5 = A + 3B

7 = A + 5B

12 = A + 6B

很明显上面方程是超定线性方程组,要使左边和右边尽可能相等;采用最小二乘法:

L(A,B)=[6-(A + B)]^2 + [5-(A + 3B)]^2 + [7-(A + 5B)]^2 +[12-(A + 6B)]^2使得L的值最小:这里L是关于A,B的函数;那么我们可以利用对A,B求偏导,进而求出A,B的值使得Lmin

这里写图片描述

这里写图片描述

B = -0.064 A = 8.832

y = 8.832 - 0.064*x:也就是说这条直线是最佳的。求得最适合数学模型,然后可以更加准确预测数据。

将一个可能的、对不相关变量A的构成都无困难的函数类型称作函数模型如抛物线函数或指数函数;参数B是为了使所选择的函数模型同观测值y相匹配。在一般情况中,观测值远多于所选的的参数个数。

在回归过程中,回归的关联式是不可能全部通过每个回归数据点(x1, y1、 x2, y2…xm,ym),为了判断关联式的好坏,可借助相关系数“R”,统计量“F”,剩余标准偏差“S”进行判断;“R”越趋近于 1 越好;“F”的绝对值越大越好;“S”越趋近于 0 越好。

怎么样来衡量拟合的效果呢?。高斯和勒让德的方法是,假设测量误差的平均值为0。令每一个测量误差对应一个变量并与其它测量误差不相关(随机无关)。人们假设,在测量误差中绝对不含系统误差,它们应该是纯偶然误差(有固定的变异数),围绕真值波动。除此之外,测量误差符合正态分布,这保证了偏差值在最后的结果y上忽略不计。确定拟合的标准应该被重视,并小心选择,较大误差的测量值应被赋予较小的权。并建立如下规则:被选择的参数,应该使算出的函数曲线与观测值之差的平方和最小。此处引用讲解更详细

函数表示:

这里写图片描述

还有欧几里得度量:

这里写图片描述

这里写图片描述

相关阅读

星号密码查看器原理完全揭秘

星号密码一般分为窗口和网页两种,密码一般以“*”字符显示,也有些以其它字符比如圆点或#显示,在编程中可以设置任意字符为密码掩码。

PHP递归函数原理及调用方法

递归函数是一个让人头疼的运行机制,最基本的特点是函数本身进行自调用,但是需要在调用自身前进行判断,满足了调用条件就进行函数的调

Lightgbm基本原理介绍

一、 前言 最近在做Kaggle比赛的时候,看到别人的Kenels中都用到了lightgbm,自己也试图用了一下,发现效果很好,最重要的是它相对于XG

游戏外挂是怎么做成的..谈游戏外挂制作原理

>>>>>>>>>>>>>>>>外挂为什么这么泛滥>>>>>>>>>>>>>>>>>>>>>>>>>>>> 首先外挂这个东西,难度是很大的,没有汇编基础,破解基础是很难的

数据库(第一范式,第二范式,第三范式)

转自:点击打开链接http://blog.csdn.net/famousdt/article/details/6921622范式:英文名称是 Normal Form,它是英国人 E.F.Codd(关系数

分享到:

栏目导航

推荐阅读

热门阅读