导数、微分、偏导数、全微分、方向导数、梯度的定义与关系

　

偏导数

学习到机器学习线性回归和逻辑回归时遇到了梯度下降算法，然后顺着扯出了一堆高数的相关概念理论：导数、偏导数、全微分、方向导数、梯度，重新回顾它们之间的一些关系，从网上和教材中摘录相关知识点。

1. 通过函数的极限定义出导数(以一元函数为例)
2. 函数f(x)在点x0可微的充分必要条件是函数f(x)在点x0处可导
3. 扩展到多元函数时，衍生出偏导数

导数

定义：设函数$y=f\left(x\right)$y=f(x)在点$x_0$x0​的某个领域内有定义，如果$\frac{\mathrm{\Delta }y}{\mathrm{\Delta }x}$ΔxΔy​在当$\mathrm{\Delta }x$Δx->0时极限存在，则称函数$y=f\left(x\right)$y=f(x)在$x_0$x0​处可导，这个极限是函数$y=f\left(x\right)$y=f(x)在$x_0$x0​处的导数

$f^{\mathrm{\prime }}\left(x_0\right)=\underset{}{\lim }\frac{\mathrm{\Delta }y}{\mathrm{\Delta }x}=\underset{}{\lim }\frac{f(x_0+\mathrm{\Delta }x)-f\left(x_0\right)}{\mathrm{\Delta }x}$f′(x0​)=Δx→0lim​ΔxΔy​=Δx→0lim​Δxf(x0​+Δx)−f(x0​)​

根据导数的定义，从某种意义上说导数的本质是一种极限

导数与导函数的关系是局部与整体的关系，导数通常是指一点，导函数则是指一个区间上的

• 在直线运动场景中，若x表示时刻，y表示距离，函数f表示时间与距离的关系$y=f\left(x\right)$y=f(x),那么导数的含义就是在$x_0$x0​时刻的瞬时速度
• 在直角坐标系中，$y=f\left(x\right)$y=f(x)表示一个曲线，导数的含义表示的是曲线在点$x_0$x0​处的切线的斜率

微分

定义：设函数$y=f\left(x\right)$y=f(x)在某个领域内有定义，$x_0$x0​及$x_0+\mathrm{\Delta }x$x0​+Δx在这区间内，如果增量

$\mathrm{\Delta }y=f(x_0+x)-f\left(x_0\right)$Δy=f(x0​+x)−f(x0​)

可表示为

$\mathrm{\Delta }y=A\mathrm{\Delta }x+o\left(\mathrm{\Delta }x\right)$Δy=AΔx+o(Δx)

其中A是不依赖$\mathrm{\Delta }x$Δx的常数，$o\left(\mathrm{\Delta }x\right)$o(Δx)是指$\mathrm{\Delta }x$Δx趋于0时的高阶无穷小，那么称函数$y=f\left(x\right)$y=f(x)在点$x_0$x0​是可微的，而$A\mathrm{\Delta }x$AΔx叫做函数在点$x_0$x0​相应于自变量增量$\mathrm{\Delta }x$Δx的微分，记作$\mathrm{d}y$dy，记作

$\mathrm{d}y=A\mathrm{\Delta }x$dy=AΔx

高阶无穷小的定义：如果$\lim \frac{\beta }{\alpha }=0$limαβ​=0，就说$\beta$β是比$\alpha$α高阶的无穷小，记作$\beta =o\left(\alpha \right)$β=o(α)

微分与导数的关系

上式$\mathrm{\Delta }y=A\mathrm{\Delta }x+o\left(\mathrm{\Delta }x\right)$Δy=AΔx+o(Δx)两边同时除以$\mathrm{\Delta }x$Δx得到

$\frac{\mathrm{\Delta }y}{\mathrm{\Delta }x}=A+\frac{o\left(\mathrm{\Delta }x\right)}{\mathrm{\Delta }x}$ΔxΔy​=A+Δxo(Δx)​

当$\mathrm{\Delta }x\to 0$Δx→0时,上式左边就是导数的定义，而右边的$\frac{o\left(\mathrm{\Delta }x\right)}{\mathrm{\Delta }x}$Δxo(Δx)​因为是高阶无穷小，所以会趋向于0，得到以下等式

$A=\underset{}{\lim }\frac{\mathrm{\Delta }y}{\mathrm{\Delta }x}=f^{\mathrm{\prime }}\left(x_0\right)$A=Δx→0lim​ΔxΔy​=f′(x0​)

因此，如果函数$f\left(x\right)$f(x)在点$x_0$x0​可微，则$f\left(x\right)$f(x)在点$x_0$x0​也一定可导，且$A=f^{\mathrm{\prime }}\left(x_0\right)$A=f′(x0​)，反之，如果$f\left(x\right)$f(x)在点$x_0$x0​可导，存在下式

$\underset{}{\lim }\frac{\mathrm{\Delta }y}{\mathrm{\Delta }x}=f^{\mathrm{\prime }}\left(x_0\right)$Δx→0lim​ΔxΔy​=f′(x0​)

根据极限与无穷小的关系转化上式，当$\mathrm{\Delta }x\to 0$Δx→0时

$\frac{\mathrm{\Delta }y}{\mathrm{\Delta }x}=f^{\mathrm{\prime }}\left(x_0\right)+\alpha$ΔxΔy​=f′(x0​)+α

其中${\lim }_{}a=0$Δx→0lim​a=0，即${\lim }_{}\frac{a\mathrm{\Delta }x}{\mathrm{\Delta }x}=0$Δx→0lim​ΔxaΔx​=0,$a\mathrm{\Delta }x=o\left(\mathrm{\Delta }x\right)$aΔx=o(Δx)，上式转化为下式(又回到了微分的定义)

$\mathrm{\Delta }y=f^{\mathrm{\prime }}\left(x_0\right)\mathrm{\Delta }x+o\left(\mathrm{\Delta }x\right)$Δy=f′(x0​)Δx+o(Δx)

因此，函数$f\left(x\right)$f(x)在点$x_0$x0​可微的充分必要条件是函数$f\left(x\right)$f(x)在点$x_0$x0​可导

$\mathrm{d}y=f^{\mathrm{\prime }}\left(x_0\right)\mathrm{\Delta }x$dy=f′(x0​)Δx

偏导数

一元函数的变化率是导数，多元函数的自变量有多个，当某个自变量x变化而其它自变量固定时，这时候对变化的自变量x进行求导，就称为多元函数对于x的偏导数。

定义：设函数$z=f(x,y)$z=f(x,y)在点$(x_0,y_0)$(x0​,y0​)的某一领域内有定义，当$y$y固定于$y_0$y0​，而$x$x在$x_0$x0​处有增量$\mathrm{\Delta }x$Δx，相应的函数有增量

$f(x_0+\mathrm{\Delta }x,y_0)-f(x_0,y_0)$f(x0​+Δx,y0​)−f(x0​,y0​)

如果

$\underset{}{\lim }\frac{f(x_0+\mathrm{\Delta }x,y_0)-f(x_0,y_0)}{\mathrm{\Delta }x}$Δx→0lim​Δxf(x0​+Δx,y0​)−f(x0​,y0​)​

存在，则称该极限为$z=f(x,y)$z=f(x,y)在点$(x_0,y_0)$(x0​,y0​)处对$x$x的偏导数

偏导数的几何意义


• 偏导数$f_x(x_0,y_0)$fx​(x0​,y0​)就是曲面被平面$y=y_0$y=y0​所截得的曲线在点$M_0$M0​处的切线$M_0{T}_x$M0​Tx​对$x$x轴的斜率
• 偏导数$f_y(x_0,y_0)$fy​(x0​,y0​)就是曲面被平面$x=x_0$x=x0​所截得的曲线在点$M_0$M0​处的切线$M_0{T}_y$M0​Ty​对$y$y轴的斜率

很多时候要考虑多元函数沿任意方向的变化率，那么就引出了方向导数

全微分

参考上文微分的定义，与一元函数的情形一样，希望用自变量增量$\mathrm{\Delta }x,\mathrm{\Delta }y$Δx,Δy来线性函数来代替函数的全增量$\mathrm{\Delta }z$Δz，从而减化计算

定义：设函数$z=f(x,y)$z=f(x,y)在点$(x,y)$(x,y)的某领域内有定义如果函数在点$(x,y)$(x,y)的全增量

$\mathrm{\Delta }z=f(x+\mathrm{\Delta }x,y+\mathrm{\Delta }y)-f(x,y)$Δz=f(x+Δx,y+Δy)−f(x,y)

可心表示为

$\mathrm{\Delta }z=A\mathrm{\Delta }x+B\mathrm{\Delta }y+o\left(\rho \right)$Δz=AΔx+BΔy+o(ρ)

其中$A,B$A,B不依赖于$\mathrm{\Delta }x,\mathrm{\Delta }y$Δx,Δy，$\rho =\sqrt{(\mathrm{\Delta }x{)}^2+(\mathrm{\Delta }y{)}^2}$ρ=(Δx)2+(Δy)2​，则称函数$z=f(x,y)$z=f(x,y)在点$(x,y)$(x,y)处可微分，而$A\mathrm{\Delta }x+B\mathrm{\Delta }y$AΔx+BΔy称为函数在点$(x,y)$(x,y)的全微分

$\mathrm{d}z=A\mathrm{\Delta }x+B\mathrm{\Delta }y$dz=AΔx+BΔy

可微分与偏导数关系

基于上述全微分定义成立，存在某一点$p^{\mathrm{\prime }}(x+\mathrm{\Delta }x,y+\mathrm{\Delta }y)$p′(x+Δx,y+Δy)对于式子$\mathrm{\Delta }z=A\mathrm{\Delta }x+B\mathrm{\Delta }y+o\left(\rho \right)$Δz=AΔx+BΔy+o(ρ)也成立，当$\mathrm{\Delta }y=0$Δy=0时

$f(\mathrm{\Delta }x+x,y)-f(x,y)=A\mathrm{\Delta }X+o\left(\mathrm{\mid }\mathrm{\Delta }x\mathrm{\mid }\right)$f(Δx+x,y)−f(x,y)=AΔX+o(∣Δx∣)

两边除以$\mathrm{\Delta }x$Δx并且令$\mathrm{\Delta }x\to 0$Δx→0取极限

$\underset{}{\lim }\frac{f(x+\mathrm{\Delta }x,y)-f(x,y)}{\mathrm{\Delta }x}=A$Δx→0lim​Δxf(x+Δx,y)−f(x,y)​=A

这式子就是偏导数的定义形式啊，所以这说明了偏导数$f_x(x,y)$fx​(x,y)存在且等于$A$A，同理也可证$f_y(x,y)=B$fy​(x,y)=B，由此推导出以下公式

$\mathrm{d}z=f_x(x,y)\mathrm{\Delta }x+f_y(x,y)\mathrm{\Delta }y$dz=fx​(x,y)Δx+fy​(x,y)Δy

各偏导数的存在只是全微分存在的必要条件而非充分条件，即由全微分可证各偏导数存在，反之则不行

如果函数的各个偏数在点$(x,y)$(x,y)是连续的，则函数可微分

方向导数

定义导数、偏导数、方向导数都是说如果说某条件下极限存在，谨记导数的本质是极限及代表函数的变化率，偏导数反映的是函数沿坐标轴方向的变化率，有所限制，所以引入方向导数表示沿任意一方向的变化率

定义：设$l$l是$xOy$xOy平面以$P_0(x_0,y_0)$P0​(x0​,y0​)为始点的一条射线，$e_i=(cos\alpha ,cos\beta )$ei​=(cosα,cosβ)是以射线同方向的单位向量


射线$l$l的参数方程为

$\{\begin{array}{c}x=x_0+tcos\alpha \mathrm{，}t\ge 0\\ y=y_0+tcos\beta \mathrm{，}t\ge 0\end{array}${x=x0​+tcosα，t≥0y=y0​+tcosβ，t≥0​

如果函数增量$f(x_0+tcos\alpha ,y_0+tcos\beta )-f(x_0,y_0)$f(x0​+tcosα,y0​+tcosβ)−f(x0​,y0​)与$P$P到$P_0$P0​的距离$\mathrm{\mid }P{P}_0\mathrm{\mid }=t$∣PP0​∣=t的比值，当点$P$P沿着$l$l趋于$P_0(\mathrm{即}t\to 0^{+})$P0​(即t→0+)时极限存在，则称此极限为函数在点$P_0$P0​沿方向$l$l的方向导数

$\frac{\mathrm{\partial }f}{\mathrm{\partial }l}{\mathrm{\mid }}_{(x_0,y_0)}=\underset{}{\lim }\frac{f(x_0+tcos\alpha ,y_0+tcos\beta )-f(x_0,y_0)}{t}$∂l∂f​∣(x0​,y0​)​=t→0+lim​tf(x0​+tcosα,y0​+tcosβ)−f(x0​,y0​)​

方向导数与全微分的关系

由全微分的定义得到

$f(x_0+\mathrm{\Delta }x,y_0+\mathrm{\Delta }y)-f(x_0,y_0)=f_x(x_0,y_0)\mathrm{\Delta }x+f_y(x_0,y_0)\mathrm{\Delta }y+o\left(\sqrt{(\mathrm{\Delta }x{)}^2+(\mathrm{\Delta }y{)}^2}\right)$f(x0​+Δx,y0​+Δy)−f(x0​,y0​)=fx​(x0​,y0​)Δx+fy​(x0​,y0​)Δy+o((Δx)2+(Δy)2​)

设点$(x_0+\mathrm{\Delta }x,y_0+\mathrm{\Delta }y)$(x0​+Δx,y0​+Δy)在以$(x_0,y_0)$(x0​,y0​)为起点的射线$l(cos\alpha ,cos\beta \mathrm{是}l\mathrm{的}\mathrm{方}\mathrm{向}\mathrm{余}\mathrm{弦})$l(cosα,cosβ是l的方向余弦)上，则有$\mathrm{\Delta }x=tcos\alpha$Δx=tcosα,$\mathrm{\Delta }y=tcos\beta$Δy=tcosβ,$\sqrt{(\mathrm{\Delta }x{)}^2+(\mathrm{\Delta }y{)}^2}=t$(Δx)2+(Δy)2​=t，所以

$\underset{}{\lim }\frac{f(x_0+\mathrm{\Delta }x,y_0+\mathrm{\Delta }y)-f(x_0,y_0)}{t}=f_x(x_0,y_0)cos\alpha +f_y(x_0,y_0)cos\beta$t→0+lim​tf(x0​+Δx,y0​+Δy)−f(x0​,y0​)​=fx​(x0​,y0​)cosα+fy​(x0​,y0​)cosβ

上式左侧就是方向导数定义形式，极限存在即方向导数存在，且其值等于右式

由此得到定理，如果函数$f(x,y)$f(x,y)在点$P_0(x_0,y_0)$P0​(x0​,y0​)可微分，那么函数在该点沿任一方向$l$l的方向导数存在

$\frac{\mathrm{\partial }f}{\mathrm{\partial }l}{\mathrm{\mid }}_{(x_0,y_0)}=f_x(x_0,y_0)cos\alpha +f_y(x_0,y_0)cos\beta$∂l∂f​∣(x0​,y0​)​=fx​(x0​,y0​)cosα+fy​(x0​,y0​)cosβ

梯度

在平面上确定某一点可能存在无数个方向导数，我们怎样找到其中一个方向导数来描述函数最大变化率？

定义：在二元函数的情形， 设函数$f(x,y)$f(x,y)在平面区域D内具有一阶连续偏导数，对于每一点$P_0(x_0,y_0)\in D$P0​(x0​,y0​)∈D，都可以给出一个向量

$f_x(x_0,y_0)i+f_y(x_0,y_0)j\mathrm{或}\mathrm{用}\mathrm{坐}\mathrm{标}\mathrm{表}\mathrm{示}\left(f_x\right(x_0,y_0),f_y(x_0,y_0\left)\right)$fx​(x0​,y0​)i+fy​(x0​,y0​)j或用坐标表示(fx​(x0​,y0​),fy​(x0​,y0​))

其中$i,j$i,j为$x,y$x,y轴的方向向量，上述微量称为函数$f(x,y)$f(x,y)在点$P_0(x_0,y_0)$P0​(x0​,y0​)的梯度记作

$gradf(x_0,y_0)=f_x(x_0,y_0)i+f_y(x_0,y_0)j$gradf(x0​,y0​)=fx​(x0​,y0​)i+fy​(x0​,y0​)j

由定义看到，梯度的方向是确定的，如果点$P$P的坐标确定，那么梯度也大小也确定

如果函数$f(x,y)$f(x,y)在点$P_0(x_0,y_0)$P0​(x0​,y0​)可微分，$e_l=(cos\alpha ,cos\beta )$el​=(cosα,cosβ)是方向$l$l的方向向量(方向未确定)

$\frac{\mathrm{\partial }f}{\mathrm{\partial }l}{\mathrm{\mid }}_{(x_0,y_0)}=f_x(x_0,y_0)cos\alpha +f_y(x_0,y_0)cos\beta =gradf(x_0,y_0)\mathrm{.}{e}_l=\mathrm{\mid }gradf(x_0,y_0)\mathrm{\mid }cos\theta$∂l∂f​∣(x0​,y0​)​=fx​(x0​,y0​)cosα+fy​(x0​,y0​)cosβ=gradf(x0​,y0​).el​=∣gradf(x0​,y0​)∣cosθ

其中$\theta$θ为向量$gradf(x_0,y_0)$gradf(x0​,y0​)与向量$e_l$el​的夹角，当$\theta =0$θ=0时，即方向$e_l$el​与梯度$gradf(x_0,y_0)$gradf(x0​,y0​)的方向时，函数$f(x,y)$f(x,y)增加最快，函数在这个方向的方向导数达到最大值，这个值就是梯度$gradf(x_0,y_0)$gradf(x0​,y0​)的模，即

$\frac{\mathrm{\partial }f}{\mathrm{\partial }l}{\mathrm{\mid }}_{(x_0,y_0)}=\mathrm{\mid }gradf(x_0,y_0)\mathrm{\mid }$∂l∂f​∣(x0​,y0​)​=∣gradf(x0​,y0​)∣

所以可以用沿梯度方向的方向导数来描述是函数最大变化率，即梯度方向是函数变化率最大的方向，在梯度定义的时候就已经赋予了它这个特性。

相关阅读

指数函数对数函数导数定义推导

对 和 求导的推导做一个总结。 我以前接触到的推法是： 首先记住 , 之后 的导数可以根据对数的导数推导如下： 令 , 所以 ，俩边求

Oracle数据库exp和imp方式导数据

这里导入导出路径都在D盘下，默认文件名为：example.dmpexp方式导出数据相关参数项如下：关键字 说明 默认USERID