信赖域

创建时间:2024-06-11 11:15

阅读:

定义¹

信赖域是定义域的子集,在子集内使用一个模型(通常是二次型)进行近似, 近似程度高则扩大信赖域,近似程度低则减小

标量可微函数,有多个自变量,对应梯度值为

$\nabla f(p)=\begin{bmatrix}\frac{\partial f}{\partial x_1}(p)\\\vdots\\\frac{\partial f}{\partial x_n}(p)\end{bmatrix}$

和全微分关系$df=\nabla f(p)^Tdx$

重要性质

函数沿着梯度方向为增长量最快方向
最大化方向导数即可(可以分别在方向导数方向定义x轴转化为单变量函数,只要导数最大,对应的函数值增长就是最快的) $D_\mathbf{d}f(\mathbf{x}_0)=\lim_{\epsilon\to0}\frac{f(\mathbf{x}_0+\epsilon\mathbf{d})-f(\mathbf{x}_0)}\epsilon=\nabla f(x_0)^T\mathbf{d}=|\nabla f(x_0)||d|\cos \theta=|\nabla f(x_0)|\cos \theta$ 最大值对应$\theta=0$, 即和梯度方向相同的方向为方向导数最大方向,即沿着梯度方向更改自变量函数值增加(当成单自变量函数).可以通过计算方式更方便说明
$f(x+\Delta x)=f(x)+g^T\Delta x+\frac{1}{2}\Delta x^TB\Delta x$, 当$\Delta x$很小时,2阶项忽略,梯度方向改变$x$,即$\alpha g$, 其中$\alpha > 0$, 对应$f(x+\Delta x)=f(x)+\alpha g^Tg\ge f(x)$, 所以沿着梯度方向函数值不会降低, 所以有的最优化函数时沿着梯度负方向进行迭代

¹. https://en.wikipedia.org/wiki/Trust_region ↩

². https://en.wikipedia.org/wiki/Gradient ↩

转载请注明来源，欢迎对文章中的引用来源进行考证，欢迎指出任何有错误或不够清晰的表达。可以邮件至 yangbenbo@whu.edu.cn