海森矩阵
二阶(线形)偏微分方程
在数学中,Hessian矩阵或Hessian是标量值函数或标量场的二阶偏导数的方阵。它描述多变量函数的局部曲率。 Hessian矩阵是由德国数学家Ludwig Otto Hesse于19世纪开发的,后来以他的名字命名。 Hesse最初使用术语“泛函行列式”。
1. 定义和属性
假设f:ℝ^n→ℝ是一个函数,它把向量x∈ℝ^n作为输入并输出标量f(x) ∈ ℝ;如果f的所有二阶偏导数都存在且在函数域上是连续的,那么f的Hessian矩阵H是n×n房阵,通常如下定义和排列,或通过使用索引i和j陈述系数的等式:
H_ {i,j} = ∂^{2}f /(∂x_{i} • ∂x_{j})
上述矩阵的行列式有时也被称为Hessian。通过H(f(x))= J(∇f(x))T能认为Hessian矩阵与雅可比矩阵有关。f的混合导数是Hessian中主对角线的条目(或项)。假设它们是连续的,那么微分的阶无关紧要(Schwarz定理)。例如,
∂/∂x_{i} • (∂f/∂x_{j}) = ∂/∂x_{j} •(∂f/∂x_{i})
在一个正式的语句中:如果f的二阶导数在邻域D中都是连续的,则f的Hessian是整个D的对称矩阵,请看二阶导数的对称性。
2. 应用
1). 二阶偏导数测试
凸函数的Hessian矩阵是正半正定的(positive semidefinite)。通过优化此属性,我们能测试临界点x是局部最大值、局部最小值还是鞍点(saddle point),如下所示:
如果Hessian在x处是正定的,那么f在x处达到孤立的局部最小值。如果Hessian在x处是负定的,那么f在x处获得孤立的局部最大值。如果Hessian具有正特征值和负特征值,那么x是f的鞍点。否则测试结果不确定。这意味着在局部最小值(分别是局部最大值)处,Hessian是正半定的(分别是负半定的)。
注意,对于正半定和负半定的Hessian,测试是不确定的,Hessian是半定但不确定的关键点可能是局部极值或鞍点。然而,从莫尔斯理论的角度来看,能说更多。
对一个和两个变量的函数的二阶导数测试很简单。在一个变量中,Hessian只包含一个二阶导数;如果它是正的,那么x是局部最小值,如果是负的,那么x是局部最大值;如果它为0,那么测试是不确定的。在两个变量中,能使用行列式,因为行列式是特征值的乘积。如果它是正的,那么特征值都为正或都为负。如果它为负,那么两个特征值具有不同的符号。如果它为0,那么二阶导数测试是不确定的。
等效地,对于局部最小值或最大值足够的二阶条件能用Hessian的主要(最左上)较小者(子矩阵的决定因素)的序列表示;这些条件是下一节中针对约束优化的边界Hessian给出的特殊情况 - 约束数为0的情况。具体而言,最小的充分条件是所有这些主要较小者都是正的,而最大值的充分条件是较小的在1×1次要为负的情况下交替出现。
2). 关键点
如果函数f的梯度(偏导数的向量)在某个点x处为0,那么f在x处具有临界点或静止点。然后把x处的Hessian的行列式称为判别式。如果该行列式为0,那么x称为f的简并临界点或f的非摩尔临界点。否则它是非简并的,并称为f的莫尔斯临界点。Hessian矩阵在莫尔斯理论和突变理论中起着重要作用,因为它的核和特征值允许对临界点进行分类。
二阶(线形)偏微分方程
在数学中,Hessian矩阵或Hessian是标量值函数或标量场的二阶偏导数的方阵。它描述多变量函数的局部曲率。 Hessian矩阵是由德国数学家Ludwig Otto Hesse于19世纪开发的,后来以他的名字命名。 Hesse最初使用术语“泛函行列式”。
1. 定义和属性
假设f:ℝ^n→ℝ是一个函数,它把向量x∈ℝ^n作为输入并输出标量f(x) ∈ ℝ;如果f的所有二阶偏导数都存在且在函数域上是连续的,那么f的Hessian矩阵H是n×n房阵,通常如下定义和排列,或通过使用索引i和j陈述系数的等式:
H_ {i,j} = ∂^{2}f /(∂x_{i} • ∂x_{j})
上述矩阵的行列式有时也被称为Hessian。通过H(f(x))= J(∇f(x))T能认为Hessian矩阵与雅可比矩阵有关。f的混合导数是Hessian中主对角线的条目(或项)。假设它们是连续的,那么微分的阶无关紧要(Schwarz定理)。例如,
∂/∂x_{i} • (∂f/∂x_{j}) = ∂/∂x_{j} •(∂f/∂x_{i})
在一个正式的语句中:如果f的二阶导数在邻域D中都是连续的,则f的Hessian是整个D的对称矩阵,请看二阶导数的对称性。
2. 应用
1). 二阶偏导数测试
凸函数的Hessian矩阵是正半正定的(positive semidefinite)。通过优化此属性,我们能测试临界点x是局部最大值、局部最小值还是鞍点(saddle point),如下所示:
如果Hessian在x处是正定的,那么f在x处达到孤立的局部最小值。如果Hessian在x处是负定的,那么f在x处获得孤立的局部最大值。如果Hessian具有正特征值和负特征值,那么x是f的鞍点。否则测试结果不确定。这意味着在局部最小值(分别是局部最大值)处,Hessian是正半定的(分别是负半定的)。
注意,对于正半定和负半定的Hessian,测试是不确定的,Hessian是半定但不确定的关键点可能是局部极值或鞍点。然而,从莫尔斯理论的角度来看,能说更多。
对一个和两个变量的函数的二阶导数测试很简单。在一个变量中,Hessian只包含一个二阶导数;如果它是正的,那么x是局部最小值,如果是负的,那么x是局部最大值;如果它为0,那么测试是不确定的。在两个变量中,能使用行列式,因为行列式是特征值的乘积。如果它是正的,那么特征值都为正或都为负。如果它为负,那么两个特征值具有不同的符号。如果它为0,那么二阶导数测试是不确定的。
等效地,对于局部最小值或最大值足够的二阶条件能用Hessian的主要(最左上)较小者(子矩阵的决定因素)的序列表示;这些条件是下一节中针对约束优化的边界Hessian给出的特殊情况 - 约束数为0的情况。具体而言,最小的充分条件是所有这些主要较小者都是正的,而最大值的充分条件是较小的在1×1次要为负的情况下交替出现。
2). 关键点
如果函数f的梯度(偏导数的向量)在某个点x处为0,那么f在x处具有临界点或静止点。然后把x处的Hessian的行列式称为判别式。如果该行列式为0,那么x称为f的简并临界点或f的非摩尔临界点。否则它是非简并的,并称为f的莫尔斯临界点。Hessian矩阵在莫尔斯理论和突变理论中起着重要作用,因为它的核和特征值允许对临界点进行分类。
#矩阵的秩#
对一个矩阵,存在某个r阶行列式,值不为0,这个r阶行列式就是对一个矩阵你画r条横线,r条竖线,这个横竖线交叉的元素构成了一个新的数表,这个数表的行列式就叫作这个矩阵的r阶子式。
当r(A)<=n-2时,最高阶非零子式的阶数<=n-2,任何n-1阶子式均为零,而伴随阵中的各元素就是n-1阶子式再加上个正负号,所以伴随阵为0矩阵。
当r(A)<=n-1时,最高阶非零子式的阶数<=n-1,所以n-1阶子式有可能不为零,所以伴随阵有可能非零(等号成立时伴随阵必为非零)。
对一个矩阵,存在某个r阶行列式,值不为0,这个r阶行列式就是对一个矩阵你画r条横线,r条竖线,这个横竖线交叉的元素构成了一个新的数表,这个数表的行列式就叫作这个矩阵的r阶子式。
当r(A)<=n-2时,最高阶非零子式的阶数<=n-2,任何n-1阶子式均为零,而伴随阵中的各元素就是n-1阶子式再加上个正负号,所以伴随阵为0矩阵。
当r(A)<=n-1时,最高阶非零子式的阶数<=n-1,所以n-1阶子式有可能不为零,所以伴随阵有可能非零(等号成立时伴随阵必为非零)。
线代139 第六章 考法二
第一题,配方法用坐标变换,x1=.....,x2=……,x3=......。化为以y为自变量的系数上三角阵,保证上三角阵行列式不为0,可逆。然后回代,用y代x就解出来了。
第二题:二次型矩阵和对角矩阵相似,特征值相同,而通过正交变换化为标准型的系数为特征值,本来想通过特征值算出αβ,但是我怎么做都做不出将|λE-A|降阶成因式相乘。然后直接陷入无奈[汗]。看了答案发现,原来矩阵相似,连不仅连特征值相同,就连特征多项式都一样。这样子的话就系数联等就出来了。
第四题:0向量的话就当成数字0,乘以任何向量都一样,所以,选B的第一列向量为特征向量即可。不选0向量原因之二是特征向量不为0向量[允悲]
第一题,配方法用坐标变换,x1=.....,x2=……,x3=......。化为以y为自变量的系数上三角阵,保证上三角阵行列式不为0,可逆。然后回代,用y代x就解出来了。
第二题:二次型矩阵和对角矩阵相似,特征值相同,而通过正交变换化为标准型的系数为特征值,本来想通过特征值算出αβ,但是我怎么做都做不出将|λE-A|降阶成因式相乘。然后直接陷入无奈[汗]。看了答案发现,原来矩阵相似,连不仅连特征值相同,就连特征多项式都一样。这样子的话就系数联等就出来了。
第四题:0向量的话就当成数字0,乘以任何向量都一样,所以,选B的第一列向量为特征向量即可。不选0向量原因之二是特征向量不为0向量[允悲]
✋热门推荐