在约束最优化问题中，常常利用有条件的拉格朗日乘子法，进而一步步推导KKT条件。

1.最优化条件和下降搜索

给定一个多变量可微函数 ，是的局部最小值，这时有

如果，就存在使得

（对这边做个解释：因为是局部最小值，因此其周围的值都是大于它的，就相当于这个位置是一个低谷，当，就说明其梯度，说明其梯度可以大于0，可以小于0；这样我们随意假设一种情况当其梯度大于0，这样,显然可得上述等式在成立，当梯度小于0也容易证得其成立）

针对以下问题的梯度下降法（迭代方案）：

                                               

2.条件最佳优化

KKT条件

如果是约束优化问题的局部最优解，则存在和，从而满足KKT条件：

这里先介绍一个性质，该性质对于得到KTT是比较有用的性质：

对于任意的非零矩阵y以及,总存在要么有

要么有

但两者不同时成立！

证明上述性质：

假设1）成立，证明2）是不正确的；利用反正法，但1）成立2）也成立

因此有由于1）成立，

这就产生了矛盾，同理可得当2）成立1）不成立！