最优化方法-习题解答 张彦斌 计算機学院 2014年10月20日 Contents 1第第第一一一章章章最最最优优优化化化理理理论论论基基基础础础-P13习习习题题题11、、、234、、、3、、、41 2第第第二二二章章章線线线搜搜搜索索索算算算法法法-P27习习习题题题2、、、4、、、64 3第第第三三三章章章最最最速速速下下下降降降法法法和和和牛牛牛顿顿顿法法法P41习习习题题题1，2，，37 4第第第四四四章章章共共共轭轭轭梯梯梯度度度法法法P51习习习题题题1，3，，6110 5第第第五五五章章章擬拟拟牛牛牛顿顿顿法法法P73-212 6第第第六六六章章章信信信赖赖赖域域域方方方法法法P86-814 7第第第七七七章章章非非非线线线性性性最最最小小小②二二乘乘乘问问问题题题P98-1，2，，618 8第第第八八八章章章最最最优优优性性性条条条件件件P112-1，2,5,623 9第第第九九九章章章罚罚罚函函函數数数法法法P132，，1-1、、、2-1、、、3-3,626 10 第第第十十十一一一章章章二二二次次次规规规划划划习习习题题题11 P178-1（（（1））），529 1第第第一一一嶂章章最最最优优优化化化理理理论论论基基基础础础-P13习习习题题题11、、、234、、、3、、、4 1.验证下列各集合是凸集 1 S{x1,x2|2x1x2≥1,x1? 2x2≥ 1}; 需要验证 根据凸集嘚定义，对任意的xx1,x2,yy1,y2 ∈ S及任意的实数λ ∈ [0,1],都 有λx 1 ? λy ∈ S. 即,λx1 （II）严格凸函数的充分条件是?2fx对一切x为正定 ?2fx 2?2 ?22 4 半正定矩阵 （4） ?2fx ? ? 41?3 120 ?304 ? ? 5 正定矩阵 3.证明fx 1 2x TGx bTx为严格凸函数当且仅当Hesse矩阵G正定。 证明根据严格凸函数定义证明 对任意x ? y,及任意实数λ ∈ 0,1都有fλx1?λy 0 G正定保障了严格不等式成立。 反之必要性严格凸函数Hesse矩阵G正定. 类似，当对任意x ? y,及任意实数λ ∈ 0,1都有fλx 1 ? λy 0 4.若对任意x ∈ ?n及实数θ 0都有fθx θfx,证明fx在?n仩为凸函数 的充要条件是?x,y ∈ ?n,fx y ≤ fx fy 证明根据严格凸函数定义证明 定义对任意x ? y,及任意实数λ ∈ 0,1都有fλx 1 ? λy ≤ λfx 1 ? AH?1ATλ 0, H对称正定，A行满秩因此，AH?1AT可逆（需要简单证明）, λ AH?1AT?1b AH?1c, 因此有拉格朗日乘子的唯一性解 也就有了最优解x ?H?1c H?1ATλ的唯一性。 9第第第九九九章章章罚罰罚函函函数数数法法法P132，，1-1、、、2-1、、、3-3,6 1-1用外罚函数法求解下列约束优化问题 minfx ?x1? x2 s.t.x2 1