最优化理论基础（最优化理论基础与方法）

大家好！今天让创意岭的小编来大家介绍下关于最优化理论基础的问题，以下是小编对此问题的归纳整理，让我们一起来看看吧。

开始之前先推荐一个非常厉害的Ai人工智能工具，一键生成原创文章、方案、文案、工作计划、工作报告、论文、代码、作文、做题和对话答疑等等

只需要输入关键词，就能返回你想要的内容，越精准，写出的就越详细，有微信小程序端、在线网页版、PC客户端

官网：https://ai.de1919.com。

创意岭作为行业内优秀的企业，服务客户遍布全球各地，如需了解SEO相关业务请拨打电话175-8598-2043，或添加微信：1454722008

本文目录:

• 1、最优化理论与算法的内容简介

• 2、最优化理论与方法的目录

• 3、Java软件工程师主要学习哪些课程？

• 4、最优化选择法数学原理

一、最优化理论与算法的内容简介

本书是陈宝林教授在多年实践基础上编著的.书中包括线性规划单纯形方法、对偶理论、灵敏度分析、运输问题、内点算法、非线性规划K?T条件、无约束最优化方法、约束最优化方法、整数规划和动态规划等内容.本书含有大量经典的和新近的算法,有比较系统的理论分析,实用性比较强;定理的证明和算法的推导主要以数学分析和线性代数为基础,比较简单易学.本书可以作为运筹学类课程的教学参考书,也可供应用数学工作者和工程技术人员参考。

二、最优化理论与方法的目录

第1篇线性规划与整数规划

1最优化基本要素

1.1优化变量

1.2目标函数

1.3约束条件

1.4最优化问题的数学模型及分类

1.5最优化方法概述

习题

参考文献

2线性规划

2.1线性规划数学模型

2.2线性规划求解基本原理

2.3单纯形方法

2.4初始基本可行解的获取

习题

参考文献

3整数规划

3.1整数规划数学模型及穷举法

3.2割平面法

3.3分枝定界法

习题

参考文献

第2篇非线性规划

4非线性规划数学基础

4.1多元函数的泰勒展开式

4.2函数的方向导数与最速下降方向

4.3函数的二次型与正定矩阵

4.4无约束优化的极值条件

4.5凸函数与凸规划

4.6约束优化的极值条件

习题

参考文献

5一维最优化方法

5.1搜索区间的确定

5.2黄金分割法

5.3二次插值法

5.4切线法

5.5格点法

习题

参考文献

6无约束多维非线性规划方法

6.1坐标轮换法

6.2最速下降法

6.3牛顿法

6.4变尺度法

6.5共轭方向法

6.6单纯形法

6.7最小二乘法

习题

参考文献

7约束问题的非线性规划方法

7.1约束最优化问题的间接解法

7.2约束最优化问题的直接解法

习题

参考文献

8非线性规划中的一些其他方法

8.1多目标优化

8.2数学模型的尺度变换

8.3灵敏度分析及可变容差法

习题

参考文献

第3篇智能优化方法

9启发式搜索方法

9.1图搜索算法

9.2启发式评价函数

9.3A*搜索算法

习题

参考文献

10Hopfield神经网络优化方法

10.1人工神经网络模型

10.2Hopfield神经网络

10.3Hopfield网络与最优化问题

习题

参考文献

11模拟退火法与均场退火法

11.1模拟退火法基础

11.2模拟退火算法

11.3随机型神经网络

11.4均场退火

习题

参考文献

12遗传算法

12.1遗传算法实现

12.2遗传算法示例

12.3实数编码的遗传算法

习题

参考文献

第4篇变分法与动态规划

13变分法

13.1泛函

13.2泛函极值条件——欧拉方程

13.3可动边界泛函的极值

13.4条件极值问题

13.5利用变分法求解最优控制问题

习题

参考文献

14最大（小）值原理

14.1连续系统的最大（小）值原理

14.2应用最大（小）值原理求解最优控制问题

14.3离散系统的最大（小）值原理

习题

参考文献

15动态规划

15.1动态规划数学模型与算法

15.2确定性多阶段决策

15.3动态系统最优控制问题

习题

参考文献

附录A中英文索引

Part 1Linear Programming and Integer Programming

1Fundamentals of Optimization

1.1Optimal Variables

1.2Objective Function

1.3Constraints

1.4Mathematical Model and Classification of Optimization

1.5Introduction of Optimal Methods

Problems

References

2Linear Programming

2.1Mathematical Models of Linear Programming

2.2Basic Principles of Linear Programming

2.3Simplex Method

2.4Acquirement of Initial Basic Feasible Solution

Problems

References

3Integer Programming

3.1Mathematical Models of Integer Programming and Enumeration

Method

3.2Cutting Plane Method

3.3Branch and Bound Method

Problems

References

Part 2Non?Linear Programming

4Mathematical Basis of Non?Linear Programming

4.1Taylor Expansion of Multi?Variable Function

4.2Directional Derivative of Function and Steepest Descent Direction

4.3Quadratic Form and Positive Matrix

4.4Extreme Conditions of Unconstrained Optimum

4.5Convex Function and Convex Programming

4.6Extreme Conditions of Constrained Optimum

Problems

References

5One?Dimensional Optimal Methods

5.1Determination of Search Interval

5.2Golden Section Method

5.3Quadratic Interpolation Method

5.4Tangent Method

5.5Grid Method

Problems

References

6Non?Constraint Non?Linear Programming

6.1Coordinate Alternation Method

6.2Steepest Descent Method

6.3Newton?s Method

6.4Variable Metric Method

6.5Conjugate Gradient Algorithm

6.6Simplex Method

6.7Least Squares Method

Problems

References

7Constraint Optimal Methods

7.1Constraint Optimal Indirect Methods

7.2Constraint Optimal Direct Methods

Problems

References

8Other Methods in Non Linear Programming

8.1Multi Objectives Optimazation

8.2Metric Variation of a Mathematic Model

8.3Sensitivity Analysis and Flexible Tolerance Method

Problems

References

Part 3Intelligent Optimization Method

9Heuristic Search Method

9.1Graph Search Method

9.2Heuristic Evaluation Function

9.3A*Search Method

Problems

References

10Optimization Method Based on Hopfield Neural Networks

10.1Artificial Neural Networks Model

10.2Hopfield Neural Networks

10.3Hopfield Neural Networks and Optimization Problems

Problems

References

11Simulated Annealing Algorithm and Mean Field Annealing Algorithm

11.1Basis of Simulated Annealing Algorithm

11.2Simulated Annealing Algorithm

11.3Stochastic Neural Networks

11.4Mean Field Annealing Algorithm

Problems

References

12Genetic Algorithm

12.1Implementation Procedure of Genetic Algorithm

12.2Genetic Algorithm Examples

12.3Real?Number Encoding Genetic Algorithm

Problems

References

Part 4Variation Method and Dynamic Programming

13Variation Method

13.1Functional

13.2Functional Extreme Value Condition—Euler?s Equation

13.3Functional Extreme Value for Moving Boundary

13.4Conditonal Extreme Value

13.5Solving Optimal Control with Variation Method

Problems

References

14Maximum (Minimum) Principle

14.1Maximum (Minimum) Principle for Continuum System

14.2Applications of Maximum (Minimum) Principle

14.3Maximum (Minimum) Principle for Discrete System

Problems

References

15Dynamic Programming

15.1Mathematic Model and Algorithm of Dynamic Programming

15.2Deterministic Multi?Stage Process Decision

15.3Optimal Control of Dynamic System

Problems

References

Appendix AChinese and English Index

三、Java软件工程师主要学习哪些课程？

很多新手在学习java的时候都比较迷茫，不知道从哪里开始学起，这里就给大家整理了一份java开发学习路线，比较系统全面，可参考这份大纲来安排学习计划，希望可以帮到你~

最新java学习路线：第一阶段：java业基础课程

阶段目标：

1、熟练掌握java的开发环境与编程核心知识；

2、熟练运用java面向对象知识进行程序开发；

3、对java的核心对象和组件有深入理解；

4、熟练运用javaAPI相关知识；

5、熟练应用java多线程技术；

6、能综合运用所学知识完成一个项目。

知识点：

1、基本数据类型，运算符，数组，掌握基本数据类型转换，运算符，流程控制；

2、数组，排序算法，java常用API，类和对象，了解类与对象，熟悉常用API；

3、面向对象特征，集合框架，熟悉面向对象三大特征，熟练使用集合框架；

4、IO流，多线程；

5、网络协议，线程运用。

第二阶段：javaWEB核心课程

阶段目标：

1、熟练掌握数据库和MySQL核心技术；

2、深入理解JDBC与DAO数据库操作；

3、熟练运用JSP及Servlet技术完成网站后台开发；

4、深入理解缓存、连继池、注解、反射、泛型等知识；

5、能够运用所学知识完成自定义框架。

知识点：

1、数据库知识，范式，MySQL配置，命令，建库建表，数据的增删改查，约束，视图，存储过程，函数，触发器，事务，游标，建模工具。

2、深入理解数据库管理系统通用知识及MySQL数据库的使用与管理。为Java后台开发打下坚实基础。Web页面元素，布局，CSS样式，盒模型，JavaScript，jQuery。

3、掌握前端开发技术，掌握jQuery。

4、Servlet，EL表达式，会话跟踪技术，过滤器，FreeMarker。

5、掌握Servlet相关技术，利用Servlet，JSP相关应用技术和DAO完成B/S架构下的应用开发。

6、泛型，反射，注解。

7、掌握JAVA高级应用，利用泛型，注解，枚举完成自己的CRUD框架开发为后续框架学习做铺垫。

8、单点登录，支付功能，项目整合，分页封装熟练运用JSP及Servlet核心知识完成项目实战。

第三阶段：JavaEE框架课程

阶段目标：

1. 熟练运用Linux操作系统常见命令及完成环境部署和Nginx服务器的配置

2. 熟练运用JavaEE三大核心框架：Spring,SpringMVC,MyBatis

3. 熟练运用Maven,并使用SpringBoot进行快速框架搭建

4. 深入理解框架的实现原理，Java底层技术，企业级应用等

5. 使用Shiro,Ztree和Spring,SpringMVC,Mybaits完成企业项目

知识点：

1、Linux安装配置，文件目录操作，VI命令，管理，用户与权限，环境部署，Struts2概述，hiberante概述。

2、Linux作为一个主流的服务器操作系统，是每一个开发工程师必须掌握的重点技术，并且能够熟练运用。

3、SSH的整合,MyBatis,SpringMVC,Maven的使用。

4、了解AOP原理，了解中央控制器原理，掌握MyBatis框架，掌握SSM框架的整合。

5、Shiro,Ztree，项目文档，项目规范，需求分析，原型图设计，数据库设计，工程构建，需求评审，配置管理，BUG修复，项目管理等。

6、独立自主完成一个中小型的企业级综合项目的设计和整体架构的原型和建模。独立自主完成一个大型的企业级综合项目，并具备商业价值。

第四阶段：分布式与微服务课程

阶段目标：

1.掌握前端框架VUE及Bootstrap的应用开发

2.基于SpringCloud完成微服务架构项目的开发

3.掌握NoSQL数据库Redis的使用

4.掌握消息队列RabbitMQ的使用

5.掌握Mycat数据库中间件的使用

知识点：

1、Bootstrap前端框架、VUE前端框架、RabbitMQ消息队列。

2、掌握Bootstrap前端框架开发、掌握VUE前端框架开发、掌握RabbitMQ消息队列的应用、掌握SpringBoot集成RabbitMQ。

3、Redis缓存数据库的应用、Java基于Redis的应用开发、基于SpringCloud微服务架构开发实战。

4、掌握NOSQL数据库Redis的安装、使用，Redis客户端的安装使用，Java访问操作Redis数据库，Redis的持久化方案、主从复制、高可用。

5、掌握SpringCloud微服务架构的开发，注册中心，网关配置，配置中心，微服务间通信及容器化部署。

6、项目文档，项目规范，需求分析，数据库设计，工程构建，需求评审，配置管理，BUG修复，项目管理等。

7、掌握数据库中间件Mycat的应用，基于Mycat实现数据读写分离，高可用集群。

8、掌握项目开发的流程，按照项目开发流程完成基于微服务架构项目的需求分析，编码开发。

PS：温馨提示，光看不练假把式，跟着视频教程练项目也是必不可少的！相关教程指路B站尚学堂官方号！都是免费滴！

四、最优化选择法数学原理

2.2.1 目标函数

设观测异常以ΔZ_k表示，k为观测点序号，k=1，2，…，m，m为观测点数。

设所选用的地质体模型的理论异常以 Z 表示，Z 是模型体参量和观测点坐标的函数，即

Z=f（x_k，y_k，z_k，b₁，b₂，…，b_n）

式中：x_k，y_k，z_k为观测点的坐标；b₁，b₂，…，b_n为模型体的参量，如空间位置、产状、物性等，参量的个数为n。

模型体的初始参量用

，

，

，…，

表示。

理论曲线与实测曲线之间的符合程度，是以各测点上理论异常与实测异常之差的平方和（即偏差平方和）来衡量的，用φ表示，即

地球物理数据处理教程

目的在于求得一组关于模型体参量的修改量δ₁，δ₂，…，δ_n，来修改模型体给定的初值参量，即

地球物理数据处理教程

于是求出关于模型体参量的一组新值，而由这组新参量形成的模型体的理论异常与实测异常之间的偏差平方和将取极小，即是

地球物理数据处理教程

代入式（2.2.1）中将使φ值获得极小，这时b_i即为我们的解释结果，这称为最小二乘意义下的最优化选择法。

我们称φ为目标函数，用它来衡量理论曲线与实测曲线的符合程度。最优化方法的关键在于求取使φ值获得极小参量的改正值δ_i，而f通常是b_i的非线性函数，因而该问题归结为非线性函数极小的问题。

2.2.2 求非线性函数极小的迭代过程

从上已知f为b_i的非线性函数，那么要求它与实测值之间的偏差平方和φ为极小的问题就称为非线性极小问题，或称为非线性参数的估计问题。如果是线性问题，参数估计比较简单，通常进行一次计算即可求出参数的真值，而对非线性问题，参数估计却要复杂得多，为了求解，通常将函数在参数初值邻域内展成线性（忽略高次项），即所谓的线性化，然后再求得改正量δ_i（i=1，2，…，n），由于这是一种近似方法，因而不可能使φ一次达到极小，而需要一个迭代过程，通过反复计算而逐步逼近函数φ的极小值。

图2.1 不同埋深时的重力异常

为了说明这个求极小的迭代过程，可以举一个单参量的例子，即假如我们要确定引起重力异常Δg_k的场源地质体的深度，假设场源为一个已知体积和密度的球体模型，如图2.1所示，那么φ就是球心埋深z的函数，如果球心埋深的真值为h，我们首先取初值为z^（0），这时函数

地球物理数据处理教程

式中：Δg_k为实测异常；g（z）是球心埋深为z的理论重力异常；φ随z的变化情况示于图2.2 中，要求使φ获极小的z，即要求使

地球物理数据处理教程

的根。由于z^（0）和φ（z^（0））不能一次求出φ的极小来，通常采用迭代的办法，如图2.3所示，例如用牛顿切线法迭代求根，根据下式

地球物理数据处理教程

得到一个更近似于根的值z^（1），但不等于h，因此需进一步再用上式，将z^（1）作为新的初值z^（0），可得到新的z^（1）更接近于h，如此反复下去可以使z值无限接近于h，当满足精度要求时，我们认为它近似等于h了，停止迭代，这时的z^（1）就作为h值。

图2.2 函数φ（z）随z变化示意图

图2.3 用牛顿切线法求φ′（z）=0的根示意图

2.2.3 单参量非线性函数的极小问题

单参量不仅是讨论多参量的基础，而且往往在求多参量极小时要直接用到单参量极小的方法，因此有必要作一介绍。

求单参量极小的方法很多，上面用到的牛顿切线法就是其中之一，在此我们介绍一种用得较多的函数拟合法，以及精度较高的DSC-Powell方法。

2.2.3.1 函数拟合法

2.2.3.1.1 二次函数拟合法

A.不计算导数的情况

设取三个参量值x₁、x₂、x₃，它们对应的φ 值就应为φ₁、φ₂、φ₃，过三个点（x₁，φ₁；x₂，φ₂；x₃，φ₃）作二次抛物线，应有下式

地球物理数据处理教程

联立φ₁、φ₂、φ₃的方程式，即可得出系数A、B、C来。

当A＞0时，应有极小点存在，我们设极小点为d，那么根据极小的必要条件有

地球物理数据处理教程

将A、B的表达式代入即得

地球物理数据处理教程

当x₁、x₂、x₃为等距的三点时，上式可简化为

地球物理数据处理教程

B.计算导数的情况

设已知两个点的参量值x₁和x₂对应的函数值φ₁、φ₂，并已求得x₁点的一阶导数值φ′（x₁），可用下列方法求极小点d：

地球物理数据处理教程

联立φ₁、φ₂、φ′（x₁）三个方程即可得A、B、C，代入极小点的表达式即可求得极小点。

为了简化起见，不妨设x₁为坐标原点（即x₁=0），设x₂=1，于是上面各式简化成：

φ′（x₁）=B

φ₁=C

φ₂=A+B+C

A=φ₂-φ′（x₁）-φ₁

则

地球物理数据处理教程

2.2.3.1.2 三次函数拟合法

取两个点的参量值x₁和x₂，及相应的φ₁和φ₂值，并已得到该两点的一阶导数值φ′（x₁）和φ′（x₂），我们选用一个三次多项式

φ=Ax³+Bx²+Cx+D

代入上面给出的4个条件，同样，为了简化起见，不妨设x₁为坐标原点（即x₁=0），设x₂=1，则有

φ₁=D

φ₂=A+B+C+D

φ′（x₁）=C

φ′（x₂）=3A+2B+C

联立求解，可定出4个系数A、B、C、D，按照求极小的必要条件

φ′=3Ax²+2Bx+C=0

当二阶导数

φ″=6Ax+2B＞0

时有极小存在，极小点d就为

地球物理数据处理教程

为了计算方便，令

v=φ′（x₁）

u=φ′（x₂）

S=-3（φ₁-φ₂）=3（A+B+C）

Z=s-u-v=B+C

W²=Z²-vu=B²-3AC

于是极小点d就可用下列形式表示：

地球物理数据处理教程

2.2.3.2 DSC-Powell 法

该法为比较细致的单参量探测法，精度比较高，计算工作量较大，大致可分为两部分来完成，其探测（迭代）过程如图2.4所示。

2.2.3.2.1 确定极小值所在的区间

采用的是一种直接探测法，做法可归纳如下。

第一步：给定探测方向x、初值点x₀和初始步长Δx，计算φ（x₀）和φ（x₀+Δx），若φ（x₀+Δx）≤φ（x₀），转向第二步；若φ（x₀+Δx）＞φ（x₀），则取-Δx为步长Δx，转向第二步。

第二步：计算x_k+1=x_k+Δx，计算φ（x_k+1）。

第三步：如果φ（x_k+1）≤φ（x_k），以2Δx为新步长代替Δx，且用k代表k+1，转向第二步。

如果φ（x_k+1）＞φ（x_k），则以x_m表示x_k+1，以x_m-1表示x_k，将上步的x_k作为x_m-2，并计算

地球物理数据处理教程

第四步：在4个等距点（x_m-2、x_m-1、x_m+1、x_m）中，去掉四点中离φ（x）最小点最远的那一点，即或是x_m，或是x_m-2，剩下的三点按顺序以x_α、x_b、x_c表示，其中x_b为中点，那么（x_α，x_c）区间即为极小值所在的区间。

2.2.3.2.2 用二次函数拟合法求极小点

将上面已确定的等距的 x_α、x_b、x_c三点及 φ 值，用二次函数拟合法即用公式（2.2.3）求得极小点，令为x^*点。再将x_α、x_b、x_c、x^*四点中舍去φ值最大的点，剩下的点重新令为α、b、c，则又得三点和它们相应的φ值，用公式（2.2.2）求其极小点x^*，如此反复使用公式（2.2.2），逐步缩小极小值的区间，一直到两次求得的极小点位置差小于事先给定的精度为止，x^*点即为极小点。

图2.4 DSC-Powell法示意图

2.2.4 广义最小二乘法（Gauss 法）

重磁反问题中的最优化方法，一般是指多参量的非线性最优估计问题，理论模型异常z=f（

，b₁，b₂，…，b_n）是参数b_i（i=1，2，3，…，n）的非线性函数，其中

=（x，y，z）为测点的坐标。由前已知ΔZ_k（k=1，2，…，m）表示在第k个观测点

上的实测异常，现在要寻求与观测异常相对应的理论模型的参量值b_i（i=1，2，…，n），使理论异常与实测异常的偏差平方和

地球物理数据处理教程

为极小。

设b_i的初值为

，则上述问题，即是要求修正量δ_i，使

地球物理数据处理教程

代入φ中，使φ获得极小。

高斯提出了首先将f函数线性化的近似迭代方法，即将f在

处按台劳级数展开取其线性项。

地球物理数据处理教程

式中

，

地球物理数据处理教程

当

和

给出后，

和

均可直接计算出来。将台劳展开式代入式（2.2.6）中，目标函数φ为

地球物理数据处理教程

要求

使φ取得极小，根据极小的必要条件

地球物理数据处理教程

将上式化为

地球物理数据处理教程

写成方程组形式

地球物理数据处理教程

式中：

，

（i，j=1，2，…，n）

再写成矩阵形式，有

地球物理数据处理教程

即

地球物理数据处理教程

其中

A=P^TP

地球物理数据处理教程

式中：P称为雅可比（Jacobi）矩阵，是理论模型函数对参量的一阶导数矩阵。A为正定对称矩阵，实际计算时，当实测异常值已给出，模型体的初值

已选定后，A和

即可计算出，求解方程（2.2.7）即可求出

，从而可得

。

上面推导出的方程（2.2.7）是将f线性化所得，因而只有当f为真正的线性函数时，

才是真正的极小点

，即一步到达极小；当f为非线性函数时，台劳式线性化仅为近似式，近似程序视

的大小而定，当|δ_i|较大时，二次以上项忽略的误差就大，反之就小，所以对于非线性函数

不能简单地作为极小点

，一般将

作为新的初值

再重复上述做法，再解方程（2.2.7）又得到新的

，反复迭代下去，直到满足精度要求为止（例如|δ_i|小到允许误差）。

在高斯法应用中常常出现一种困难，即迭代过程不稳定，当

过大时，台劳展开的高次项太大而不能忽略时，就可能发生这样的情况，即用方程（2.2.7）求得的解，得到的参量

所对应的φ值大于

所对应的φ值，那么它将不能稳定地收敛于φ的极小值，即是出现了发散的情况，一般说来当f非线性程度越明显时，越易出现发散的情况。

因此高斯法的一种改进形式如下，即不直接把

作为校正值，而将它作为校正方向，记为

，而在该方向上用单变量求极小的方法寻找在这个方向上的极小点，即寻找一个α，使目标函数φ（

）为极小，取

作为新的初值，再继续迭代（0＜α＜1）。

把这个改进的方法称为广义最小二乘法，它使迭代过程的稳定性有所改善，即使这样当初值取得不好时，也有可能出现不收敛。

2.2.5 最速下降法

从前述已知，我们的目的是要求目标函数的极小，高斯法是利用将f函数线性化，建立一个正规方程（2.2.7）来求取修正量的，最速下降法是另一类型方法，它直接寻找φ函数的下降方向来求取修正量，所以它又称为直接法，而高斯法又称为间接法。

从目标函数φ出发来寻找其下降方向

地球物理数据处理教程

始终是大于或等于0，因此它一定有极小存在，我们首先考虑初值点

的一个邻域内，将φ在

处台劳展开取至线性项，有

地球物理数据处理教程

希望寻找使Φ下降的方向，即要找新点

，使φ（

）＜φ（

）

即要求φ（

）-φ（

）＞0，

且越大越好，那么可得

地球物理数据处理教程

地球物理数据处理教程

式中

表示φ函数对

的各分量的导数所组成的向量，即梯度向量。

要使上式取极大，有

地球物理数据处理教程

上式说明了φ值下降最快的方向

，应该是与梯度方向

相反的方向，即负梯度方向，那么修正量就应在负梯度方向上来求取。下面讨论从

出发，沿负梯度方向上求取极小点的方法，除了用前面介绍过的方法外，在此再介绍一种近似计算方法。

要求从

出发，沿-

方向的极小点，即要求λ使φ

为-

方向上极小点。根据极小必要条件，有

地球物理数据处理教程

如果φ为二次函数时，λ可以直接解出，在重磁反问题中φ为非二次函数，且函数形式较复杂，一般无法直接解出λ，而采用近似法，先将φ（

）台劳展开，取至线性项，即

地球物理数据处理教程

假设粗略认为φ的极小值为零，则极小点的λ应有

地球物理数据处理教程

这个方法计算简单，但误差较大，特别是

远离真正极小点

时，φ值较大，上式的假设不适合，当接近真极小点

附近时，可以采用。但在重磁反问题中，由于实测值Z_k中含有干扰成分，所以即使到了

附近，φ值仍不会为零，因而上述计算λ的方法不能直接采用，可将上述计算的λ作为一个区间估计值，再用其他方法计算［0，λ］之间真正的λ值。

从上所述可将最速下降法叙述如下：从初值

出发，沿着φ（

）的负梯度方向-

（

）寻找极小点

，然后又从

出发，沿着φ（

）的负梯度方向-

（

）寻找极小点

，一直迭代下去，直到找到

为止。

由于这个方法是沿着初值点的最快下降方向，在该方向上如果采用单方向求极小的方法得到该方向上的极小点，那么又称“最优”、“最速”下降法。但需要指出的是，所谓“最速”是就初值点的邻域而言，所谓“最优”是指在初值点的负梯度方向上，所以它的着眼点是就局部而言，就初值点邻域而言，而对整体往往是既非“最优”，又非“最速”，而是一条曲折的弯路，难怪有人称它为“瞎子下山法”，如图2.5所示，当φ的等值面为拉长的椭球时更是如此。但它有一个十分可贵的优点，即在迭代的每一步都保证φ值下降，所以它是稳定收敛的，在φ函数复杂时，计算工作量较大些，对于大型计算机比较适用。

图2.5 最速下降法迭代过程示意图

图2.6 修正量的方向

2.2.6 阻尼最小二乘法（Marguardt）

比较上述两种方法可知，Gauss法修正量的步长大，当φ近于二次函数，可以很快收敛，但当φ为非二次函数，初值又给得不好时，常常引起发散。而最速下降法却能保证稳定的收敛，但修正量的步长小，计算工作量大。当φ的等值面为拉长的椭球时，Gauss法的修正量

和最速下降法的修正量

之间的夹角γ可达80°～90°，如图2.6所示。

对于φ为二次函数的情况下，高斯法的修正量

方向是指向φ的极小点，而最速下降法修正量

的方向是垂直于通过

点的φ函数等值面的切平面。因而当φ为比较复杂的函数时，有可能使

出现发散而失败。

阻尼最小二乘法是在Gauss法和最速下降法之间取某种插值，它力图能以最大步长前进，同时又能紧靠负梯度方向，这样既能保证收敛又能加快速度。它的基本思想是：在迭代过程的每一步，最好尽量使用Gauss法修正量方向

，以使修正步长尽可能地增大，如当这种情况下不能收敛时，再逐步改用接近最速下降的方向

，同时缩小步长，以保证收敛，下面以

表示由阻尼最小二乘法得出的修正量。

实现上述思想只要将方程

地球物理数据处理教程

改变为

地球物理数据处理教程

就能实现了。式中

为我们所要求的修正量，即称Marguardt修正向量，I为单位矩阵，λ是用来控制修正方向和步长的任意正数，又称阻尼因子，它起到阻止发散的作用，方程（2.2.9）中

显然是λ的函数，即

地球物理数据处理教程

通过这一改变后，即原来的正规方程（2.2.7）系数矩阵的主对角线上加一正数，从而使条件数得到了改善。如果原来A是奇异的，而A+λI可成为正定的，设原来A的最大特征值和最小特征值为μ_max和μ_min，则条件数就发生了如下变化：

地球物理数据处理教程

使病态条件数改善，对于计算来说，是十分有利的。

从方程（2.2.7）可看出，右端项为

地球物理数据处理教程

而φ的负梯度向量

的第i个分量

地球物理数据处理教程

所以

，即方程（2.2.7）、（2.2.9）的右端项

的方向即为负梯度方向，值为负梯度值的一半。

在方程（2.2.9）中，当λ=0时，即是（2.2.7）方程，这时

就是

；当λ→∞时，δ₀→

，而

是负梯度方向，这时

就是最速下降方向，所以阻尼最小二乘法的修正量

，是最速下降修正量

和Gauss法修正量

之间的某种插值，λ就是这种插值的权系数。

Marguardt向量

具有以下三个特性：

（1）当λ越来越大时，

的长度越来越小，且

地球物理数据处理教程

‖

‖表示

向量的范数，也即是它的长度。

（2）当λ由零逐渐增大时，

的方向逐渐由Gauss法的方向

转向最速下降法方向

，λ越大，

方向越接近

方向。

（3）对λ＞0的任意正数，

（满足方程（2.2.9））使φ在半径为‖

‖的球面上取得极小。

图2.7Δ₀（λ）随λ的变化情况示意图

以上三个性质说明，当λ逐渐增大时，

的方向由

向

靠近，它的大小‖

‖逐渐减小，λ→∞时，‖

‖→0，如图2.7所示。因此在迭代的任何一步，我们总可以找到充分大的λ，来保证稳定的收敛，因为当φ 不下降时，就加大λ向

靠，一直到使φ下降为止，从而保证收敛。性质（3）说明在跨出同样的步长时，以

（λ）方向最好，这就保证了该法的优越性。在实际计算时，总是在保证收敛的前提下，取较小的λ，以获得较大的步长前进。

下面介绍阻尼最小二乘法的迭代步骤，即实际计算过程。

（1）给出模型体参量初值

，计算φ（

）；给出实测场值ΔZ_k（k=1，2，…，m）；给出阻尼因子的初值λ^（0）及改变λ的比例系数v。

（2）开始迭代，λ=λ^（0）/v

（3）计算A，（A+λI）及右端项

在初值点

的值，得方程（2.2.9），（A+λI）

的系数矩阵及右端项。

（4）求解方程（2.2.9）得

。

（5）计算

及φ（

）。

（6）比较φ（

）和φ（

）。

若φ（

）＜φ（

），则该次迭代成功。判断

是否满足精度要求，若满足停止迭代，这时的

即为极小点

；若不满足精度要求，则将

作为新

，φ（

）作为新φ（

），减小λ作为新的λ^（0），转向第（2）步，继续迭代下去。

若φ（

）＞φ（

），则该次迭代失败，增大阻尼因子λ，将λ·v作为新的λ，转向第（4）步，即重新求解（A+λI）

方程，重新得到新的

。

该方法中阻尼因子λ的选择十分重要，上述选法是一种简单可行的方法，还有很多不同的选择方法，可参阅有关的书籍。

以上就是关于最优化理论基础相关问题的回答。希望能帮到你，如有更多相关问题，您也可以联系我们的客服进行咨询，客服也会为您讲解更多精彩的知识和内容。

推荐阅读：

十大经典电影排行榜（中国最优秀的十部电影）

教学最优化原则（教学最优化原则由谁提出）

最优秀的品牌设计作品（最优秀的品牌设计作品是什么）

Q版字体（q版字体下载）

荷兰滨江景观设计案例分享（荷兰滨江景观设计案例分享）