最优化计算方法是运筹学、计算数学、机器学习和数据科学与大数据技
术等专业的一门核心课程。最优化问题通常需要对实际需求进行定性和定
量分析，建立恰当的数学模型来描述该问题，设计合适的计算方法来寻找问
题的最优解，探索研究模型和算法的理论性质，考察算法的计算性能等。最
优化算法广泛应用于科学与工程计算、数据科学、机器学习、人工智能、图
像和信号处理、金融和经济、管理科学等众多领域。本书将介绍最优化的基
本概念、典型案例、基本算法和理论，培养学生解决实际问题的能力。
本书可作为数学优化、运筹学、计算数学、机器学习、人工智能、计算
机科学和数据科学等专业的本科生、研究生和相关研究人员的教材或参考书
目。通过本书的学习，希望读者能掌握最优化的基本概念、最优性理论、一
些典型的最优化问题（如凸优化，无约束优化，约束优化，复合优化，等等）
的建模或判别、相关优化问题的基本计算方法、能学会调用基于 MATLAB
或 Python 等语言的典型优化软件程序求解一些标准的优化问题，可以灵活
运用所讲授的算法和理论求解一些非标准的优化问题，并锻炼对将实际问
题建立合适最优化模型、选择合适的现有软件包和算法、遇到没有现成算法
自己实现简单算法等能力。
考虑到不同层次的需求，本书另有简化版（书名：《最优化计算方法》），
主要区别是简化版中不涉及一些复杂的概念、详细的例子和证明。在第一章
简要介绍最优化基本概念之后，本书从四个方面进行讲述。
• 基础知识：第二章介绍最优化建模和算法中经常需要使用的一些基础
知识，包括范数、导数、凸集、凸函数、次梯度、共轭函数等。此外为
了内容的完整性，也在附录部分简要概述了一些基础知识，其中线性
代数部分包含矩阵、特征值、广义逆、SMW 公式、Schur 补等，数值
代数部分包含范数、方程组求解、矩阵分解、数值代数软件包等，概
率论部分包含随机变量、期望、方差、条件期望等重要概念和结论。
• 优化建模：第三章阐述一些典型的优化建模方法，并以科学工程计算
和机器学习中一些典型问题为例介绍如何建立优化模型。第四章给出
了最优化问题的一些典型分类和判别技巧，如线性规划、半定规划、最
小二乘问题、复合优化、矩阵优化、随机优化等。一个实际问题根据
其侧重点可以由不同的优化模型来描述，一种优化模型也可以对应很
多不同的实际应用。
• 最优性理论：第五章介绍最优性理论，包括最优解的存在性和唯一性、
无约束可微问题、无约束不可微问题、带约束优化问题和凸优化问题
的一阶或二阶最优性条件、对偶理论、带广义不等式约束（如半定规
划问题）的对偶理论。
• 最优化算法：第六章介绍无约束优化算法，包括线搜索方法、梯度类算
法、次梯度算法、牛顿（Newton）类算法、拟牛顿类算法、信赖域算
法、非线性最小二乘问题算法。第七章介绍约束优化算法，包括罚函
数法、增广拉格朗日（Lagrange）函数法及其在典型凸优化问题的原
始问题和对偶问题上的具体应用、线性规划内点法。第八章介绍复合
优化算法，包括近似点梯度法、Nesterov 加速算法、近似点算法、分
块坐标下降法、对偶算法、交替方向乘子法、随机优化算法。
本书主要概念配有详细的例子来解释，主要优化算法的介绍包含算法
描述、应用举例和收敛性分析三个方面。在算法描述方面，本书侧重于算法
的基本思想和直观解释；在应用举例方面，针对几乎所有算法写出了其在稀
疏优化或逻辑回归等典型问题中的具体形式和求解过程，给出了最优性度
量与迭代步数关系等数值结果。相关程序也可以从作者主页下载，读者可方
便地比较各种算法的特点。
本书各部分内容的难易程度有些差异，比较难的部分在小节标题标注
星号。理论和算法涉及的基础知识也有较大差异，比如向量导数、凸集、凸
函数、线性代数等在低年级课程中大多已经覆盖，但是矩阵函数及其导数、
共轭函数、次梯度等可能讲述很少。因此讲授或阅读时可以根据具体情况进
行选择，不一定要按照章节的顺序进行。例如次梯度、无约束不可微问题的
最优性理论和次梯度算法等涉及非光滑函数的基础部分可以考虑放在光滑
函数的梯度类算法之后再讲授或阅读。
最优化理论与算法内涵十分丰富，本书涉及的各方面仍然比较初步和
浅略。更全面的应用场景，更深入的理论探讨和更详细的算法设计需读者进
一步查阅相关章节给出的参考文献。由于篇幅限制，有很多重要内容没有讲
述，如连续优化里的共轭梯度算法、逐步二次规划、无导数优化、线性规划
单纯形法和更详细的内点法、二次锥规划和半定规划的内点法、非线性规划
的内点法等。本书也没有讲述带微分方程约束优化、流形约束优化、鲁棒优
化、整数规划、组合优化、次模优化、动态规划等应用广泛的知识，感兴趣
的读者可以阅读相关文献。
诚挚感谢袁亚湘院士多年来的精心指导和悉心关怀，对本书的规划和
内容给予的宝贵意见。特别感谢张平文院士、马志明院士、徐宗本院士等专
家对本书的指导和支持。非常感谢北京大学北京国际数学研究中心和数学
科学学院、国家自然科学基金、北京智源人工智能研究院等对课题组的长期
资助和支持。
本书写作参考了袁亚湘院士和孙文瑜教授的《最优化理论与方法》，
Jorge Nocedal 教授和 Stephen Wright 教授的 Numerical Optimization，Stephen
Boyd 教授和 Lieven Vandenberghe 教授的 Convex Optimization 等经典教
材。Lieven Vandenberghe 教授在加州大学洛杉矶分校多门课程的讲义对本
书的整理帮助很大。也特别感谢加州大学洛杉矶分校印卧涛教授慷慨分享
稀疏优化、交替方向乘子法、坐标下降法等很多方面的内容。
本书内容在北京大学数学科学学院多次开设的“凸优化”和“大数据分
析中的算法”课程中使用，感谢课题组同学在初稿整理方面的支持，如刘普
凡在内容简介，金泽宇在数值代数基础和 Nesterov 加速算法，许东在数学
分析基础，杨明瀚在无约束光滑函数优化方法，柳伊扬在无约束非光滑函数
优化算法，柳昊明在近似点梯度法，刘德斌在罚函数法，赵明明在对偶函数
方法，王金鑫在交替方向乘子法及其变形，陈铖和谢中林在书稿后期整理等
方面的帮助。同时也感谢高等教育出版社刘荣编辑精心细致的校稿和修改。
限于作者的知识水平，书中恐有不妥之处，恳请读者不吝批评和指正。
刘浩洋、户将、李勇锋、文再文
北京，2020 年 7 月