凸优化第一【凸集与凸优化简介】

article/2025/9/12 2:52:37

【本文仅供学习记录,概无其他用处,一些图片资源来自网络,侵删】

凸优化是一个简单的优化问题,优化-数学规划概念相同,本课程主要学习的内容包括:凸集、凸函数、凸优化有关凸优化的一些算法

优化:从一个可行解的集合中,寻找出最优的元素,如

数据拟合问题,散点,非曲线,最小二乘问题,多用户能量控制问题,图像处理优化问题,恢复不带噪声的图像,TV-L2模型,最短路径问题,约束问题。

优化问题三段定义【回忆】

两个或以上X*,构成最优解集

线性规划,单纯形法

最优解一般在顶点或边上

凸规划/非凸规划【凸规划问题,是容易解决的优化问题,非凸难解决】。

满足以下要求,为凸函数:

以上线性规划和下方凸规划相关,满足上则满足下

凸优化问题满足:

  1. 目标函数是凸函数
  2. 可行解集是凸集

凸函数:没法找到一些不相邻的最低的点

光滑/非光滑,连续/离散【针对可行域,都可能是非凸问题】

单目标/多目标,  min f1,f2,pare front[]折衷,加权为单目标

 

凸规划、单目标。函数光滑容易,讲

目标:简化问题,描述优化,问题凸优化化=90%

主要内容:

皆可凸优化,平方

描述例1

仿射集【如凸集故事】:/仿射组合/凸组合

 

证明过程【两点推广到多点(三点)】:

与C相关的子空间V【这个平移x0的仿射集有很好的性质】:

子空间一定是经过原点的,因为C一定有一点X0,而V减掉了它

证明:

线性方程组的解集一定是个仿射集

构造尽可能小的仿射集     

仿射包:

两点直线可定,三点平面可定【全包含】

凸集:

仿射集是一个凸集的特例

X1,………Xk的凸组合:

凸包:一个集合构造【扩大】出来最简单的凸集

离散集合的凸包:边缘绑起来【包:包含】

锥,凸锥:【凸锥一定经过原点】

凸锥组合,凸锥包:

关系:

任意的一个点一定是仿射集,也是凸集

空集既是仿射集,又是凸集,又是凸锥

九个概念,组合思想:

超平面,半空间

多面体

球和椭球

证明球内凸集

椭球:XT A X

奇异值,ATA【对称,防止,特征值大于等于零,对其开方为A的奇异值】

奇异值是椭球两轴长

多面体

单纯形【是特殊多面体】的证明:

对称矩阵,对称半正定矩阵,对称正定矩阵三个集合都是凸锥:

可用定义证明

凸集:球,椭球,多面体【有很多面的,放的东西】,单纯形    

单纯形定义:点,线性无关,凸包

矩阵空间

凸集变换:

  1. 凸集交集为凸集,两个凸集的和是凸的【S1+S2】,凸加非凸可能凸
  2. 凸集仿射变换【映射、逆映射】仍是凸集【例如皮球拉伸】
  3. 缩放与移位都是保凸的

线性矩阵不等式,的解集也是个凸集

椭圆是球的仿射映射

透视函数【降维】,最后一个为正

线性分数函数


http://chatgpt.dhexx.cn/article/GesnwwQc.shtml

相关文章

凸优化笔记(一):仿射集,凸集与锥

一.直线和线段 设为空间中的两个点。 直线: 线段: 二.仿射集(Affine Set)凸集(Convex Set)和锥(Cones) 仿射集 仿射集:通过集合中任意两个不同点的直线仍然在集合C中…

【机器学习】凸集、凸函数、凸优化、凸优化问题、非凸优化问题概念详解

目录 1 基本概念2 凸优化问题3 非凸优化问题4 总结 1 基本概念 (1)凸集和非凸集 凸集是一个点集, 这个点集有一个性质, 就是在这个集合中任取不同的两个点x和y, 他们之间的线段(包括端点)上的点…

凸优化学习(一)凸集与凸函数、凸优化问题

4.1 凸集 convex sets 仿射集(Affine Sets):如果一个集合 C ∈ R n C\in\mathbb{R}^n C∈Rn 是仿射的,则在C中两点的直线也在C中,若 x 1 ∈ C , x 2 ∈ C , 则 x θ x 1 ( 1 − θ ) x 2 ∈ C , θ ∈ R x_1\in C,x…

【凸优化笔记二】凸函数基本性质和例子

【凸优化笔记二】凸函数基本性质和例子 凸函数的四个定义定义一定义二定义三定义四 一些栗子 凸函数的四个定义 定义一 其中 dom f f f 是函数 f f f 的 定义域(前域),为凸集——这个很重要,后面的一些定义中也会用到&#xff…

凸函数

凸函数有一个很好的性质,即只要能证明我们求解的问题是凸函数,最终得到的解一定是全局最优解 首先得注意一下: 中国大陆数学界某些机构关于函数凹凸性定义和国外的定义是相反的。Convex Function在中国大陆某些的数学书中,比如说…

最优化理论基础与方法学习笔记——凸集与凸函数以及手写定理证明

文章目录 凸集的定义凸集的几何意义有关凸集的定理 定理1.4.2内点、边界点和闭包的定义定义1.4.3 超平面的定义定理1.4.3 投影定理定理1.4.4 点与凸集的分离定理定理1.4.5 支撑超平面定理定义1.4.4 凸函数的定义定义1.4.5 水平集定理1.4.6 凸函数的水平集还是凸集定理1.4.7 函数…

凸优化 - 2 - 凸集和凸函数

本总结是是个人为防止遗忘而作,不得转载和商用。 前提说明:为了方便查阅,我将整个凸优化的内容分成了很多部分,因为后面的部分用到了前面的知识,所以,如果你的目的是查看后面的内容但对前面的某个知识点不甚…

凸和非凸的理解

目录 一句话概括一、凸和非凸的区别二、凸函数和非凸函数三、凸优化和非凸优化凸优化:常见的凸优化方法:凸优化的一般求解过程非凸优化: 一句话概括 凸(Convex):在该区间函数图象上的任意两点所连成的线段…

凸集与非凸集,凸函数与凹函数,凸优化

关于凸集与非凸集,凸函数与凹函数,凸优化的概念一直混淆,在此整理下相关定义和概念,希望给有需要的人。 凸集:集合中的任意两点连线的点都在该集合中,则称该集合为凸集;凹集为非凸集。 函数的…

最优化——凸集

引言 这是中科大最优化理论的笔记,中科大凌青老师的凸优化课程,详尽易懂,基础扎实。不论是初学者还是从业多年的人,都值得系统地好好学一遍。 本文介绍什么是凸集、凸包与凸锥包。 仿射集 我们先来看最简单的凸集——仿射集(A…

凸集

本文参考自清华大学研究生公共课教材——数学系列《最优化理论与算法》(第二版) 一:凸集 定义:设S为n维欧式空间中中的一个集合,若对S中任意两点,联结它们的线段仍属于S,称这样的集合S是一个凸…

凸集(Convex sets)

凸集(Convex sets) 1.仿射集和凸集 仿射集(Affine set): 定义:如果通过C中任意两个不同点的线位于C中,则集合C⊆Rn就是仿射 其中, 凸集(Convex set): 定义:如果C中的任意两点之间的…

【深度学习】logistic回归模型

目录 神经网络 数据、符号准备: logistic回归: 损失函数和代价函数: 梯度下降法: 向量化: 神经网络 我们学习深度学习的目的就是用于去训练神经网络,而神经网络是什么呢?我们先来看下面一…

十分钟理解logistic回归原理

关于逻辑回归的分类算法,很多书籍都有介绍,比较来看,还是**李航老师的书《统计学习方法》**里介绍的更清楚,若大家有时间,请不要偷懒,还是建议从头开始看李航老师的书,这本书简洁明了&#xff0…

python数据挖掘学习笔记——logistic逻辑回归实现

Logistic逻辑回归分析 logistic模型的基本介绍python中实现logistic回归模型的评价混淆矩阵ROC曲线,AUC值 Logistic模型是经典的用于分类问题的模型,通常用于判断一件事物的好坏或将其分类。本文着重介绍logistic模型的在二分类上的应用,对于…

logistic回归分类与softmax回归

目录 Logistic回归 逻辑回归的定义式: 损失函数 梯度下降 Logistic回归防止过拟合: Softmax回归: loss函数 逻辑回归与Softmax回归的联系 与神经网络的关系 logistic回归(多分类)和softmax的关系&#xff1a…

spss-logistic回归

logistic回归的因变量可以是二分类的,也可以是多分类的,但是二分类的更为常用,也更加容易解释,多类可以使用softmax方法进行处理。 Logistic回归分析也用于研究影响关系,即X对于Y的影响情况。Y为定类数据,…

logistic回归——PYTHON实现

logistic回归——PYTHON实现 概述: ​ logistic回归又称logistic回归分析,是一种线性回归模型。logistic回归应用最广泛的是处理二分类问题。比如,探讨引发疾病的危险因素,判断该病人是否患有该病;探讨房价的涨跌&am…

二项logistic回归案例分析(附操作数据)

当因变量数据类型为分类变量时,线性回归不再适用,应当做logistic回归。根据因变量分类水平的不同,具体包括二项logistic回归、多项logistic回归和有序logistic回归。 1.案例背景与分析策略 1.1 案例背景介绍 现收集到银行贷款客户的个人、…

Logistic回归--实例

逻辑回归 Logistic回归一种二分类算法,它利用的是Sigmoid函数阈值在[0,1]这个特性。Logistic回归进行分类的主要思想是:根据现有数据对分类边界线建立回归公式,以此进行分类。其实,Logistic本质上是一个基于条件概率的判别模型(D…