凸集与非凸集,凸函数与凹函数,凸优化

article/2025/9/12 3:17:17

关于凸集与非凸集,凸函数与凹函数,凸优化的概念一直混淆,在此整理下相关定义和概念,希望给有需要的人。
凸集:集合中的任意两点连线的点都在该集合中,则称该集合为凸集;凹集为非凸集。

函数的凹凸是由函数“上方”集合的凹凸性决定的,该集合为凸集则该函数为凸函数,该集合为凹集则该函数为凹函数。
凹函数: concave function,简单理解为对曲线上任意两点连线上的点对应的函数值不小于该两点对应的函数值得连线上的值;
严格凹函数:strictly concave function,简单理解为对曲线上任意两点连线上的点对应的函数值大于该两点对应的函数值得连线上的值;
凹函数示例
这里写图片描述

凸函数: convex function,简单理解为对曲线上任意两点连线上的点对应的函数值不大于该两点对应的函数值得连线上的值;
严格凸函数:strictly convex function,简单理解为对曲线上任意两点连线上的点对应的函数值小于该两点对应的函数值得连线上的值;
这里写图片描述
这里写图片描述
凸优化:约束条件为凸集,目标函数为凹函数
凸优化存在全局最优解,换句话说,局部最优解是全局最优解,有现成的算法和软件包来求解,比如梯度下降法等。

p.s.:中国的教材对凹函数和凸函数的定义和外国的相反。

参考:https://en.wikipedia.org/wiki/Convex_function
https://en.wikipedia.org/wiki/Concave_function


http://chatgpt.dhexx.cn/article/EsdDM8yT.shtml

相关文章

最优化——凸集

引言 这是中科大最优化理论的笔记,中科大凌青老师的凸优化课程,详尽易懂,基础扎实。不论是初学者还是从业多年的人,都值得系统地好好学一遍。 本文介绍什么是凸集、凸包与凸锥包。 仿射集 我们先来看最简单的凸集——仿射集(A…

凸集

本文参考自清华大学研究生公共课教材——数学系列《最优化理论与算法》(第二版) 一:凸集 定义:设S为n维欧式空间中中的一个集合,若对S中任意两点,联结它们的线段仍属于S,称这样的集合S是一个凸…

凸集(Convex sets)

凸集(Convex sets) 1.仿射集和凸集 仿射集(Affine set): 定义:如果通过C中任意两个不同点的线位于C中,则集合C⊆Rn就是仿射 其中, 凸集(Convex set): 定义:如果C中的任意两点之间的…

【深度学习】logistic回归模型

目录 神经网络 数据、符号准备: logistic回归: 损失函数和代价函数: 梯度下降法: 向量化: 神经网络 我们学习深度学习的目的就是用于去训练神经网络,而神经网络是什么呢?我们先来看下面一…

十分钟理解logistic回归原理

关于逻辑回归的分类算法,很多书籍都有介绍,比较来看,还是**李航老师的书《统计学习方法》**里介绍的更清楚,若大家有时间,请不要偷懒,还是建议从头开始看李航老师的书,这本书简洁明了&#xff0…

python数据挖掘学习笔记——logistic逻辑回归实现

Logistic逻辑回归分析 logistic模型的基本介绍python中实现logistic回归模型的评价混淆矩阵ROC曲线,AUC值 Logistic模型是经典的用于分类问题的模型,通常用于判断一件事物的好坏或将其分类。本文着重介绍logistic模型的在二分类上的应用,对于…

logistic回归分类与softmax回归

目录 Logistic回归 逻辑回归的定义式: 损失函数 梯度下降 Logistic回归防止过拟合: Softmax回归: loss函数 逻辑回归与Softmax回归的联系 与神经网络的关系 logistic回归(多分类)和softmax的关系&#xff1a…

spss-logistic回归

logistic回归的因变量可以是二分类的,也可以是多分类的,但是二分类的更为常用,也更加容易解释,多类可以使用softmax方法进行处理。 Logistic回归分析也用于研究影响关系,即X对于Y的影响情况。Y为定类数据,…

logistic回归——PYTHON实现

logistic回归——PYTHON实现 概述: ​ logistic回归又称logistic回归分析,是一种线性回归模型。logistic回归应用最广泛的是处理二分类问题。比如,探讨引发疾病的危险因素,判断该病人是否患有该病;探讨房价的涨跌&am…

二项logistic回归案例分析(附操作数据)

当因变量数据类型为分类变量时,线性回归不再适用,应当做logistic回归。根据因变量分类水平的不同,具体包括二项logistic回归、多项logistic回归和有序logistic回归。 1.案例背景与分析策略 1.1 案例背景介绍 现收集到银行贷款客户的个人、…

Logistic回归--实例

逻辑回归 Logistic回归一种二分类算法,它利用的是Sigmoid函数阈值在[0,1]这个特性。Logistic回归进行分类的主要思想是:根据现有数据对分类边界线建立回归公式,以此进行分类。其实,Logistic本质上是一个基于条件概率的判别模型(D…

SPSS(八)logistic回归(图文+数据集)

SPSS(八)logistic回归 我们之前的线性回归也好、线性回归衍生方法也好、非线性回归也好,因变量的类型都是连续性的,假如因变量的类型是分类的呢?logistic回归针对的是二分类的因变量 logistic回归 基于线性回归模型…

2.2、logistic回归

一、什么是logistics回归 首先我们先要了解回归的概念,现有一些数据点,我们用 一条直线对这些点进行拟合,该线称为最佳拟合直线,这个拟合过程就称作回归。logistic回归虽然说是回归,但确是为了解决分类问题&#xff0…

Logistic Regression(逻辑回归)详细讲解

Logistic Regression(逻辑回归) 以前在学校学到Logistic Regression的时候,虽然最后会使用,但是对于许多地方有很多的疑惑,今天在这里详细梳理一下Logistic Regression的过程: Logistic Regression逻辑回归 回归的思想Logistic R…

第13章Stata Logistic回归分析

目录 13.1二元Logistic回归分析 案例延伸 延伸1:设定模型预测概率得具体值 延伸2:使用Probit模型对二分类因变量进行拟合 13.2多元Logistic回归分析 案例延伸 延伸:根据模型预测每个样本视力低下程度的可能性 13.3有序Logistic回归 …

机器学习笔记-Logistic回归

0 - 回顾 l i n e a r r e g r e s s i o n linear\ regression linear regression如果使用平方错误的话,我们可以很方便的解析出最好的 w w w是什么。即 w b e s t X † y w_{ best}X^{\dagger} y wbest​X†y 1 - 逻辑斯蒂回归问题 1.1 - 问题的提出 从一个人…

logistic回归详解

逻辑斯谛回归(logistic regression)是统计学习中的经典分类方法,虽然带有回归的字眼,但是该模型是一种分类算法,逻辑斯谛回归是一种线性分类器,针对的是线性可分问题。利用logistic回归进行分类的主要思想是…

机器学习笔记(六)Logistic回归

目录 一、什么是Logistics回归 二、sigmoid函数 三、梯度上升法 四、代码实现 数据导入 决策边界 梯度上升 五、总结 一、什么是Logistics回归 logistic回归是一种广义线性回归(generalized linear model),因此与多重线性回归分析有很多相…

【机器学习】Logistic回归(重新整理)

Logistic回归学习笔记 Logistic回归学习线路预备知识:建议先去B站学习一下信息量,熵,BL散度,交叉熵的概念。Logistic回归的函数模型损失函数、损失最小化架构对数损失作为损失函数损失最小化架构 分类函数最大概率分类函数阈值分类…

C语言 fprintf 函数 - C语言零基础入门教程

目录 一.fprintf 函数简介二.fprintf 函数使用三.猜你喜欢 零基础 C/C 学习路线推荐 : C/C 学习目录 >> C 语言基础入门 一.fprintf 函数简介 fprintf 是 C / C 中的一个格式化库函数,位于头文件 中,其作用是格式化输出到一个流文件中&#xff1…