【随机算法】Johnson-Lindenstrauss Theorem 详细解读

article/2025/9/25 18:48:39

前言

       最近经常接触降维, 主要是做图像处理和视频处理的维度实在是比较多, 降维这个可真是真正的技术活儿, 而且在不同情况下降维的选择至关重要, 可以说会影响到最终的结果,今天主要是详细讲解一下其中一种当今的降维准则. 


Johnson-Lindenstrauss Theorem的问题定义

       首先, JL要解决的问题非常简单(只是陈述比较简单而已), 在一个高维的欧式空间(距离用欧式距离表示) \mathbf{R}^d. 我们想要把这些点移动到一个低维的空间\mathbf{R}^k, 当时要保证空间转换后,没两两个点之间的距离几乎不变.
       正规点说就是, 找到一个映射关系:f:\mathbf{R}^d\rightarrow\mathbf{R}^k,里面任意两个点u,v,使得\|f(u)-f(v)\|和\|u-v\|只有一点点的不同,其中\|u-v\|=\sqrt{(u_1-v_1)^2+(u_2-v_2)^2+\ldots+(u_d-v_d)^2} ,\|u-v\|是两点的欧式距离.
    其实这个问题真的挺有意义的,因为维度太高会造成非常大的计算难度, 这样的转换后,"内容"没有改变,只是把"多余"的运算去掉了.


Johnson-Lindenstrauss Theorem

        JL理论证明了解决这个问题的可能性.
Johnson-Lindenstrauss Theorem
For any  0 < ε < 1 and any positive integer  n, let  k be a positive integer such that
k\ge4(\epsilon^2/2-\epsilon^3/3)^{-1}\ln n
Then for any set  V of  n points in  \mathbf{R}^d, there is a map  f:\mathbf{R}^d\rightarrow\mathbf{R}^k such that for all  u,v\in V,
(1-\epsilon)\|u-v\|^2\le\|f(u)-f(v)\|^2\le(1+\epsilon)\|u-v\|^2.
Furthermore, this map can be found in expected polynomial time.

        

The random projections

         映射关系 f:\mathbf{R}^d\rightarrow\mathbf{R}^k是可以随机构造的, 以下这种是JL在论文中用到的一种:
The projection (due to Johnson-Lindenstrauss)
Let  A be a random  k\times d matrix that projects  \mathbf{R}^d onto a  uniform random k-dimensional subspace.
Multiply  A by a fixed scalar  \sqrt{\frac{d}{k}}. For every  v\in\mathbf{R}^d,  v is mapped to  \sqrt{\frac{d}{k}}Av.

 构造后的点\sqrt{\frac{d}{k}}Av 是 \mathbf{R}^k的其中一个向量.

参数 \sqrt{\frac{d}{k}} 是为了保证\mathbf{E}\left[\left\|\sqrt{\frac{d}{k}}Av\right\|^2\right]=\|v\|^2.


     其实还有详细的证明，在论文中，有兴趣的可以看一个南京大学的讨论班，非常详细，分享地址：http://download.csdn.net/detail/luoyun614/8008745


http://chatgpt.dhexx.cn/article/bWKDdSe1.shtml

相关文章

最短路径算法--Dijkstra算法，Bellmanford算法，Floyd算法，Johnson算法

最短路径算法--Dijkstra算法，Bellmanford算法，Floyd算法，Johnson算法

最短路径算法 在交通地图上&#xff0c;两地点之间的路径通常标有长度&#xff0c;我们可以用加权有向来描述地图上的交通网。加权有向图中每条路径都有一个路径权值&#xff0c;大小为该路径上所有边的权值之和。本节将重点讨论顶点之间最短路径问题。在实际问题中&#xff0c…
阅读更多...
在有向图中找出所有简单环--Johnson算法

在有向图中找出所有简单环--Johnson算法

注&#xff1a;本算法和计算图所有结点对最短路径的Johnson算法不同。 目录 综述 代码解析 实例解析 引用 综述 Johnson算法由B. Johnson发表于1975年&#xff0c;用于在一个有向图中寻找所有简单环。时间复杂度上界为O((ne)(c1))&#xff0c;空间复杂度为O(ne)&#xff0…
阅读更多...
C#，图论与图算法，寻找加权有向图中所有顶点对之间的最短路径的约翰逊算法（Johnson‘s Algorithm）与源程序

C#，图论与图算法，寻找加权有向图中所有顶点对之间的最短路径的约翰逊算法（Johnson‘s Algorithm）与源程序

一、最短路径问题 问题是找到给定加权有向图中每对顶点之间的最短路径&#xff0c;权重可能为负。我们已经讨论了这个问题的Floyd-Warshall算法。Floyd-Warshall算法的时间复杂度为Θ&#xff08;V3&#xff09;。利用Johnson算法&#xff0c;我们可以在O&#xff08;V2log VV…
阅读更多...
最短路径算法——Dijkstra,Bellman-Ford,Floyd-Warshall,Johnson

最短路径算法——Dijkstra,Bellman-Ford,Floyd-Warshall,Johnson

本文内容框架&#xff1a; 1 Dijkstra算法 2 Bellman-Ford算法 3 Floyd-Warshall算法 4 Johnson算算法 5 问题归约 6 小结 常用的最短路径算法有&#xff1a;Dijkstra算法、Bellman-Ford算法、Floyd-Warshall算法、Johnson算法 最短路径算法可以分为单源点最短路径和全源最短路…
阅读更多...
0018算法笔记——【动态规划】流水作业调度问题与Johnson法则

0018算法笔记——【动态规划】流水作业调度问题与Johnson法则

1、问题描述&#xff1a; n个作业{1&#xff0c;2&#xff0c;…&#xff0c;n}要在由2台机器M1和M2组成的流水线上完成加工。每个作业加工的顺序都是先在M1上加工&#xff0c;然后在M2上加工。M1和M2加工作业i所需的时间分别为ai和bi。流水作业调度问题要求确定这n个作业的…
阅读更多...
转：johnson算法的现实意义

转：johnson算法的现实意义

Johnson算法是一种用于解决边数与节点数之间关系为O(n^2)的带权图的最短路径问题的算法。它是一种结合了Dijkstra算法和Bellman-Ford算法的技术&#xff0c;通过使用一个负权重的环检测器来消除负权重的影响。这种算法的时间复杂度为O(n^2m log n)。 Johnson算法是一种用于解决…
阅读更多...
约翰逊算法

约翰逊算法

阅读更多...
软件定义网络SDN基础实验：MiniNet常用命令、创建网络拓扑、OpenFlow流表操作

软件定义网络SDN基础实验：MiniNet常用命令、创建网络拓扑、OpenFlow流表操作

此实验基于《软件定义网络实验1-5》&#xff0c;主要内容为&#xff1a; MiniNet常用命令如何创建网络拓扑OpenFlow流表操作 00x1 搭建SDN环境 SDN 环境配置&#xff1a;Mininet Ryu 1. 测试环境是否搭建成功 启动Ryu&#xff0c;进入 /ryu/app&#xff0c;启动一个交换机…
阅读更多...
软件定义网络基础（SDN②）

软件定义网络基础（SDN②）

一.传统网络设备 1.传统设备控制平面和数据平面 2.数据平面的任务 在传统网络中&#xff0c;数据平面是指实际传输和处理数据的部分。它包括网络设备&#xff08;如交换机和路由器&#xff09;&#xff0c;它们通过将数据包从一个接口转发到另一个接口来实现数据传输。数据平面…
阅读更多...
软件定义网络SDN

软件定义网络SDN

一、为什么使用软件定义网络 传统网络及其设备只可配置&#xff0c;不可编程。网络的分布式控制与管理架构带来的制约&#xff0c;网络的部署、配置与管理需要落到每台设备上去手工完成&#xff0c;每个设备下都紧耦合了三个平面&#xff08;管理平面、控制平面、数据平面&…
阅读更多...
软件定义网络技术现状分析

软件定义网络技术现状分析

作者&#xff1a;郭春梅&#xff0c;启明星辰资深研究员&#xff0c;研究方向为云计算、虚拟化、SDN技术及安全 转载自&#xff1a;https://mp.weixin.qq.com/s?__bizMzAxNzExNjQ5NA&mid211287920&idx1&snd49893e9187e6055e79db8bb37e44408&scene1&fromg…
阅读更多...
SDN软件定义网络相关概念

SDN软件定义网络相关概念

总结 软件定义网络&#xff0c;已经逐渐成为云计算所依赖的重要技术支一&#xff0c;软件定义网络作为一种新型的网络架构&#xff0c;把网络控制平面和数据平面进行分离&#xff0c;其中控制平面拥有网络全局视图&#xff0c;集中控制网络资源&#xff0c;数据平面只转发数据…
阅读更多...
软件定义网络基础（SDN④）

软件定义网络基础（SDN④）

一&#xff1a;SDN控制平面 一个或多个SDN控制器组成&#xff0c;是网络的大脑。 对底层网络交换设备进行集中管理&#xff0c;状态监测、转发决策以及处理和调 度数据平面的流量&#xff1b;通过北向接口向上层应用开放多个层次的可编程能力。 1.典型的SDN控制器体系架构 SDN控…
阅读更多...
软件定义网络(SDN)工作原理

软件定义网络(SDN)工作原理

传统网络分布式控制架构: 管理平面: 管理设备&#xff08;SNMP&#xff09; 主要包括设备管理系统和业务管理系统&#xff0c;设备管理系统负责网络拓扑、设备接口、设备特性的管理&#xff0c;同时可以给设备下发配置脚本。业务管理系统用于对业务进行管理&#xff0c;比如业务…
阅读更多...
认识软件定义网络（SDN）（一）

认识软件定义网络（SDN）（一）

一、SDN体系结构简介 在传统IP网络中&#xff0c;网络设备内部同时集成了控制逻辑和数据逻辑&#xff0c;控制平面需要实现各种类型的网络协议和功能&#xff0c;为数据平面构造和配置路由转发表&#xff0c;而数据平面则根据路由转发表实现数据包的转发。一般来说&#xff0c…
阅读更多...
SDN（Software Defined Network） 软件定义网络学习

SDN（Software Defined Network） 软件定义网络学习

SDN&#xff08;Software Defined Network&#xff09; 软件定义网络学习 SDN是啥&#xff1f; 简单来说就是软件定义网络&#xff01;其旨在对现有的网络架构进行重构&#xff0c;使得我们能够像安装软件一样对网络进行修改&#xff0c;加快部署&#xff0c;提高网络可编程能…
阅读更多...
软件定义网络 Software Defined Network （一）概述

软件定义网络 Software Defined Network （一）概述

软件定义网络 Software Defined Network 本文将从以下3个问题对SDN进行阐述 1、为什么要有SDN&#xff1f; 伴随云计算、移动互联网和物联网的蓬勃兴起&#xff0c;应用与业务日益多元&#xff0c;而且快速且多变。网络系统的亚健康问题逐渐明显起来。传统网络工程的弊端日益…
阅读更多...
浅谈软件定义网络(SDN)技术研究现状和发展趋势

浅谈软件定义网络(SDN)技术研究现状和发展趋势

浅谈软件定义网络(SDN)技术研究现状和发展趋势 友情全文PDF链接&#xff1a;浅谈软件定义网络(SDN)技术研究现状和发展趋势.pdf-网络基础文档类资源-CSDN下载 长久以来&#xff0c;硬件在网络世界中保持着至高无上的地位。直到2008年斯坦福大学的学者提出 OpenFlow[1]&#xf…
阅读更多...
软件定义的网络（中）

软件定义的网络（中）

SDN的出现打破了传统网络设备制造商独立而封闭的控制面结构体系&#xff0c;将改变网络设备形态和网络运营商的工作模式&#xff0c;对网络的应用和发展将产生直接影响。 从技术层面和应用层面来看&#xff0c;SDN的特点主要体现在以下几个方面&#xff1a; 数据平面与控制平…
阅读更多...
软件定义网络(PART 3)

软件定义网络(PART 3)

软件定义网络PART 3 数据平面SDN数据平面传统网络数据平面传统网络数据平面的特点SDN数据平面SDN数据平面的特点OpenFlow Switch通用转发模型通用可编程转发模型 OpenFlow 概述OpenFlow架构三个组成部分OpenFlow主要版本及特性单流表到多级流表的架构 Open Flow 流表什么是流表…
阅读更多...
推荐文章

Copyright @ 2022~2023