LSF_术语及概念

article/2025/10/26 4:10:28

术语及概念

作业状态:

  • PEND:在队列中等待调度和分派。
  • RUN:分配给指定主机并运行。
  • DONE:返回值为0,正常结束。
  • PSUSP:在调度和分派时暂停。(具体暂停条件待考究)
  • USUSP:由用户手动进行暂停。
  • SSUSP:由LSF系统暂停。(具体暂停条件待考究)
  • POST_DONE:处理完成无误。 POST_ERR:处理完成有误。
  • UNKWN:mbatchd守护进程同作业运行主机的sbatchd守护进程失去通讯。
  • WAIT:对于提交的作业到负载大的作业队列,这个队列里作业成员等待运行。

主机

  • HOST
    集群中一台单独的计算机
    每个主机可能有多个处理器。多处理器主机用于运行并行作业。具有单个进程队列的多处理器主机被认为是一台机器。一个装满处理器的盒子(每个处理器都有自己的进程队列)被视为一组独立的机器。
    注:主机的名称应该是唯一的。它们不能与集群名称或为集群定义的任何队列相同。

  • Job:
    一个lsf job是一个运行在lsf系统中的作业单元。
    Job是由bsub命令行提交到lsf系统执行,通过配置的策略来进行调度,控制和跟踪。
    job可以是复杂的问题,模拟场景,广泛的计算,任何需要计算能力的事情。

  • Job file
    当作业提交给队列时,LSF将其保存在作业文件中,直到条件适合运行为止。然后,使用作业文件来运行作业。
    在UNIX上,作业文件是在执行时运行的Bourne shell脚本。
    在Windows上,作业文件是在执行时处理的批处理文件。

  • Interactive batch job
    交互式批处理作业是允许您与应用程序交互的批处理作业,并且仍然可以利用LSF调度策略和容错能力。
    所有输入和输出都是通过用于键入作业提交命令的终端进行的。
    提交交互式作业时,会在作业等待调度时显示一条消息。在交互作业完成或终止之前,不能提交新的作业。

  • Interactive task
    交互式任务是一个命令,它不提交给批处理队列,而是立即调度执行。
    LSF定位任务所需的资源,并在具有所需资源且负载较轻的候选主机中选择最佳主机。每个命令可以是单个进程,也可以是一组协作进程。
    运行任务时不使用LSF的批处理特性,但仍然具有资源需求和根据负载选择运行任务的最佳主机的优势。

  • Local task
    本地任务是没有远程运行意义的应用程序或命令。
    例如UNIX系统下的ls命令。

  • Remote task
    远程任务是可以在集群中的另一台机器上运行的应用程序或命令。

  • Host types and host models
    LSF中的主机分为主机类型和主机型号。
    在这里插入图片描述

  • Host type
    LSF主机类型是操作系统和主机CPU架构的组合。
    在同一计算机体系结构上运行同一操作系统的所有计算机都属于同一类型。这些主机是二进制兼容的。
    每种主机类型通常需要一组不同的LSF二进制文件。

  • Host model
    LSF主机模型是计算机的主机类型,它决定了在负载和位置计算中应用的CPU速度缩放系数。
    在分配作业时要考虑CPU因素。

  • Resourse
    LSF资源是LSF系统资源中的对象,LSF使用这些资源跟踪作业需求并根据作业在各个主机上的可用性调度作业。

  • Resourse usage
    LSF系统使用内置和配置的资源来跟踪资源的可用性和使用情况。作业是根据各个主机上的可用资源来调度的。
    通过LSF系统提交的作业在运行时使用的资源将受到监视。该信息用于执行资源限制和负载阈值,以及fairshare调度。
    LSF收集以下信息:

    • 作业中所有进程消耗的总CPU时间
    • 作业中当前运行的所有进程的总常驻内存使用(以KB为单位)
    • 作业中当前运行的所有进程的虚拟内存使用总量(以KB为单位)
    • 作业中当前活动的进程组ID
    • 作业中当前活动的进程
  • Load indices
    负载指标衡量集群中主机上动态的、非共享的资源的可用性。建立在LIM中的负载指数以固定的时间间隔进行更新。

  • External load indices
    由LSF管理员定义和配置,并由外部负载信息管理器(ELIM)程序收集。当收到新值时,ELIM也会更新LIM。

  • Static resources
    表示不随时间变化的主机信息的内置资源,例如用户进程可用的最大RAM或一台机器中的处理器数量。大多数静态资源在启动时由LIM决定。
    可以使用静态资源为基于二进制体系结构、相对CPU速度和系统配置的特定作业选择适当的主机。

  • Load thresholds
    LSF管理员可以配置两种负载阈值来调度队列中的作业。每个负载阈值指定一个负载索引值:负载调度负载阈值决定分派待调度任务的负载条件。如果主机的负载超过任何已定义的loadSched,则无法在该主机上启动作业。此阈值也用作恢复暂停作业的条件。loadStop负载阈值决定了什么时候可以挂起正在运行的作业。要调度主机上的作业,该主机上的负载级别必须同时满足为该主机配置的阈值和分配作业的队列的阈值。负载索引的值可以随负载增加或减少,这取决于特定负载索引的含义。因此,当您将主机负载情况与阈值进行比较时,需要根据负载指数选择大于(>)或小于(<)。

  • Runtime resource usage limits
    在作业运行时限制资源的使用。当作业消耗的资源超过指定数量时,就会发出信号。

  • Hard and soft limits
    在队列级别指定的资源限制是硬限制,而通过作业提交指定的限制是软限制。有关硬限制和软限制的信息。

  • Resource allocation limits
    限制在为不同的作业类别启动作业进行作业调度期间必须可用的资源数量,以及限制适用于哪些资源使用者。如果所有资源都被消耗,那么在释放部分资源之前,将无法启动更多的作业

  • Resource requirements (bsub -R)
    sub -R选项指定作业的资源需求。资源需求限制了作业可以在哪些主机上运行。符合资源要求的主机即为候选主机。当LSF调度作业时,它收集所有候选主机的负载索引值,并将它们与调度条件进行比较。只有当所有负载值都在调度阈值内时,才会将作业分派给主机。


http://chatgpt.dhexx.cn/article/EZhg0hC5.shtml

相关文章

LSF - 基础 - 管理

LSF - 基础 - 管理 在LSF环境下工作 启动、停止与重新配置LSF 使用 LSF 管理命令 lsadmin 和 badmin 来启动和停止 LSF 守护进程&#xff0c;并重新配置集群属性。 两个 LSF 管理命令&#xff08;lsadmin 和 badmin&#xff09; 这两个命令只有LSF管理员或root能运行。 要…

【学习OpenCV4】案例1:Windows OpenCV C++语言开发环境搭建

本文的案例内容源自于图书**《学习OpenCV 4&#xff1a;基于Python的算法实战》**&#xff0c;该书是国内第一本完整介绍OpenCV4的图书&#xff0c;第一章有在各个平台搭建环境的介绍&#xff0c;后面每个章节都有对模块的导读、模块经典算法的案例介绍以及进阶阅读&#xff0c…

【学习OpenCV4】OpenCV4入门介绍

本文内容大部分来自图书《学习OpenCV 4&#xff1a;基于Python的算法实战》&#xff0c;该书是国内第一本完整介绍OpenCV4的图书&#xff0c;第一章有在各个平台搭建环境的介绍&#xff0c;后面每个章节都有对模块的导读、模块经典算法的案例介绍以及进阶阅读&#xff0c;适合图…

学习OpenCV(1)概述

目录 基础知识 OpenCV的起源与目标 练习 基础知识 什么是OpenCV OpenCV是一个开源的计算机视觉库。OpenCV设计用于进行高效的计算&#xff0c;十分强调实时应用的开发。 什么是计算机视觉 计算机视觉这种技术可以将静止图像或视频数据转换为一种决策或新的表示。所有这种…

学习OpenCV3:Cmake+MinGW编译OpenCV

1. 准备 1.1 下载OpenCV源码 OpenCV下载地址1&#xff1a;https://opencv.org/releases/ OpenCV下载地址2&#xff1a;https://github.com/opencv/opencv/releases OpenCV下载地址3&#xff1a;https://github.com/opencv/opencv 提示&#xff1a;下载地址1和下载地址2可以直…

【学习OpenCV4】键盘鼠标操作总结

本文分享内容来自图书《学习OpenCV 4&#xff1a;基于Python的算法实战》&#xff0c;该书内容如下&#xff1a; 第1章 OpenCV快速入门&#xff1b; 第2章 图像读写模块imgcodecs&#xff1b; 第3章 核心库模块core&#xff1b; 第4章 图像处理模块imgproc&#xff08;一&…

【学习OpenCV4】OpenCV4与opencv-contrib模块介绍

本文分享内容来自图书《学习OpenCV 4&#xff1a;基于Python的算法实战》&#xff0c;该书刚刚上市&#xff0c;是国内第一本系统讲解OpenCV4各个模块的图书&#xff0c;配套案例深入浅出的讲解。第一章有在各个平台搭建环境的介绍&#xff0c;后面每个章节都有对模块的导读、模…

学习OpenCV

因为一些项目需要&#xff0c;最近在学习OpenCv&#xff0c;以下是一些学习OpenCv这本书的一些简介&#xff0c;教程下载地址&#xff1a;《学习OpenCv》 《学习OpenCV》&#xff1a;计算机视觉是在图像处理的基础上发展起来的新兴学科。OpenCV是一个开源的计算机视觉库&#x…

学习opencv.js(1)图像入门

目标&#xff1a;了解如何阅读图像以及如何在网络中显示它。 读取图像&#xff1a;OpenCV.js 将图像保存为cv.Mat类型。我们使用 HTML 画布元素将cv.Mat传输到网络或反向传输。ImageData 接口可以表示或设置画布元素区域的底层像素数据。 1.从画布创建一个 ImageData对象 le…

学习OpenCV3:MinGW编译OpenCV到vs_version.rc.obj处出错

1. 错误描述 [ 65% ] Building RC object modules/world/CMakeFiles/opencv_world.dir/vs_version.rc.obj gcc: error: long: No such file or directory C:\Mingw-w64\mingw32\bin\windres.exe: preprocessing failed. mingw32-make[2]: *** [modules\world\CMakeFiles\opencv…

【从零学习OpenCV 4】opencv_contrib扩展模块的安装

本文首发于“小白学视觉”微信公众号&#xff0c;欢迎关注公众号 本文作者为小白&#xff0c;版权归人民邮电出版社所有&#xff0c;禁止转载&#xff0c;侵权必究&#xff01; 经过几个月的努力&#xff0c;小白终于完成了市面上第一本OpenCV 4入门书籍《OpenCV 4开发详解》。…

如何学习opencv源码

如何学习opencv源码 当你在使用opencv时&#xff0c;看到一个函数有没有想去了解他的源码&#xff0c;而又无从下手?这里我将带你脱离这种尴尬的境遇&#xff01; 面对这个问题&#xff0c;我自己也查找过许多的资料&#xff0c;网上有这样一种做法&#xff0c;步骤如下&…

从零开始学习opencv——在虚拟环境下安装opencv环境

毕设准备做cv相关项目&#xff0c;今天开始学习cv基础知识&#xff0c;课程为B站“【不要再看那些过时的OpenCV老教程了】2022巨献&#xff0c;OpenCV零基础小白最新版全套教程(人工智能机器视觉教程)” 0.自行安装python3.7,注意版本不能过高或过低&#xff0c;注意安装64位版…

【学习OpenCV4】OpenCV入门精讲(C++/Python双语教学)

大家好&#xff0c;我在CSDN开的OpenCV课程已经开课了&#xff0c;入口如下&#xff1a; OpenCV入门精讲&#xff08;C/Python双语教学&#xff09; 课程开始快一周了&#xff0c;收到了广大同学们的欢迎。 &#xff08;1&#xff09;评分很高&#xff1b; &#xff08;2&#…

opencv 深度学习

深度学习简史 深度学习很早就被提出&#xff0c;但一直停滞不前2011&#xff0c;微软在语言识别上使用&#xff0c;取得了突破2012&#xff0c;DNN在图像识别领域取得了惊人的效果&#xff0c;在ImageNet评测的错误率从26%降到了15%2016&#xff0c;AlphaGo击败人类&#xff0…

【学习OpenCV4】案例3:OpenCV Python语言开发环境搭建

本书分享内容来自图书学习OpenCV 4&#xff1a;基于Python的算法实战》&#xff0c;该书刚刚上市&#xff0c;是国内第一本系统讲解OpenCV4各个模块的图书&#xff0c;配套案例深入浅出的讲解。第一章有在各个平台搭建环境的介绍&#xff0c;后面每个章节都有对模块的导读、模块…

在pycharm2021.2中学习opencv图像处理,基于python3.9.7、pycharm完成配置

在pycharm中学习opencv图像处理 安装python下载python安装包开始安装 安装pycharm社区版下载pycharm安装包开始安装 启动pycharm创建第一个项目创建第一个项目设置项目存放路径首次运行python程序下载opencv-python库、添加解释器配置 开始图像处理的学习&#xff01;打开下载好…

【从零学习OpenCV 4】Windows系统中安装OpenCV 4

本文首发于“小白学视觉”微信公众号&#xff0c;欢迎关注公众号 本文作者为小白&#xff0c;版权归人民邮电出版社所有&#xff0c;禁止转载&#xff0c;侵权必究&#xff01; 经过几个月的努力&#xff0c;小白终于完成了市面上第一本OpenCV 4入门书籍《OpenCV 4开发详解》。…

【从零学习OpenCV 4】了解OpenCV的模块架构

本文首发于“小白学视觉”微信公众号&#xff0c;欢迎关注公众号 本文作者为小白&#xff0c;版权归人民邮电出版社所有&#xff0c;禁止转载&#xff0c;侵权必究&#xff01; 经过几个月的努力&#xff0c;小白终于完成了市面上第一本OpenCV 4入门书籍《OpenCV 4开发详解》。…