LSF集群基本概念介绍

article/2025/10/26 0:57:37

集群的基本概念-作业

  • 作业是集群中最重要的一个概念,用户通过提交作业申请集群计算资源,完成计算任务
  • 作业状态
    • PEND (待定)- - 作业在队列中等待调度与分派
    • RUN (运行)- - 作业已经被分派到节点机上,正在运行
    • DONE (完成)- - 作业已正常结束,正常退出值为0
    • EXIT (退出)- - 作业已经结束,但退出值不是0
    • PSUSP(待定挂起)- - 作业在待定时被挂起
    • USUSP(用户挂起)- - 作业被用户指定挂起
    • SSUSP(系统挂起)- - 作业被L S F系统挂起
    • POST_DONE(后处理完成)- - 作业的后处理动作,成功完成
    • POST_ ERR(后处理出错)- - 作业的后处理动作,出错
    • UNKWN(不确定)- - mb a t c h d与执行节点机上的s b a t c hd失去联系从而使作业状态不确定
    • ZOMBI(僵尸)- - 作业成为僵尸是因为系统失去了与作业执行节点机的联系

集群的基本概念-作业状态

在这里插入图片描述

集群的基本概念-队列

• 用户提交的作业首先被放到特定的队列中
• 队列相当于一系列的待发作业,待发作业在队列中按照预定的顺序排列并等待着使用资源的机会
• 队列实施不同的作业调度和控制策略。所有提交到同一队列中的作业,拥有相同的作业调度与控
制策略
• 队列一些基本属性:
 名称:这是队列唯一的标识
 优先级:队列中的作业使用资源的优先级越高
 队列限制:可以限制节点,作业数目,用户,组,处理器等
 调度策略:先到先服务策略(FCFS)、公平策略、抢占策略、排它策略
 调度窗口:队列中的作业使用集群资源的时间窗口

参考资料1:https://www.ibm.com/docs/en/spectrum-lsf/10.1.0?topic=execution-about-job-states
参考资料2:https://www.ibm.com/docs/en/spectrum-lsf/10.1.0?topic=execution-managing-job
参考资料3:https://www.ibm.com/docs/en/spectrum-lsf/10.1.0?topic=execution-view-job-information


http://chatgpt.dhexx.cn/article/WVZ7ppFl.shtml

相关文章

LSF client安装

在master01节点添加: [rootmaster01 conf]# pwd /share01/app/lsf/conf [rootmaster01 conf]# ls cshrc.lsf lsf.cluster.nju_cluster1 lsf.shared perl.lsf ego lsf.conf lsf.shared.old profile.lsf lsbatch lsf.entitlement…

LSF Reordering

可通过[! ]重新排序作业调度主机。 假设: 主机resh1110h220 假设如上两个作业处于pending状态,在同一个调度周期内被调度器考虑,首先调度job1。 在调度周期的早期,通过获取集群中的所有主机或任何(-m)请求的主机列表中列出的主机…

LSF安装部署

前言 目前,市面上主流的HPC调度器分为LSF、SGE、Slurm、SGE四大类型,不同行业根据自身场景和不同调度器对应用支持力度的不同,往往会有不同的偏好,在芯片设计公司中最常用的是LSF LSF(Load Sharing Facility&#xf…

关于LSF的高级用法

1、通过脚本查询Job的利用率和所占的Core数,从而管理低利用率的Job。 •通过脚本查询JOB的利用率和所占的CORE数,从而管理低利用率的JOB。 •低CPU利用率的JOB要特别小心,最可能存在2个原因:JOB缺少LICENSE导致等待;存…

LSF_术语及概念

术语及概念 作业状态: PEND:在队列中等待调度和分派。RUN:分配给指定主机并运行。DONE:返回值为0,正常结束。PSUSP:在调度和分派时暂停。(具体暂停条件待考究)USUSP:由…

LSF - 基础 - 管理

LSF - 基础 - 管理 在LSF环境下工作 启动、停止与重新配置LSF 使用 LSF 管理命令 lsadmin 和 badmin 来启动和停止 LSF 守护进程,并重新配置集群属性。 两个 LSF 管理命令(lsadmin 和 badmin) 这两个命令只有LSF管理员或root能运行。 要…

【学习OpenCV4】案例1:Windows OpenCV C++语言开发环境搭建

本文的案例内容源自于图书**《学习OpenCV 4:基于Python的算法实战》**,该书是国内第一本完整介绍OpenCV4的图书,第一章有在各个平台搭建环境的介绍,后面每个章节都有对模块的导读、模块经典算法的案例介绍以及进阶阅读&#xff0c…

【学习OpenCV4】OpenCV4入门介绍

本文内容大部分来自图书《学习OpenCV 4:基于Python的算法实战》,该书是国内第一本完整介绍OpenCV4的图书,第一章有在各个平台搭建环境的介绍,后面每个章节都有对模块的导读、模块经典算法的案例介绍以及进阶阅读,适合图…

学习OpenCV(1)概述

目录 基础知识 OpenCV的起源与目标 练习 基础知识 什么是OpenCV OpenCV是一个开源的计算机视觉库。OpenCV设计用于进行高效的计算,十分强调实时应用的开发。 什么是计算机视觉 计算机视觉这种技术可以将静止图像或视频数据转换为一种决策或新的表示。所有这种…

学习OpenCV3:Cmake+MinGW编译OpenCV

1. 准备 1.1 下载OpenCV源码 OpenCV下载地址1:https://opencv.org/releases/ OpenCV下载地址2:https://github.com/opencv/opencv/releases OpenCV下载地址3:https://github.com/opencv/opencv 提示:下载地址1和下载地址2可以直…

【学习OpenCV4】键盘鼠标操作总结

本文分享内容来自图书《学习OpenCV 4:基于Python的算法实战》,该书内容如下: 第1章 OpenCV快速入门; 第2章 图像读写模块imgcodecs; 第3章 核心库模块core; 第4章 图像处理模块imgproc(一&…

【学习OpenCV4】OpenCV4与opencv-contrib模块介绍

本文分享内容来自图书《学习OpenCV 4:基于Python的算法实战》,该书刚刚上市,是国内第一本系统讲解OpenCV4各个模块的图书,配套案例深入浅出的讲解。第一章有在各个平台搭建环境的介绍,后面每个章节都有对模块的导读、模…

学习OpenCV

因为一些项目需要,最近在学习OpenCv,以下是一些学习OpenCv这本书的一些简介,教程下载地址:《学习OpenCv》 《学习OpenCV》:计算机视觉是在图像处理的基础上发展起来的新兴学科。OpenCV是一个开源的计算机视觉库&#x…

学习opencv.js(1)图像入门

目标:了解如何阅读图像以及如何在网络中显示它。 读取图像:OpenCV.js 将图像保存为cv.Mat类型。我们使用 HTML 画布元素将cv.Mat传输到网络或反向传输。ImageData 接口可以表示或设置画布元素区域的底层像素数据。 1.从画布创建一个 ImageData对象 le…

学习OpenCV3:MinGW编译OpenCV到vs_version.rc.obj处出错

1. 错误描述 [ 65% ] Building RC object modules/world/CMakeFiles/opencv_world.dir/vs_version.rc.obj gcc: error: long: No such file or directory C:\Mingw-w64\mingw32\bin\windres.exe: preprocessing failed. mingw32-make[2]: *** [modules\world\CMakeFiles\opencv…

【从零学习OpenCV 4】opencv_contrib扩展模块的安装

本文首发于“小白学视觉”微信公众号,欢迎关注公众号 本文作者为小白,版权归人民邮电出版社所有,禁止转载,侵权必究! 经过几个月的努力,小白终于完成了市面上第一本OpenCV 4入门书籍《OpenCV 4开发详解》。…

如何学习opencv源码

如何学习opencv源码 当你在使用opencv时,看到一个函数有没有想去了解他的源码,而又无从下手?这里我将带你脱离这种尴尬的境遇! 面对这个问题,我自己也查找过许多的资料,网上有这样一种做法,步骤如下&…

从零开始学习opencv——在虚拟环境下安装opencv环境

毕设准备做cv相关项目,今天开始学习cv基础知识,课程为B站“【不要再看那些过时的OpenCV老教程了】2022巨献,OpenCV零基础小白最新版全套教程(人工智能机器视觉教程)” 0.自行安装python3.7,注意版本不能过高或过低,注意安装64位版…

【学习OpenCV4】OpenCV入门精讲(C++/Python双语教学)

大家好,我在CSDN开的OpenCV课程已经开课了,入口如下: OpenCV入门精讲(C/Python双语教学) 课程开始快一周了,收到了广大同学们的欢迎。 (1)评分很高; (2&#…