关于LSF的高级用法

article/2025/10/26 4:14:27

1、通过脚本查询Job的利用率和所占的Core数,从而管理低利用率的Job。

•通过脚本查询JOB的利用率和所占的CORE数,从而管理低利用率的JOB。
•低CPU利用率的JOB要特别小心,最可能存在2个原因:JOB缺少LICENSE导致等待;存储IO过高,导致JOB一会儿用CPU,一会儿不用。

2、通过BSTAT脚本,同时看到某台服务器的LSLOAD信息和BHOSTS,LSHOSTS相关信息

•建议显示一起上相关信息,可以指定某台主机或者某个主机组。

3、配置Explorer,使用ElasticSearch来存储Job相关信息,可以快速查询某个用户、某个项目,在某段时间内对服务器的使用情况。

4、允许Job可以resize

•LSF可以通过LSB.APPLICATIONS 引入特定设置,允许用户的JOB,可以被RESIZE。比如用户不确定自己提交多少个CPU,就可能一次提交16个CPU,实际上跑起来才用4个。那么我们能否修正,让用户只占用4个CPU即可。

5、自动绑定core,避免NUMA节点的时候,Job在多个Core上漂移,一般我们在short和normal的队列,只允许一个Job用一个CPU core

6、配置严格的LDAP群组提交权限限制

•首先,可以通过LINUX群组跟项目对应的方式,将每个项目对应多个LINUX群组。比如某个PROJECTA,可以有UG-PROJECTA-DESIGN UG-PROJECTA-VERIFY UG-PROJECTA-COT几个群组。•然后,可以通过BSUB -G UG-PROJECTA-XX来严格限制LINUX的群组跟项目提交权限统一,只有加入了对应的UG-PROJECTA-XX的用户,才能利用这个-G UG-PROJECT-XX来提交JOB,这样可以跟踪到某个项目使用了多少资源,哪些用户在用什么群组提交JOB。
•这里需要配置3个地方:ETC/EGROUP、LSB.USERS 、ETC/ESUB

7、配置guarantee资源池

•保障资源,在LSF内,主要有2种方式存在:SLOTS GUARANTEE和HOSTS GUARANTEE两种。分别对应的方式是,按SLOTS配置,某个项目,需要多少个CORE,一般就配置这种保障;项目另外一些情况,需要按HOST来保证,尽量让自己的项目能够独占某台服务器。HOSTS保证类似给某个项目给出一些专用服务器,但是这些服务器是动态提供的,而不是固定允许某个用户一直占用。因为固定提供的专用机,非常难以管理,利用率也非常低。

•两种保障方式,使用场景不同,一般SLOTS保障,用于大量验证的情况,比如模拟的模块SPICE仿真,数字的REGRESSION验证。后端K库也可以用SLOTS保障。而HOSTS保障,经常用于综合,STA,BES,PD&PR等场景。

8、配置DISPLAY变量,让其始终指向我们的ETX桌面

•准确地说,这个配置不是LSF的,但是在我们IC设计中,却经常会遇到一些比如BSUB无法提交交互任务的情况,如何解决呢?其实思路很简单。就是在.CSHRC增加一个SOURCE CSHRC.DISPLAY,然后在CSHRC.DISPLAY这个文件内,我们在LOGIN服务器上,将DISPLAY变量写入到.DISPLAY文件,然后在其他服务器上会首先去读取这个文件内容,然后再设置一下DISPLAY变量即可。

9、LSF设置elim信息,比如/local磁盘剩余大小

10、配置内存不足自动挂起Job

•如果不采用LSF,我们经常会遇到服务器因为内存不足,服务器挂死的情况。因为内存不足,JOB还在跑,不断申请新的内存,最后就是使用SWAP,进而很慢,逐步走向服务器死机状态,导致这台服务器上跑的所有JOB都挂掉。如何避免这种情况呢?采用LSF就简单多了。

•其实不止内存,还有其他比如/TMP空间不足,服务器瞬时负载过大等情况。

以上便是关于LSF的一些高级用法的介绍,希望能给大家带来帮助,想要了解更多LSF相关资讯,可搜索:江苏信瑞一芯科技有限公司~~~江苏信瑞一芯科技有限公司是国内IBM的银牌代理商、netapp的金牌代理商。在这里插入图片描述

在这里插入图片描述


http://chatgpt.dhexx.cn/article/Hjp6nZ17.shtml

相关文章

LSF_术语及概念

术语及概念 作业状态: PEND:在队列中等待调度和分派。RUN:分配给指定主机并运行。DONE:返回值为0,正常结束。PSUSP:在调度和分派时暂停。(具体暂停条件待考究)USUSP:由…

LSF - 基础 - 管理

LSF - 基础 - 管理 在LSF环境下工作 启动、停止与重新配置LSF 使用 LSF 管理命令 lsadmin 和 badmin 来启动和停止 LSF 守护进程,并重新配置集群属性。 两个 LSF 管理命令(lsadmin 和 badmin) 这两个命令只有LSF管理员或root能运行。 要…

【学习OpenCV4】案例1:Windows OpenCV C++语言开发环境搭建

本文的案例内容源自于图书**《学习OpenCV 4:基于Python的算法实战》**,该书是国内第一本完整介绍OpenCV4的图书,第一章有在各个平台搭建环境的介绍,后面每个章节都有对模块的导读、模块经典算法的案例介绍以及进阶阅读&#xff0c…

【学习OpenCV4】OpenCV4入门介绍

本文内容大部分来自图书《学习OpenCV 4:基于Python的算法实战》,该书是国内第一本完整介绍OpenCV4的图书,第一章有在各个平台搭建环境的介绍,后面每个章节都有对模块的导读、模块经典算法的案例介绍以及进阶阅读,适合图…

学习OpenCV(1)概述

目录 基础知识 OpenCV的起源与目标 练习 基础知识 什么是OpenCV OpenCV是一个开源的计算机视觉库。OpenCV设计用于进行高效的计算,十分强调实时应用的开发。 什么是计算机视觉 计算机视觉这种技术可以将静止图像或视频数据转换为一种决策或新的表示。所有这种…

学习OpenCV3:Cmake+MinGW编译OpenCV

1. 准备 1.1 下载OpenCV源码 OpenCV下载地址1:https://opencv.org/releases/ OpenCV下载地址2:https://github.com/opencv/opencv/releases OpenCV下载地址3:https://github.com/opencv/opencv 提示:下载地址1和下载地址2可以直…

【学习OpenCV4】键盘鼠标操作总结

本文分享内容来自图书《学习OpenCV 4:基于Python的算法实战》,该书内容如下: 第1章 OpenCV快速入门; 第2章 图像读写模块imgcodecs; 第3章 核心库模块core; 第4章 图像处理模块imgproc(一&…

【学习OpenCV4】OpenCV4与opencv-contrib模块介绍

本文分享内容来自图书《学习OpenCV 4:基于Python的算法实战》,该书刚刚上市,是国内第一本系统讲解OpenCV4各个模块的图书,配套案例深入浅出的讲解。第一章有在各个平台搭建环境的介绍,后面每个章节都有对模块的导读、模…

学习OpenCV

因为一些项目需要,最近在学习OpenCv,以下是一些学习OpenCv这本书的一些简介,教程下载地址:《学习OpenCv》 《学习OpenCV》:计算机视觉是在图像处理的基础上发展起来的新兴学科。OpenCV是一个开源的计算机视觉库&#x…

学习opencv.js(1)图像入门

目标:了解如何阅读图像以及如何在网络中显示它。 读取图像:OpenCV.js 将图像保存为cv.Mat类型。我们使用 HTML 画布元素将cv.Mat传输到网络或反向传输。ImageData 接口可以表示或设置画布元素区域的底层像素数据。 1.从画布创建一个 ImageData对象 le…

学习OpenCV3:MinGW编译OpenCV到vs_version.rc.obj处出错

1. 错误描述 [ 65% ] Building RC object modules/world/CMakeFiles/opencv_world.dir/vs_version.rc.obj gcc: error: long: No such file or directory C:\Mingw-w64\mingw32\bin\windres.exe: preprocessing failed. mingw32-make[2]: *** [modules\world\CMakeFiles\opencv…

【从零学习OpenCV 4】opencv_contrib扩展模块的安装

本文首发于“小白学视觉”微信公众号,欢迎关注公众号 本文作者为小白,版权归人民邮电出版社所有,禁止转载,侵权必究! 经过几个月的努力,小白终于完成了市面上第一本OpenCV 4入门书籍《OpenCV 4开发详解》。…

如何学习opencv源码

如何学习opencv源码 当你在使用opencv时,看到一个函数有没有想去了解他的源码,而又无从下手?这里我将带你脱离这种尴尬的境遇! 面对这个问题,我自己也查找过许多的资料,网上有这样一种做法,步骤如下&…

从零开始学习opencv——在虚拟环境下安装opencv环境

毕设准备做cv相关项目,今天开始学习cv基础知识,课程为B站“【不要再看那些过时的OpenCV老教程了】2022巨献,OpenCV零基础小白最新版全套教程(人工智能机器视觉教程)” 0.自行安装python3.7,注意版本不能过高或过低,注意安装64位版…

【学习OpenCV4】OpenCV入门精讲(C++/Python双语教学)

大家好,我在CSDN开的OpenCV课程已经开课了,入口如下: OpenCV入门精讲(C/Python双语教学) 课程开始快一周了,收到了广大同学们的欢迎。 (1)评分很高; (2&#…

opencv 深度学习

深度学习简史 深度学习很早就被提出,但一直停滞不前2011,微软在语言识别上使用,取得了突破2012,DNN在图像识别领域取得了惊人的效果,在ImageNet评测的错误率从26%降到了15%2016,AlphaGo击败人类&#xff0…

【学习OpenCV4】案例3:OpenCV Python语言开发环境搭建

本书分享内容来自图书学习OpenCV 4:基于Python的算法实战》,该书刚刚上市,是国内第一本系统讲解OpenCV4各个模块的图书,配套案例深入浅出的讲解。第一章有在各个平台搭建环境的介绍,后面每个章节都有对模块的导读、模块…

在pycharm2021.2中学习opencv图像处理,基于python3.9.7、pycharm完成配置

在pycharm中学习opencv图像处理 安装python下载python安装包开始安装 安装pycharm社区版下载pycharm安装包开始安装 启动pycharm创建第一个项目创建第一个项目设置项目存放路径首次运行python程序下载opencv-python库、添加解释器配置 开始图像处理的学习!打开下载好…

【从零学习OpenCV 4】Windows系统中安装OpenCV 4

本文首发于“小白学视觉”微信公众号,欢迎关注公众号 本文作者为小白,版权归人民邮电出版社所有,禁止转载,侵权必究! 经过几个月的努力,小白终于完成了市面上第一本OpenCV 4入门书籍《OpenCV 4开发详解》。…