LSF安装部署

article/2025/10/26 4:22:03

前言

目前,市面上主流的HPC调度器分为LSF、SGE、Slurm、SGE四大类型,不同行业根据自身场景和不同调度器对应用支持力度的不同,往往会有不同的偏好,在芯片设计公司中最常用的是LSF

LSF(Load Sharing Facility)是IBM旗下的一款分布式集群管理系统软件,负责计算资源的管理和批处理作业的调度。它给用户提供统一的集群资源访问接口,让用户透明地访问整个集群资源。同时提供了丰富的功能和可定制的策略。LSF 具有良好的可伸缩性和高可用性,支持几乎所有的主流操作系统。它通常是高性能计算环境中不可或缺的基础软件。 

下文将简单介绍在实验环境中安装部署LSF的过程,仅供参考

一、准备工作

1、准备四台虚拟机,并部署好centos7.6

主机名IP地址角色
lsf-master192.168.0.81管理节点&计算节点
lsf-node1192.168.0.82计算节点
lsf-node2192.168.0.83计算节点
nfs192.168.0.84共享存储

2、配置主机名和名称解析

#hostnamectl set-hostname lsf-master

#hostnamectl set-hostname lsf-node1

#hostnamectl set-hostname lsf-node2

#hostnamectl set-hostname nfs

3、关闭selinux,firewalled

#sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config

#systemctl stop firewalld

#systemctl disable firewalld

4、创建用户

#useradd -m lsfadmin

5、设置免密登录

#ssh-keygen

#ssh-copy-id root@192.168.0.82

#ssh-copy-id root@192.168.0.83

#ssh-copy-id root@192.168.0.84

6、nfs共享存储搭建(略)

7、挂载共享存储

#mkdir -p /opt/lsf

#vi /etc/exports

#exportfs -r

#systemctl stop iptables(如已关闭iptables则不需要执行)

#mkdir -p /opt/lsf

#echo "nfs:/opt/lsf /opt/lsf nfs defaults 0 0">>/etc/fstab

#mount -a

二、安装LSF

1、上传LSF安装包到lsf-master节点

2、设置安装目录(建议设置为空的安装目录,否则目录中的文件会被覆盖掉)

#mkdir /opt/lsf/install

3、将“lsf10.1_linux2.6-glibc2.3-x86_64.tar.Z”和“llsf10.1_lsfinstall_linux_x86_64.tar”“lsf_std_entitlement.dat”移动到/opt/lsf共享目录下

4、解压lsf10.1_lsfinstall_linux_x86_64.tar,但是不要解压lsf10.1_linux2.6-glibc2.3-x86_64.tar.Z

 # tar -xvf lsf10.1_lsfinstall_linux_x86_64.tar

其中 install.config 为安装配置文件,设置对应参数

#cd /opt/lsf/lsf10.1_lsfinstall

#vi install.config

LSF_TOP="/opt/lsf/install"

LSF_ADMINS="lsfadmin"

LSF_CLUSTER_NAME="cluster1"

LSF_MASTER_LIST="lsf-master"

LSF_ENTITLEMENT_FILE="/opt/lsf/lsf_std_entitlement.dat"

CONFIGURATION_TEMPLATE ="HIGH_THROUGHPUT "

LSF_TARDIR="/opt/lsf" LSF_ADD_SERVERS="lsf-node1 lsf-node2"

【配置文件参数解释】

LSF_TOP : 设置安装路径。

LSF_ADMINS : 设置管理员账号,当前设置为我自己的账号,但是企业中建议创建一个公用的管理员账号 lsfadmin。

LSF_CLUSTER_NAME : 集群名称。

LSF_MASTER_LIST :master 机器列表,如果有多台机器,建议至少设置两台 master,作为冗余备份。

LSF_TARDIR : 安装文件解压缩路径。( 需要填写“lsf10.1_linux2.6-glibc2.3-x86_64.tar.Z”和“llsf10.1_lsfinstall_linux_x86_64.tar”所在的目录,否则会报错No valid LSF distribution file(s) (.tar.Z or .tar.gz) is found in "/opt/lsf/tardir".)

CONFIGURATION_TEMPLATE :配置模式,如果是 IC 应用场景,建议设置为 HIGH_THROUGHPUT 高性能模式。

LSF_ADD_SERVERS :添加计算机节点机器,也可以安装后配置。

LSF_ADD_CLIENTS :添加客户机(投递机)节点,也可以安装后配置。

5、安装ed

#yum install ed(如未事先安装,在下一步执行安装配置文件时会报错Cannot find UNIX command " ed".)

6、执行./lsfinstall -f install.config 来安装 lsf

 输入1,继续

输入1,继续

在安装完成后会生成一个lsf_quick_admin.html和lsf_getting_started.html网页,会记录LSF集群的一些主要信息以及常用命令和使用方法

7、在lsf-master、lsf-node1、lsf-node2中自动添加环境变量

#echo ". /opt/lsf/install/conf/profile.lsf">>/etc/profile

8、安装完默认集群间通过rsh通信,修改为ssh通信

#echo "LSF_RSH=ssh" >> /opt/lsf/install/conf/lsf.conf

在/opt/lsf/install/conf/目录下

#source profile.lsf

9、运行lsfstartup命令启动集群:

 10、通过以下命令检查集群情况

#bsub             命令提交
#bqueues        队列查看
#bhosts          节点查看
#bjobs            作业查看

【问题记录】

lsf-node1和lsf-node2上的iptables未关闭,在/opt/lsf/install/log中查看报错日志:

chanServSocketExt_(). A socket operation has failed on the configured UDP port <7869> on host <lsf-node1>. Reason: <Address already in use>. Fatal error. Either change the port number in lsf.conf (LSF_LIM_PORT) or terminate the other process that is bound to the port.

 在lsf-node1和lsf-node2中关闭iptables,

 重新执行lsfstartup


http://chatgpt.dhexx.cn/article/Nml4aLui.shtml

相关文章

关于LSF的高级用法

1、通过脚本查询Job的利用率和所占的Core数&#xff0c;从而管理低利用率的Job。 •通过脚本查询JOB的利用率和所占的CORE数&#xff0c;从而管理低利用率的JOB。 •低CPU利用率的JOB要特别小心&#xff0c;最可能存在2个原因&#xff1a;JOB缺少LICENSE导致等待&#xff1b;存…

LSF_术语及概念

术语及概念 作业状态&#xff1a; PEND&#xff1a;在队列中等待调度和分派。RUN&#xff1a;分配给指定主机并运行。DONE&#xff1a;返回值为0&#xff0c;正常结束。PSUSP&#xff1a;在调度和分派时暂停。&#xff08;具体暂停条件待考究&#xff09;USUSP&#xff1a;由…

LSF - 基础 - 管理

LSF - 基础 - 管理 在LSF环境下工作 启动、停止与重新配置LSF 使用 LSF 管理命令 lsadmin 和 badmin 来启动和停止 LSF 守护进程&#xff0c;并重新配置集群属性。 两个 LSF 管理命令&#xff08;lsadmin 和 badmin&#xff09; 这两个命令只有LSF管理员或root能运行。 要…

【学习OpenCV4】案例1:Windows OpenCV C++语言开发环境搭建

本文的案例内容源自于图书**《学习OpenCV 4&#xff1a;基于Python的算法实战》**&#xff0c;该书是国内第一本完整介绍OpenCV4的图书&#xff0c;第一章有在各个平台搭建环境的介绍&#xff0c;后面每个章节都有对模块的导读、模块经典算法的案例介绍以及进阶阅读&#xff0c…

【学习OpenCV4】OpenCV4入门介绍

本文内容大部分来自图书《学习OpenCV 4&#xff1a;基于Python的算法实战》&#xff0c;该书是国内第一本完整介绍OpenCV4的图书&#xff0c;第一章有在各个平台搭建环境的介绍&#xff0c;后面每个章节都有对模块的导读、模块经典算法的案例介绍以及进阶阅读&#xff0c;适合图…

学习OpenCV(1)概述

目录 基础知识 OpenCV的起源与目标 练习 基础知识 什么是OpenCV OpenCV是一个开源的计算机视觉库。OpenCV设计用于进行高效的计算&#xff0c;十分强调实时应用的开发。 什么是计算机视觉 计算机视觉这种技术可以将静止图像或视频数据转换为一种决策或新的表示。所有这种…

学习OpenCV3:Cmake+MinGW编译OpenCV

1. 准备 1.1 下载OpenCV源码 OpenCV下载地址1&#xff1a;https://opencv.org/releases/ OpenCV下载地址2&#xff1a;https://github.com/opencv/opencv/releases OpenCV下载地址3&#xff1a;https://github.com/opencv/opencv 提示&#xff1a;下载地址1和下载地址2可以直…

【学习OpenCV4】键盘鼠标操作总结

本文分享内容来自图书《学习OpenCV 4&#xff1a;基于Python的算法实战》&#xff0c;该书内容如下&#xff1a; 第1章 OpenCV快速入门&#xff1b; 第2章 图像读写模块imgcodecs&#xff1b; 第3章 核心库模块core&#xff1b; 第4章 图像处理模块imgproc&#xff08;一&…

【学习OpenCV4】OpenCV4与opencv-contrib模块介绍

本文分享内容来自图书《学习OpenCV 4&#xff1a;基于Python的算法实战》&#xff0c;该书刚刚上市&#xff0c;是国内第一本系统讲解OpenCV4各个模块的图书&#xff0c;配套案例深入浅出的讲解。第一章有在各个平台搭建环境的介绍&#xff0c;后面每个章节都有对模块的导读、模…

学习OpenCV

因为一些项目需要&#xff0c;最近在学习OpenCv&#xff0c;以下是一些学习OpenCv这本书的一些简介&#xff0c;教程下载地址&#xff1a;《学习OpenCv》 《学习OpenCV》&#xff1a;计算机视觉是在图像处理的基础上发展起来的新兴学科。OpenCV是一个开源的计算机视觉库&#x…

学习opencv.js(1)图像入门

目标&#xff1a;了解如何阅读图像以及如何在网络中显示它。 读取图像&#xff1a;OpenCV.js 将图像保存为cv.Mat类型。我们使用 HTML 画布元素将cv.Mat传输到网络或反向传输。ImageData 接口可以表示或设置画布元素区域的底层像素数据。 1.从画布创建一个 ImageData对象 le…

学习OpenCV3:MinGW编译OpenCV到vs_version.rc.obj处出错

1. 错误描述 [ 65% ] Building RC object modules/world/CMakeFiles/opencv_world.dir/vs_version.rc.obj gcc: error: long: No such file or directory C:\Mingw-w64\mingw32\bin\windres.exe: preprocessing failed. mingw32-make[2]: *** [modules\world\CMakeFiles\opencv…

【从零学习OpenCV 4】opencv_contrib扩展模块的安装

本文首发于“小白学视觉”微信公众号&#xff0c;欢迎关注公众号 本文作者为小白&#xff0c;版权归人民邮电出版社所有&#xff0c;禁止转载&#xff0c;侵权必究&#xff01; 经过几个月的努力&#xff0c;小白终于完成了市面上第一本OpenCV 4入门书籍《OpenCV 4开发详解》。…

如何学习opencv源码

如何学习opencv源码 当你在使用opencv时&#xff0c;看到一个函数有没有想去了解他的源码&#xff0c;而又无从下手?这里我将带你脱离这种尴尬的境遇&#xff01; 面对这个问题&#xff0c;我自己也查找过许多的资料&#xff0c;网上有这样一种做法&#xff0c;步骤如下&…

从零开始学习opencv——在虚拟环境下安装opencv环境

毕设准备做cv相关项目&#xff0c;今天开始学习cv基础知识&#xff0c;课程为B站“【不要再看那些过时的OpenCV老教程了】2022巨献&#xff0c;OpenCV零基础小白最新版全套教程(人工智能机器视觉教程)” 0.自行安装python3.7,注意版本不能过高或过低&#xff0c;注意安装64位版…

【学习OpenCV4】OpenCV入门精讲(C++/Python双语教学)

大家好&#xff0c;我在CSDN开的OpenCV课程已经开课了&#xff0c;入口如下&#xff1a; OpenCV入门精讲&#xff08;C/Python双语教学&#xff09; 课程开始快一周了&#xff0c;收到了广大同学们的欢迎。 &#xff08;1&#xff09;评分很高&#xff1b; &#xff08;2&#…

opencv 深度学习

深度学习简史 深度学习很早就被提出&#xff0c;但一直停滞不前2011&#xff0c;微软在语言识别上使用&#xff0c;取得了突破2012&#xff0c;DNN在图像识别领域取得了惊人的效果&#xff0c;在ImageNet评测的错误率从26%降到了15%2016&#xff0c;AlphaGo击败人类&#xff0…

【学习OpenCV4】案例3:OpenCV Python语言开发环境搭建

本书分享内容来自图书学习OpenCV 4&#xff1a;基于Python的算法实战》&#xff0c;该书刚刚上市&#xff0c;是国内第一本系统讲解OpenCV4各个模块的图书&#xff0c;配套案例深入浅出的讲解。第一章有在各个平台搭建环境的介绍&#xff0c;后面每个章节都有对模块的导读、模块…

在pycharm2021.2中学习opencv图像处理,基于python3.9.7、pycharm完成配置

在pycharm中学习opencv图像处理 安装python下载python安装包开始安装 安装pycharm社区版下载pycharm安装包开始安装 启动pycharm创建第一个项目创建第一个项目设置项目存放路径首次运行python程序下载opencv-python库、添加解释器配置 开始图像处理的学习&#xff01;打开下载好…