百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

环境变量管理程序bmod使用教程(环境变量comspec)

nanshan 2025-04-05 20:59 11 浏览 0 评论

注:bmod属于李云海博士原创开发程序,版权属于他,欢迎大家关注他的相关网站:

https://gitee.com/yhli/misc/tree/master/bmod

https://github.com/yhli1016/misc/tree/master/bmod

http://blog.sciencenet.cn/blog-2909108-1267515.html

1. 简介

在UNIX/Linux系统下做计算,不可避免地会接触到各种环境变量。编译程序时,需要通过环境变量指定编译器、编译选项和依赖库的位置。运行程序时,需要通过环境变量来查找可执行文件和动态链接库。若设置不当,便会导致各种错误(详见附录)。因此管理环境变量便成了一件既重要又棘手的事。

最简单的管理环境变量的方法就是直接在$HOME/.bashrc中添加相应设置。这种方法的缺点也是很明显的:环境变量名易写错,添加或删除设置后要重新登录才能起效,bashrc冗长等等。大型超算中心通常用Environment Modules系统解决这个问题。但目前主流的Environment Modules系统安装和使用都比较复杂,学习成本较高。而个人电脑、自己组装的工作站和小型集群软件环境简单,再用Environment Modules系统牛刀杀鸡之嫌。因此,在这里提供一个环境变量管理程序bmod。程序非常简单,全部由bash语言写成,主体仅有150行左右,但实现了一个Environment Modules系统最基本的功能。下面介绍安装和使用方法。

2. 安装

https://github.com/yhli1016/misc/tree/master/bmod

解压后将bmod目录移动到安装路径下面(本文中为$HOME/soft),打开init.sh,找到这两行:

# Set up environment variables used by bmodexport BMOD_ROOT=$HOME/soft/bmod

将BMOD_ROOT设置为init.sh所在的目录(在本文中为$HOME/soft/bmod),接着打开$HOME/.bashrc,添加如下设置:

source $HOME/soft/bmod/init.sh

最后执行命令source $HOME/.bashrc,安装完成。modules目录下面自带了很多例子,在添加自己的脚本之前,记得全部删除。

3. 使用

3.1 通过命令行添加和移除设置

3.1.1 使用预定义的环境变量

与程序编译和运行相关的环境变量众多,不仅难记,还容易拼错。因此,bmod中预定义了常见的环境变量。以安装在$HOME/soft/lib/fftw-3.3.8下面的fftw库为例,为使该库能正常工作,我们需要手动输入如下命令:

fftw_root=$HOME/soft/lib/fftw-3.3.8export PATH=$fftw_root/bin:$PATHexport LIBRARY_PATH=$fftw_root/lib64:$LIBRARY_PATHexport LD_RUN_PATH=$fftw_root/lib64:$LD_RUN_PATHexport LD_LIBRARY_PATH=$fftw_root/lib64:$LD_LIBRARY_PATHexport C_INCLUDE_PATH=$fftw_root/include:$C_INCLUDE_PATHexport CPLUS_INCLUDE_PATH=$fftw_root/include:$CPLUS_INCLUDE_PATHunset fftw_root

而在bmod中,上述设置只需一行命令即可:

set_mod add pkg $HOME/soft/lib/fftw-3.3.8

移除设置只需运行下面命令:

set_mod rm pkg $HOME/soft/lib/fftw-3.3.8

set_mod命令后面参数含义:

第一个参数为add或rm,指定添加还是删除设置;

第二个参数为预定义的环境变量类型;

第三个参数为添加到环境变量中,或从环境变量中删除的设置。当预定义类型为pkg时,第三个参数无需具体到bin、lib64或include等子目录,bmod会自动搜索和添加

目前bmod中预定义的类型和对应的环境变量为:

  • bin

    • PATH

  • lib:

    • LIBRARY_PATH

    • LD_RUN_PATH

    • LD_LIBRARY_PATH

  • inc

    • C_INCLUDE_PATH

    • CPLUS_INCLUDE_PATH

  • py

    • PYTHONPATH

  • pkg

    • PATH

    • LIBRARY_PATH

    • LD_RUN_PATH

    • LD_LIBRARY_PATH

    • C_INCLUDE_PATH

    • CPLUS_INCLUDE_PATH

当预定义类型为bin、lib、inc、py时,bmod不会自动搜索子目录,所以第三个参数必须具体到bin、lib64或include。上面fftw的例子若用bin、lib、inc等预定义类型改写,对应的命令为:

set_mod add bin $HOME/soft/lib/fftw-3.3.8/binset_mod add lib $HOME/soft/lib/fftw-3.3.8/lib64set_mod add inc $HOME/soft/lib/fftw-3.3.8/include

再看一个xcrysden的例子。程序安装在$
HOME/soft/dft/xcrysden-1.6.2-bin-shared,可执行文件为xcrysden,还有一个动态链接库libTogl.so.2。为使这个程序正常运行,需将$
HOME/soft/dft/xcrysden-1.6.2-bin-shared添加到环境变量PATH和LD_LIBRARY_PATH,对应操作为:

set_mod add bin $HOME/soft/dft/xcrysden-1.6.2-bin-sharedset_mod add lib $HOME/soft/dft/xcrysden-1.6.2-bin-shared

或者简写为set_mod add bin+lib $
HOME/soft/dft/xcrysden-1.6.2-bin-shared。

3.1.2 使用自定义的环境变量

预定义的环境变量可以满足大多数情形。若待修改的环境变量没有预定义,可以用set_env和reset_env命令修改。

假设我们要把$HOME/soft/lib/abc/def添加到环境变量TEST中,对应操作为

set_env add TEST $HOME/soft/lib/abc/def

删除时为

set_env rm TEST $HOME/soft/lib/abc/def

如果我们希望把环境变量重设为一个新的值,而不是把新的值追加到变量中,可以用reset_env命令。例如,要将openmp线程数设置为4,可以输入:

reset_env add OMP_NUM_THREADS 4

若要将其恢复默认值,可以输入:

reset_env rm OMP_NUM_THREADS

3.2 通过脚本添加和移除设置

一般来说,程序在编译和运行过程中会涉及很多库,需要我们输入很多次set_mod和set_env命令。以siesta为例,加载设置时我们需要输入:

siesta=$HOME/soft/dft/siesta-v4.1-b4set_mod add pkg $siesta/Docs/build/flook/0.8.1set_mod add pkg $siesta/Docs/build/hdf5/1.8.21set_mod add pkg $siesta/Docs/build/netcdf/4.7.4set_mod add pkg $siesta/Docs/build/zlib/1.2.11set_mod add bin $siesta/Objunset siestareset_env add OMP_NUM_THREADS 1

移除设置时需要输入:

siesta=$HOME/soft/dft/siesta-v4.1-b4set_mod rm pkg $siesta/Docs/build/flook/0.8.1set_mod rm pkg $siesta/Docs/build/hdf5/1.8.21set_mod rm pkg $siesta/Docs/build/netcdf/4.7.4set_mod rm pkg $siesta/Docs/build/zlib/1.2.11set_mod rm bin $siesta/Objunset siestareset_env rm OMP_NUM_THREADS 1

而这些命令的区别,仅仅是把add换成了rm。这样太麻烦了。在bmod中我们可以通过脚本,用同一套命令完成加载和卸载两种操作。我们在$HOME/soft/bmod/modules下面新建一个bash脚本siesta-v4.1-b4.sh,把上面的命令存进去,并把add或rm换成$1:

siesta=$HOME/soft/dft/siesta-v4.1-b4set_mod $1 pkg $siesta/Docs/build/flook/0.8.1set_mod $1 pkg $siesta/Docs/build/hdf5/1.8.21set_mod $1 pkg $siesta/Docs/build/netcdf/4.7.4set_mod $1 pkg $siesta/Docs/build/zlib/1.2.11set_mod $1 bin $siesta/Objunset siestareset_env $1 OMP_NUM_THREADS 1

加载设置时输入:

bmod add siesta-v4.1-b4

卸载时输入:

bmod rm siesta-v4.1-b4

bmod会自动把$1替换成add或rm。需注意,如果系统中安装了某个库的多个版本,而待运行的程序只能使用特定版本,那么在加载该版本前必须把其它版本卸掉。假设系统中还安装了hdf5-1.10.12,上述设置就要改成:

set_mod rm pkg $HOME/soft/lib/hdf5-1.10.12siesta=$HOME/soft/dft/siesta-v4.1-b4set_mod $1 pkg $siesta/Docs/build/flook/0.8.1set_mod $1 pkg $siesta/Docs/build/hdf5/1.8.21set_mod $1 pkg $siesta/Docs/build/netcdf/4.7.4set_mod $1 pkg $siesta/Docs/build/zlib/1.2.11set_mod $1 bin $siesta/Objunset siestareset_env $1 OMP_NUM_THREADS 1

由于我们希望在加载hdf5-1.8.21之前卸载hdf5-1.10.12,所以set_mod后面的参数必须是rm,不能用$1代替。

除了add/rm外,bmod命令支持如下选项:

  • av: 列出所有可用脚本

  • ls: 列出所有已加载脚本

  • cl: 卸载已加载的脚本

  • pg: 卸载所有脚本(含未加载)

modules目录下面中自带了很多用作例子的脚本。下面是bmod av命令的输出结果:

[yhli@linux-h149 ~]$ bmod av---- /home/yhli/soft/bmod/modules ---- 1) bgw-2.1 2) boost-1.75.0 3) fleurMaXR3.1 4) office 5) openmpi-4.0.5 6) qe-6.6 7) siesta-v4.1-b4 8) spex05.00 9) vasp.5.4.4 10) vesta 11) vtst 12) wannier90-2.1.0 13) xcrysden-1.6.2

以及bmod ls命令的输出结果:

[yhli@linux-h149 ~]$ bmod lsCurrently loaded modules:

由于在一开始我们没有加载任何脚本,所以bmod ls输出为空。我们先用bmod add命令加载几个脚本后,再来看有何不同:

[yhli@linux-h149 ~]$ bmod add bgw-2.1 boost vesta[yhli@linux-h149 ~]$ bmod lsCurrently loaded modules: 1) bgw-2.1 2) boost-1.75.0 3) vesta

可以看到这几个脚本已被加载了。如果脚本名字中的版本号和主体以-隔开,可以省略不写。所以bmod add boost是可以的,而bmod add vasp却不行,必须输入全称bmod add vasp.5.4.4。

我们用bmod cl命令卸载已加载的脚本,看下效果:

[yhli@linux-h149 ~]$ bmod lsCurrently loaded modules:

可见所有已加载的脚本都已被卸载。bmod pg有类似效果,就不再展示了。

4. 补充说明

4.1 常见环境变量及报错信息

4.1.1 PATH

系统需要通过这个环境变量查找可执行程序(二进制文件或脚本)。若未正确设置,会报类似如下错误:

[yhli@linux-h149 ~]$ pw.x-bash: pw.x: command not found

4.1.2 LD_RUN_PATH, LIBRARY_PATH

这两个环境变量指定编译程序时,所用到的库文件所在位置。库文件有两种:静态链接库(libxxx.a)和动态链接库(libxxx.so)。若未正确设置,会报类似如下错误:

/usr/lib64/gcc/x86_64-suse-linux/7/../../../../x86_64-suse-linux/bin/ld: cannot find -lboost_python38collect2: error: ld returned 1 exit statusmake: *** [Makefile:65:pyxaid_core.so] Error 1

4.1.3 LD_LIBRARY_PATH

这个环境变量指定运行程序时,所用到的动态链接库所在位置。若未正确设置,会报类似如下错误:

[yhli@linux-h149 doublecmd]$ ./doublecmd./doublecmd: error while loading shared libraries: libQt5Pas.so.1: cannot open shared object file: No such file or directory

4.1.4 C_INCLUDE_PATH, CPLUS_INCLUDE_PATH

这两个环境变量指定编译程序时,所用到的头文件所在位置。若未正确设置,会报类似如下错误:

pyxaid_core.cpp:10:10: fatal error: boost/python.hpp: No such file or directory#include <boost/python.hpp> ^~~~~~~~~~~~~~~~~~compilation terminated.make: *** [Makefile:59:pyxaid_core.o] Error 1

4.2 注意事项

目前bmod缺失对已加载模块检查的功能。以下述命令为例:

[yhli@linux-h149 ~]$ bmod add qe[yhli@linux-h149 ~]$ bmod add fleurMaXR3.1[yhli@linux-h149 ~]$ bmod lsCurrently loaded modules: 1) qe-6.6 2) fleurMaXR3.

当执行第一条命令bmod add qe时,bmod加载了与qe相关的设置。一般来说,这需要卸载冲突库和加载依赖库。当执行第二条命令bmod add fleurMaXR3.1时,bmod同样会执行类似操作。但是,如果fleur依赖的某个库恰巧与qe冲突,或者与fleur有冲突的某个库恰巧是qe的依赖库,那么执行完第二句后,qe的环境变量就被破坏了。也就是说,bmod目前只能“狗熊掰玉米”,保证最后一个加载的程序可用。要解决这个问题,需要复杂的依赖和冲突关系分析。这已经超出了bmod的设计初衷,如有这方面的需求,可以选择功能更强大的Environment Modules系统,或本人开发的Pmod 。

相关推荐

电脑cpu占用率高?怎么办?1分钟快速解决!

案例:电脑cup过高怎么办?【我的电脑运行缓慢,导致我学习和工作的效率很低。刚刚查看了一下电脑,发现它的cpu占用率很高。有没有小伙伴知道如何解决此电脑cpu过高的问题?】电脑是我们生活中不可缺少的工...

CPU使用率100%怎么办

当电脑的CPU使用率达到100%时,往往会引发一系列令人头疼的问题,如卡顿、过载、过热甚至死机。这些问题不仅严重影响了电脑的正常使用,还可能对硬件造成损害。为了有效应对这一挑战,我们可以采取一系列措施...

提高CPU利用率方法

一、背景:一般小项目服务器的虚拟机服务器CPU很难达到要求的,要求一般都是使用率达到60%-90%,除非是数据库服务器,还有计算很频繁的应用服务器,不然是大部分的都不能达到要求的,无法达到要求,就得是...

Go到Rust:代码对比揭示60% CPU使用率降低的技术路径

Go与Rust作为现代系统级编程语言,在并发处理和内存管理上采取了截然不同的设计哲学。本文通过四个典型场景的代码对比,剖析两种语言在CPU效率层面的核心差异,揭示为何部分技术团队通过语言迁移实现了60...

一招教你解决CPU占用率100%的问题 #电脑小技巧

大家好,今天讲一下CPU占用率100%的解决方法。·首先点运行,在这块输入gpedit.msc回车。·打开管理模板,Windows组件,MicrosoftDefender防病毒。·点开扫描,扫描期间...

技术丨教你降低CPU与内存占用率,让系统快如闪电

当内存和CPU都达到了较大的占用率时,很可能会导致系统崩溃。该如何解决这一问题?本期视频将指导大家:如何有效减少内存和CPU的占用率。快来看看具体操作步骤吧!1.尝试运行ePSA硬件检测首先,尝试运...

Serv00服务器搭建代理节点全流程|无需保号保活|Cloudflare隧道

注册图文教程(2024)「链接」视频教程BiliBili:Serv00服务器搭建代理节点全流程|无需保号保活|Cloudflare隧道|serv00-play脚本_哔哩哔哩_bilibiliS...

600+ 道 Java面试题及答案整理(建议收藏)

小七整理了最近几年最新、最全的Java面试题,题目涉及Java基础、集合、多线程、IO、分布式、Spring全家桶、MyBatis、Dubbo、缓存、消息队列、Linux…等等。题库共6...

网络编程 | 彻底搞懂网络 IO 模型

令人头大的IO说起网络IO相关的开发,很多人都头大,包括我自己,写了几年的代码,对IO相关的术语说起来也是头头是道,什么NIO、IO多路复用等术语一个接一个。但是也就自己知道,这些概念一...

开源全方位运维监控工具:HertzBeat

HertzBeat:实时监控系统性能,精准预警保障业务稳定-精选真开源,释放新价值。概览HertzBeat是一款深受广大开发者喜爱的开源实时监控解决方案。它以其简洁直观的设计理念和免安装Agent的...

网络安全工程师必知的75个网络端口

作为一名网络安全工程师,必须熟知网络端口,一般将端口分为以下3类:(1)公认端口(Well-KnownPorts):范围从0到1023(2)注册端口(RegisteredPorts):从1024到...

PHP技能评测

公司出了一些自我评测的PHP题目,现将题目和答案记录于此,以方便记忆。1.魔术函数有哪些,分别在什么时候调用?__construct(),类的构造函数__destruct(),类的析构函数__cal...

2020年Dubbo30道高频面试题!还在为面试烦恼赶快来看看

前言Dubbo是一个分布式服务框架,致力于提供高性能和透明化的RPC远程服务调用方案,以及SOA服务治理方案。简单的说,dubbo就是个服务框架,如果没有分布式的需求,其实是不需要用的,只有在分布式的...

2018年度回顾:挖矿木马为什么会成为病毒木马黑产的中坚力量

一、概述根据腾讯御见威胁情报中心监测数据,2018年挖矿木马样本月产生数量在百万级别,且上半年呈现快速增长趋势,下半年上涨趋势有所减缓。由于挖矿的收益可以通过数字加密货币系统结算,使黑色产业变现链条十...

自查风险突出的30个服务高危端口

在计算机网络中,端口是一种用于区分不同网络服务或应用程序的逻辑地址。每个网络服务或应用程序都需要至少一个端口(号)来实现网络通信。当某个端口开放时,便能接收来自于其它计算机或网络设备的连接请求和数据。...

取消回复欢迎 发表评论: