Ubuntu20.04下的HPL集群3节点搭建

1.首先安装Ubuntu20.04 amd64，安装过程比较简单，在此不做叙述了。下面出场的就是硬件们了~~~龙芯3C5000来了我也搭！目前只能用下E5 2682 V4了，主频也是2.5G，不过集成了16个核心，支持HT~

2.链接网络，更新系统：

①执行更新

# apt-get update

②安装ssh工具和net工具，方便远程操作及熟悉的ifconfig指令

#apt-get install ssh

# apt-get install net-tools

③安装samba，建立同Windows之间的文件传递

#apt-get install samba samba-common

安装完成后配置samba，步骤如下：

a.新建Ubuntu端共享文件夹

# mkdir –p /home/share

b.修改samba配置文件

# vi /etc/samba/smb.conf

c.在配置文件最后添加：

[node01]

comment = node01 share

path = /home/share #此处为Ubuntu端需要共享的文件夹绝对路径

browseable = yes

writable = yes

available = yes

valid users = node01 #此处为登陆samba的用户，必须在Ubuntu中存在

d.修改共享文件夹权限使得Windows访问后可以读写，#chmod 777 /home/share

e.设置samba访问用户密码，为了方便可以直接设置用户登陆密码：

# smbpasswd -a node01

需要输入2次，输完按一次回车。

root@node01:/home/node01# smbpasswd -a node01

New SMB password:

Retype new SMB password:

Added user node01.

f.重新启动samba服务，# service smbd restart

g.回到Windows端，运行输入：\\192.168.199.200，可以看到文件夹node01，双击输入用户名密码（即之前e步骤所指）

h.然后就可以方便的交互文件了，这是笔者最喜欢的方式，当然是同一网络网段内方便，比ftp好玩。

接下来就是给系统减负，不启动桌面直接进命令行模式。

a.# vi /etc/default/grub

将：GRUB_CMDLINE_LINUX_DEFAULT="quiet splash"

改为：GRUB_CMDLINE_LINUX_DEFAULT="text"

b.# update-grub

c.# systemctl set-default multi-user.target

d.# reboot

至此可以安心开始HPL测试环境的搭建了：

Ⅰ.安装gcc、gfortran、make等必要工具

# apt-get install gcc

# apt-get install g++

# apt-get install gfortran

# apt-get install make

Ⅱ.将hpl-2.3.tar.gz、mpich-3.3.2.tar.gz和OpenBLAS-0.3.17.tar.gz拷贝到samba共享文件夹（本文为/home/share/HPL文件夹下）：

a.解压mpich-3.3.2.tar.gz并进入源码文件夹

# tar zxvf mpich-3.3.2.tar.gz

# cd mpich-3.3.2

配置mpich和安装：

# ./configure --prefix=/usr/local/mpich3.3.2

# make

# make install

设置环境变量脚本

# cd /home/share/HPL

# touch env.sh

# vi env.sh

添加如下内容：

export PATH=$PATH:/usr/local/mpich3.3.2/bin

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/mpich3.3.2/lib

# chmod 777 env.sh

b.解压OpenBLAS-0.3.17.tar.gz并进入源码文件夹

# tar zxvf OpenBLAS-0.3.17.tar.gz

# cd OpenBLAS-0.3.17

# make

# make PREFIX=/usr/local/openblas install

c. 解压hpl-2.3.tar.gz并进入源码文件夹

# tar zxvf hpl-2.3.tar.gz

# cd hpl-2.3

接下来配置Makefile文件，在setup文件夹下有很多模板，此处使用Make.Linux_PII_FBLAS

# cp setup/Make.Linux_PII_FBLAS .

# mv Make.Linux_PII_FBLAS Make.E5x2

上门的E5x2就是这个Make的体系结构名称，后续需要用到，因为我的主板是双路E5，名称随意取即可

修改：

ARCH = E5x2

TOPdir = /home/share/HPL/hpl-2.3

MPdir = /usr/local/mpich3.3.2

MPlib = $(MPdir)/lib/libmpi.so

LAlib = $(LAdir)/lib/libopenblas.a

CC = /usr/local/mpich3.3.2/bin/mpicc

CCFLAGS = $(HPL_DEFS) -pthread -fomit-frame-pointer -fomit-frame-pointer -O3 -funroll-loops -W -Wall

LINKER = /usr/local/mpich3.3.2/bin/mpif77

保存后关闭，开始编译

# make arch=E5x2

完成后会在顶层目录下生成bin文件夹

# cd /home/share/HPL/hpl-2.3/bin/E5x2

里面有2个文件，分别是：HPL.dat和xhpl，前一个是配置测试用的参数，通常调参数就是指的改它内容。接下来测试运行：

# mpirun -np 4 ./xhpl

其中4表示使用4个进程运行，建议和cpu的物理核心数量一致（注意区分是否开启了HT，满载测试HT会减低效率）

另外推荐一个HPL建议网站：http://hpl-calculator.sourceforge.net/

多节点MPICH-HPL测试

上面讲述了单节点的配置和运行测试，一般使用环境都是多节点并行集群计算形式，因此多节点测试十分必要，也很有意思。

a.首先需要配置ssh无密码互访，建立节点间的网络传递

# ssh-keygen -t rsa

Generating public/private rsa key pair.

Enter file in which to save the key (/root/.ssh/id_rsa): Created directory '/root/.ssh'.

Enter passphrase (empty for no passphrase):

Enter same passphrase again:

Your identification has been saved in /root/.ssh/id_rsa

Your public key has been saved in /root/.ssh/id_rsa.pub

The key fingerprint is:

SHA256:nszzwk6rQGp6How2xkbK8mYwZUpoM6eYqNVNg8tWA9w root@node01

The key's randomart image is:

+---[RSA 3072]----+

| . . |

| o E |

|. o |

|.=o.. = |

|=*=o.= oS |

|%+.o= .+ . |

|=@=.. .B |

|*+=. . .o+ |

|.=o .oo.. |

+----[SHA256]-----+

然后分别在3台机器上运行该命令生产公钥

# cd ~/.ssh

# touch authorized_keys

在三台机器上分别添加另外2台机器信息

# vi /etc/hosts

笔者设置的内容如下：

root@node01:~/.ssh# cat /etc/hosts

127.0.0.1 localhost

#127.0.1.1 node01 #需要注释掉

192.168.199.204 node03

192.168.199.203 node02

192.168.199.205 node01

# The following lines are desirable for IPv6 capable hosts

::1 ip6-localhost ip6-loopback

fe00::0 ip6-localnet

ff00::0 ip6-mcastprefix

ff02::1 ip6-allnodes

ff02::2 ip6-allrouters

测试node01同node02、node03连通性（其余同理），正常机器会把名称替换为IP，ping通即可

# ping node02

# ping node03

在node01-node03上运行

# cat id_rsa.pub >> authorized_keys

最偷懒的方法就是通过putty复制各自的公钥到所有节点：

node02→node01

node03→node01

最后将node01的公钥（包含node01 node02 node03的公钥）完整复制到其他2台节点上。

然后第一次ssh nodeXX需要输入yes，往后就不用密码直接、互相ssh登录任意node了。

b.然后开始通过ssh复制需要运行的hpl测试程序到所有node

首先在node02和node03上面建立相同的文件夹（本文是在node01上面编译安装mpich、openblas和hpl的）

# mkdir -p /home/share/HPL

# chmod 777 /home/share/HPL （权限设置，否则scp拷贝容易失败）

拷贝hpl到node02（node03同理，IP、文件夹路径根据实际情况修改）

# scp -r hpl-2.3 node02:/home/share/HPL

同理，mpich和openblas编译好的拷贝至/usr/local

# scp -r /usr/local/openblas node02:/usr/local

# scp -r /usr/local/mpich3.3.2 node02:/usr/local

c.建立mpich环境脚本

export PATH=$PATH:/usr/local/mpich3.3.2/bin

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/mpich3.3.2/lib

保存为：env.sh，同样拷贝到每个节点，然后在个节点# source env.sh一下即可，各节点就可以使用mpirun、mpicc等工具了。

d.建立并行主机核心分配文件

node01:32

node02:32

node03:32

保存为：servers，下一步给mpirun –f使用，表示每个节点node提供32个计算核心，当然可以每个4核心，看实际情况，本文用了2路E5 2682 V4因此每个节点共计32个核心，每个节点共计32GB DDR4 ECC内存，3节点一共96核心。共计128GB内存！够用了够用了。[憨笑]

接下来就可以正式运行测试！

# mpirun -np 96 -f /home/share/HPL/servers ./xhpl

然后就进入漫长的计算了~~~通过修改HPL.dat文件参数提升成绩。3个节点96个核心都在100%负荷运行了~~~