SSD新范式 | 数据中心SSD测试 Linux篇(一)

服务器常见的操作系统是Windows、Windows Server，以及各式Linux系统，如CentOS、Ubuntu，还有国产的OpenEuler、龙蜥、OpenCloudOS等。之前我们已经讲解了Windows环境下的SSD测试，接下来，我们转战Linux。

Linux是大多数服务器使用的操作系统，而Linux系统下最常用的SSD测试软件是FIO。考虑到Linux的部署量多于Windows，且IOmeter已经停更许久，所以业内通常都会参考FIO的测试数据。

安装Linux

Linux的安装不难，利用镜像文件制作安装U盘，引导后就可以看到看到安装界面，基本上都是图形化的，一些必须进行操作的位置会有醒目的叹号和红色提示。

需要强调的是网络配置部分。安装过程中的网络配置一般都会自动获取网络信息的，没啥难度，所以很多人不关心，觉得系统能够联网即可。但是，如果希望用远程操作Linux，那还是建议配置网络并且记下IP地址。考虑到服务器的典型使用习惯，也顾及到编辑命令行、复制日志等操作，以及截屏、录屏的便利性，强烈建议使用诸如Xshell等远程桌面工具。

许多Linux的“临时”用户，典型的如销售商，习惯使用外接键盘、鼠标进行操作，包括基于Linux的图形界面做一些配置，就会对FIO、FFMPEG这些工具产生“麻烦”的印象。

Linux初步使用

不同版本的Linux界面略有区别，有的带图形桌面，有的没有——这些差异并不重要，大家可以在日常使用中逐渐熟悉。重点是后面的操作只需要使用命令行方式，而且，建议通过远程桌面进行。在Windows下安装Xshell，运行后就会出现如下类似CMD的界面。还记得前面要求记住Linux服务器的IP地址了吗？在这里就排上用场了，请输入命令：

ssh root@IP地址

现在真正的Linux之旅就开启了！先看看我们SSD在哪里吧。要了解当前系统下有哪些设备，可以进入dev目录查看。

cd /dev

ls

一般来说，我们要测试的都是NVMe SSD，看到“nvme”之类的信息，就知道盘装上了。如果嫌出现的信息太多，看的眼花，也可以在ls的时候加上筛选。

ls -l nvme*

嗯，看上去命令行方式也不难嘛，甚至比在图形操作系统里一顿乱翻查找系统属性要快。记住这里nvme相关的信息，然后，准备开始测试吧。

安装FIO

大众对Linux中软件的印象是以源代码方式发布的，需要编译成可执行文件。这种偏见也容易让人不战而退。其实，为了简化安装工作，软件商会提前做好编译打包，如rpm、dpkg。另外，各个软件之间可能存在依赖关系，类似于Windows下安装软件需要下载.Net，玩游戏需要DirectX等等之类的破事，为此Linux下又有了若干解决包的依赖关系的管理工具，如yum、dnf等。通过yum之类的工具，可以自动下载安装包，并且自动安装所有依赖的软件包，非常方便。

CentOS 8使用dnf工具，但保留了yum命令。对于安装FIO，一个命令行就可以搞定：

yum install fio

运行之后可以看到一些安装包信息，包括版本、容量等。

如果经常安装，懒得输入Y进行确认操作，命令行加-y即可：

yum install -y fio

在Linux下，还常用libaio异步引擎进行测试，因此，建议安装这个开发包。

yum install -y libaio-devel

以上是安装FIO的最简易方式，但获得的FIO版本是不确定的，需要根据操作系统仓库而定。如果不介意这个细节，可以跳过下面的一小部分内容，直接翻到测试部分。

技巧：安装指定版本的FIO

如果想使用指定版本的FIO，需要安装官网的源码包。官网网址是：

https://git.kernel.dk/cgit/fio/

目前FIO的最新版本是3.35，我们可以通过wget命令下载：

wget https://git.kernel.dk/cgit/fio/snapshot/fio-3.35.tar.gz

然后安装编译环境：

yum install -y gcc

解压和并将FIO安装到指定目录（即第三行中的fio3.35）：

tar -xvf fio-3.35.tar.gz

cd fio-3.35

./configure --prefix=/usr/local/fio3.35

make

make install

FIO的命令参数

FIO的测试项目其实就是在命令行中加入若干参数来定义的。我将这些参数分为几类：

1、测试成绩的记录

主要是两个参数，--output=文件名，以及--name=工作名。前者是测试结果的输出，为了方便以后的查阅，建议有明确的含义以区分具体的测试内容，譬如“RandRe4K_Num8D32.txt”，看上去就知道是4KB随机读，队列深度是8Job×32depth。后者随意，自己开心就好，一般会被放在靠前的位置，方便一眼看出来这一串命令行是做什么用的——当你积累了很多条操作命令的时候，这个细节就变得重要起来。

2、目标盘

还记得前面第一次用Linux命令行时，用ls命令找到的nvme吗？那就是NVMe SSD了。顺便说一下，sda、sdb之类的，是SCSI盘的意思，譬如用了SATA盘做系统盘，sda1就是第一个盘第一个分区。

如果只安装了一个待测的NVMe SSD，那么dev目录下就只有一个nvme设备，它的主控就是nvme0。一个NVMe SSD可以有1到n个逻辑空间，大家常见的是1个，对应的这个空间就是nvme0n1。由此，我们计划测试这个空间的参数就是--filename=/dev/nvme0n1。

3、测试模式

相关的设置包括I/O引擎，如前面提到的linux常用的libaio。还有是否使用缓存、随机方式等等。常用的设置包括：

--ioengine=libaio 使用异步的libaio引擎。Linux下还可以用sync、psync等。

--direct=1 设为1则不使用I/O缓存。如果不做这项设置，测试结果可能异常高。

-–norandommap 完全随机写入任意的位置，不考虑均衡。

--randrepeat=0 随机生成器的种子，=0意味着生成的序列相同，主要是影响顺序写入和随机测试。

4、测试项目

测试项目就是操作类型、数据包尺寸、队列、测试时间或容量大小的组合。其中操作类型有六种：顺序读写、随机读写、混合读写。

顺序读：--rw=read

顺序写：--rw=write

随机读：--rw=randread

随机写：--rw=randwrite

顺序混合读写：–rw=readwrite

随机混合读写：–rw=randrw

混合读写的比例：--rwmixwrite=整数，譬如“30”就是写占30%

数据包大小（Block Size）：--bs=4K，或者：8k……128k……1024k

队列深度：--iodepth=整数，以及--numjobs=整数

测试时间：--runtime=整数。默认单位为秒，如“--runtime=600”就是进行600秒，也就是10分钟的测试。也可以设为2h，也就是2小时。这个参数也常和--time_based一起使用，以确保执行完runtime设定的时间。

热身时间：--ramp_time=整数，意思是先运行若干秒，期间不记录任何数据，再进行测试。

测试容量：--size=数字，可以是百分比，也可以是具体的容量。譬如100%、20%，或者100G。

5、测试日志文件设置

FIO在运行的时候，测试结果是实时呈现的，也会输出性能结果，参见本章的【1】。但为了更好了解SSD的运行情况，我们就需要查阅日志（log）文件，为此应该针对性的做一些设置。

每个job都会分别输出log文件，但通常来说我们关心的是全部job的总成绩，要汇总输出就应该使用参数：--group_reporting。

默认情况下，每个I/O操作之后，FIO都会记录日志，但这样会导致记录文件很庞大。可以指定记录的间隔，整数单位是毫秒。譬如“--log_avg_msec=1000”的意思是间隔1秒钟记录一次，取的是期间的平均值——这样的后果是，一些异常的I/O在“平均”后就被抹平了，导致无法被观察到（除非遇到了明显超出设定值的延迟）。因此时间间隔的设置不宜过长，应与我们认为可接受的延迟有关，500或者1000毫秒是比较合理的。

另外，我们一般都会关注读写带宽、IOPS、延迟的数据，对应的参数是：--write_bw_log、--write_lat _log、--write_iops_log。

小结

初步使用Linux、安装了FIO之后，大家会了解到FIO参数众多，我们只是介绍了一些基本的命令参数，还需要大家进行更多的练习才能熟悉掌握。接下来，我们会在下一节带来FIO的实操案例解读以及更多有趣的测试技巧，希望大家不要错过。