百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

一文看懂数据库服务器应该做的优化工作

nanshan 2024-10-15 11:32 19 浏览 0 评论

概述

介绍一下一般数据库服务器应该做的一些优化,这里不涉及数据库层面,只考虑服务器监控和优化方面。


1、系统层面监控

主要关注以下三点。

1.1、cpu方面:

vmstat、sar 、top+P、htop、nmon、mpstat

1.2、内存:

free 、ps -aux 、top+M

1.3、IO 设备(磁盘、网络):

iostat 、 ss 、 netstat 、 iptraf、iftop、lsof

补充:

vmstat 命令说明:

  • Procs:r 显示有多少进程正在等待 CPU 时间。b 显示处于不可中断的休眠的进程数量。在等待 I/O
  • Memory:swpd 显示被交换到磁盘的数据块的数量。未被使用的数据块,用户缓冲数据块,用于操作系统的数据块的数量
  • Swap:操作系统每秒从磁盘上交换到内存和从内存交换到磁盘的数据块的数量。s1 和 s0 最好是 0
  • Io:每秒从设备中读入 b1 的写入到设备 b0 的数据块的数量。反映了磁盘 I/O
  • System:显示了每秒发生中断的数量(in)和上下文交换(cs)的数量
  • Cpu:显示用于运行用户代码,系统代码,空闲,等待 I/O 的 CPU 时间

iostat 命令说明实例命令: iostat -dk 1 5

iostat -d -k -x 5 (查看设备使用率(%util)和响应时间(await))

  • tps:该设备每秒的传输次数。“一次传输”意思是“一次 I/O 请求”。多个逻辑请求可能会被合并为“一次 I/O 请求”。
  • iops :硬件出厂的时候,厂家定义的一个每秒最大的 IO 次数,"一次传输"请求的大小是未知的。
  • kB_read/s:每秒从设备(drive expressed)读取的数据量;
  • KB_wrtn/s:每秒向设备(drive expressed)写入的数据量;
  • kB_read:读取的总数据量;
  • kB_wrtn:写入的总数量数据量;这些单位都为 Kilobytes。

2、系统层面问题解决办法

在实际的生产中,一般认为 cpu 只要不超过 90% 都没什么问题 ,当然不排除下面这些特殊情况:

2.1、cpu 负载高,IO 负载低

  • 内存不够
  • 磁盘性能差
  • SQL 问题 ------>去数据库层,进一步排查 sql 问题
  • IO 出问题了(磁盘到临界了、raid 设计不好、raid 降级、锁、在单位时间内 tps 过高)
  • tps 过高: 大量的小数据 IO、大量的全表扫描

2.2、IO 负载高,cpu 负载低

  • 大量小的 IO 写操作:
  • autocommit ,产生大量小 IO
  • IO/PS 磁盘的一个定值,硬件出厂的时候,厂家定义的一个每秒最大的 IO 次数。
  • 大量大的 IO 写操作
  • SQL 问题的几率比较大

2.3、IO 和 cpu 负载都很高

硬件不够了或 SQL 存在问题


3、基础优化-- 硬件优化

3.1、主机方面:

  • 根据数据库类型,主机 CPU 选择、内存容量选择、磁盘选择
  • 平衡内存和磁盘资源
  • 随机的 I/O 和顺序的 I/O
  • 主机 RAID 卡的 BBU(Battery Backup Unit)关闭

3.2、cpu 的选择:

  • cpu 的两个关键因素:核数、主频
  • 根据不同的业务类型进行选择:
  • cpu 密集型:计算比较多,OLTP 主频很高的 cpu、核数还要多
  • IO 密集型:查询比较,OLAP 核数要多,主频不一定高的

3.3、内存的选择:

  • OLAP 类型数据库,需要更多内存,和数据获取量级有关。
  • OLTP 类型数据一般内存是 cpu 核心数量的 2 倍到 4 倍,没有最佳实践。

3.4、存储方面:

  • 根据存储数据种类的不同,选择不同的存储设备
  • 配置合理的 RAID 级别(raid 5、raid 10、热备盘)
  • 对与操作系统来讲,不需要太特殊的选择,最好做好冗余(raid1)(ssd、sas 、sata)

3.5、raid 卡:主机 raid 卡选择:

  • 实现操作系统磁盘的冗余(raid1)
  • 平衡内存和磁盘资源
  • 随机的 I/O 和顺序的 I/O
  • 主机 RAID 卡的 BBU(Battery Backup Unit)要关闭

3.6、网络设备方面:

使用流量支持更高的网络设备(交换机、路由器、网线、网卡、HBA 卡)

注意:以上这些规划应该在初始设计系统时就应该考虑好。


4、操作系统优化

Cpu:

基本不需要调整,在硬件选择方面下功夫即可。

内存:

基本不需要调整,在硬件选择方面下功夫即可。

SWAP:

MySQL 尽量避免使用 swap。阿里云的服务器中默认 swap 为 0

IO :

  • raid、no lvm、 ext4 或 xfs、ssd、IO 调度策略
  • Swap 调整(不使用 swap 分区)

这个参数决定了 Linux 是倾向于使用 swap,还是倾向于释放文件系统 cache。在内存紧张的情况下,数值越低越倾向于释放文件系统 cache。当然,这个参数只能减少使用 swap 的概率,并不能避免 Linux 使用 swap。

修改 MySQL 的配置参数 innodb_flush_method,开启 O_DIRECT 模式。这种情况下,InnoDB 的 buffer pool 会直接绕过文件系统 cache 来访问磁盘,但是redo log 依旧会使用文件系统 cache。值得注意的是,Redo log 是覆写模式的,即使使用了文件系统的 cache,也不会占用太多。


5、系统参数调整

Linux 系统内核参数优化:

vim /etc/sysctl.conf
 net.ipv4.ip_local_port_range = 1024 65535 # 用户端口范围
 net.ipv4.tcp_max_syn_backlog = 4096 
 net.ipv4.tcp_fin_timeout = 30 
 fs.file-max=65535 # 系统最大文件句柄,控制的是能打开文件最大数量

用户限制参数:

vim /etc/security/limits.conf 
 * soft nproc 65535
 * hard nproc 65535
 * soft nofile 65535
 * hard nofile 65535

6、不相干应用优化

业务应用和数据库应用独立,防火墙:iptables、selinux 等其他无用服务(关闭):

chkconfig --level 23456 acpid off
chkconfig --level 23456 anacron off
chkconfig --level 23456 autofs off
chkconfig --level 23456 avahi-daemon off
chkconfig --level 23456 bluetooth off
chkconfig --level 23456 cups off
chkconfig --level 23456 firstboot off
chkconfig --level 23456 haldaemon off
chkconfig --level 23456 hplip off
chkconfig --level 23456 ip6tables off
chkconfig --level 23456 iptables off
chkconfig --level 23456 isdn off
chkconfig --level 23456 pcscd off
chkconfig --level 23456 sendmail off
chkconfig --level 23456 yum-updatesd off

觉得有用的朋友多帮忙转发哦!后面会分享更多devops和DBA方面的内容,感兴趣的朋友可以关注下~

相关推荐

Linux/Unix 系统中非常常用的命令

Linux/Unix系统中非常常用的命令,它们是进行文件操作、文本处理、权限管理等任务的基础。下面是对这些命令的简要说明:**文件操作类:*****`ls`(list):**列出目录内容,显...

教你如何在Linux中删除分区(CLI篇)

文接上篇,继续以Ubuntu系统为例。删除分区前,急得重要数据备份!备份!备份用命令操作分区,用的最多的莫过于fdisk了,几乎所有的Linux发行版都默认带有fdisk。首先要知道的是,你想删除的分...

敲完就让你提桶跑路的Linux命令(敲完就让你提桶跑路的linux命令是什么)

不谨慎可能就会让你提桶的Linux命令!!!删除文件rm-rf该命令是删除文件或文件夹等最快的方式之一。删除后的内容很难恢复,如果删除系统文件可能会导致系统崩坏。>rm-rf/#强制...

Log文件可以删除吗(taxukeylog文件可以删除吗)

Log文件(日志文件)是否可以删除取决于具体场景和文件类型。以下是详细分析和建议:一、哪些Log文件可以删除?非关键应用日志用户级应用日志:如浏览器缓存日志、游戏临时日志等,通常不影响系统运行,可定期...

Linux 删除空目录(linux直接删除目录)

rmdir命令用来删除空目录。当目录不再被使用时,或者磁盘空间已到达使用限定值,就需要删除失去使用价值的目录。利用rmdir命令可以从一个目录中删除一个或多个空的子目录。该命令从一个目录中删除一个或...

在 Windows 11 或 10 上删除、创建和格式化分区

在Windows11或10上删除、创建和格式化分区假设您的现有电脑使用的是传统硬盘,但现在您想再添加一个硬盘或SSD。当然,后者将用于启动操作系统,而前者将作为纯数据存储。在成功将操作系统...

如何使用 Apt Clean 命令清除 APT 缓存?

APT(AdvancedPackageTool)是Debian系Linux发行版的包管理工具,用于处理软件包的安装、升级和依赖管理。在使用apt命令(如aptinstall、apt...

Linux 磁盘空间不够用?5 招快速清理文件,释放 10GB 空间不是梦!

刚收到服务器警告:磁盘空间不足90%!装软件提示Nospaceleftondevice!连日志都写不进去,系统卡到崩溃?别慌!今天教你5个超实用的磁盘清理大招,从临时文件到无用软件一键搞定...

Linux清空日志方法(linux怎么清理日志)

方法1:使用>重定向>/path/to/logfile或(需要权限时):sudosh-c'>/var/log/logfile'方法2:使用trun...

如何在Eclipse中搭建Zabbix源码的调试和开发环境

Zabbix是一款非常优秀的企业级软件,被设计用于对数万台服务器、虚拟机和网络设备的数百万个监控项进行实时监控。Zabbix是开放源码和免费的,这就意味着当出现bug时,我们可以很方便地通过调试源码来...

Linux操作系统之常用命令(linux操作系统之常用命令有哪些)

Linux操作系统一、常用命令1.系统(1)系统信息arch显示机器的处理器架构uname-m显示机器的处理器架构uname-r显示正在使用的内核版本dmidecode-q显示硬件系...

理解linux内核的vmlinuz和initrd(linux内核原理及分析)

Originaladdress:http://www.chenjunlu.com/2010/11/understanding-of-vmlinuz-initrd-and-system-map/1....

Linux纯干货知识总结|面试专用(linux面试宝典)

学习Linux的重要性相信不用我多说大家也明白,以下是小编总结的常用Linux基础知识以及面试常问的Linux命令,希望能帮助大家更规范地理解和使用~绝对路径和相对路径绝对路径以正斜杠开始完整的文件的...

Linux基础知识之启动流程分析(简述linux启动流程)

Linux系统启动原理:1.poweron开机。2.开机自检:电脑开机后首先加载BIOS(BasicInput/OutputSystem基本输入输出系统)。BIOS程序首先检查计算机能否满足运...

Java程序员必备——Linux的面试常见问题及面试题!你知道多少?

一.常用命令1.编辑相关①.awkNF:字段总数NR:第几行数据FS:分隔字符②.sed-n-i直接修改4a:在第四行后添加4i:在第四行前插入1,5csting:用sting替换1到5行...

取消回复欢迎 发表评论: