百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

性能测试之数据库调优(数据库的性能优化有哪些方法)

nanshan 2024-11-17 00:16 17 浏览 0 评论

调优方向

硬件:选择磁盘IO读写性能高,磁盘空间大的

操作系统:优先选择linux ,且在ulimit -n中修改打开文件的数量和线程数

查看数据库本身的配置 show variables ;

数据库本身的配置项


max_connections :MySQL的最大连接数,默认151,并发高时可以适当调高此值,以增加并行连接数里,因MySQL会为每个连接提供连接缓冲区,就会开销越多的内存,所以要适当调整该值。可通过Conn%通配符查看当前状态的连接数量,确定该值的大小


open_files_limit:MySQL打开的文件描述符限制:当此值没有被配置的时候,比较max_connections*5 ulimit -n 的值,选择两者大的 。当此值被配置的时,比较open_files_limitmax_connections*5 的值,哪个大用哪个


table_open_cache :MySQL每打开一个表,都会读入一些数据到Table open cache缓存中,当MySQL在这个缓存中找不到相应信息时,才会去磁盘上读取,若系统有200并发连接,则需将此参数设置为20*N(N为每个连接所需的文件描述符数);若设置为过大大,系统处理不了那么多文件描述符,会导致出现客户端失效,连接不上


max_heap_table_size:定义了用户可以创建的内存表(memory table)的大小。这个值用来计算内存表的最大行数值。默认16M


tmp_table_size :临时表大小


read_buffer_size:读入缓冲区大小。对表进行顺序扫描的请求将分配一读入缓冲区,MySQL会为它分配一段内存缓冲区read bufer size变里控制这一缓冲区的大小;如果对表的顺序扫描请求非常频繁,并且你认为频繁扫描进行得太慢,可以通过增加read_buffer_size和内存缓冲区天小可以提高扫描性能


sort_buffer_size:控制排序使用的缓冲大小。如果想要增加ORDER BY的速度,首先看是否可以让MySQL使用索引而不是额外的排序阶段,如果不能,可以尝试增加sort_buffer_size 变量的大小


join_buffer_size :联合查询操作所能使用的缓冲区大小,和sort_buffer_size一样,该参数对应的分配内存也是连接独享


slow_query_log:是否开启慢查询日志

slow_query_log_file 慢查询开关开启启,慢查询脚本会自动写入文件


long_query_time :慢查询阀值时间 sql的执行时间超过这个设定时间,就是慢查询。单位: 秒


innodb_open_files:限制innodb能打开的表数据


wait_timeout: 服务器关交互连接之前等待活动的秒数。在线程启动时,根据全局wat tmeout值或全局interacive tmeout值初始化会wat timeout值,取决于客户端类型(由mysal real connect)的连接选项CLIENT INTERACTIVE定义)。参数默认值:28800秒(8小时)


模拟慢查询

获取到慢查询脚本的方法

1.开启 slow_query_log 开关,现在是关闭状态,需要操作配置文件进行修改

2,通过docker exec -it 容器名称 /bin/bash 进去数据库容器内部

找到容器中 mysql的配置文件路径 /etc/mysql/mysql.cnf

进入alternatives目录,查看到my.cnf 已经软链接到容器内的/etc/mysql 目录下

3. 从容器中,拷贝路径下 mysql.cnf文件到本机linux外

执行命令:docker cp 容器名称 :/etc/mysql/mysql.cnf $PWD


4.修改文件添加内容 :

slow_query_log=ON #开关

long_query_time=1 #超时1s


5.把修改好的mysqld.cnf文件,再次复制到容器中去 (cp 源 路径)

docker cp mysqld.cnf centos7_mysql57:/etc/mysql/mysql.conf.d/mysqld.cnf


6.重启容器之后,日志,就根据long_query_time的时间,判断,超过这个时间,那么就会写入slow_query_log_file文件中去


编写压测脚本对服务器进行压测

将慢sql日志文件复制出来 :docker cp 容器名称:/var/lib/mysql/e2d0077fb342-slow.log $PWD


常见错误: Too many connections

需要适当调整 max_connections的值

查看最大配置的最大连接数:show variables like 'max_connections%';

查看用户已建立的连接数:show GLOBAL status like 'max_used_connections%';

若:max_connections的值和 max_used_connections的值接近说明数据库连接数不足,需要进行以下操作

调整参数:适当修改max connections值 200-1000 的区间。

调整项目本身的配置,如连接池


  • initialSize 初始化连接数
  • maxActive 连接池的最大连接数,0表示无限制
  • maxldle 最大空闲连接,暂时不断开,随时待命
  • minldle 最小空闲连接
  • maxWait 超时等待时间,毫秒;-1表示无限等待,直到超时

在数据库机器执行下面的命令,可以看到数据库总连接数

netstat -ano|grep 数据库端口|grep ESTABLISHED |wc -l


在数据库机器中执行 可以看到 应用程序与 数据库建立连接数有多少

netstat -ano|grep 数据库端口|grep 服务端ip|grep ESTABLISHED |wc -l

相关推荐

Centos7虚拟机安装及网络配置(二)

#二、centos7的网络配置-Nat模式NAT模式也是VMware创建虚拟机的默认网络连接模式。使用NAT模式网络连接时,VMware会在主机上建立单独的专用网络,用以在主机和虚拟机之间相互通信。虚...

网络分析shell脚本(实时流量+连接统计)

介绍一个强大的分析网络的shell脚本,此脚本是从EZHTTP拆分出来的,觉得有必要单独介绍下。脚本运行效果截图:此脚本包含的功能有:1、实时监控任意网卡的流量2、统计10秒内平均流量3、统计每个端口...

Centos之Could not retrieve mirrorlist解决方案

Centos之Couldnotretrievemirrorlist解决方案:vi/etc/sysconfig/network-scripts/ifcfg-你的网卡名字修改:ONBOOT=ye...

一文掌握!VirtualBox 中 Rock9.x(Linux)网络配置全攻略

一、前言记得我有一篇文章《必看!VirtualBox中Centos7(Linux)网络配置全攻略》讲的非常明细,但是因为CentOS已经停止维护了,可能很多人都不想继续学CentOS,我也是一样,...

CentOS 6.0 设置IP地址、网关、DNS

在做任何操作之前先备份原文件,我们约定备份文件的名称为:源文件名称+bak,例如原文件名称为:centos.txt那么备份文件名称为:centos.txtbak引言:linux的网卡IP地址是存放在文...

Linux CentOS 基础操作(centos怎么操作)

简介:养成学习Linux的好习惯,第一是多查看manpage(manual)等帮助文档和利用好Tab键;第二是掌握好一些快捷键,比如ctrl+c(停止当前进程),ctrl+r(查看命令历史)...

Linux抓包王者技能!这条命令直接封神,教你精准定位网络问题

在网络故障排查和性能调优中,抓包是一项必不可少的技能。对于Linux环境下的网络工程师和运维人员来说,掌握高效抓包方法至关重要。而要说“抓包界的王炸”,那非tcpdump莫属!今天,我们不仅要介绍...

「干货」如何在 Linux 上划分VLAN?

在某些场景中,我们希望在Linux服务器(CentOS/RHEL)上的同一网卡分配来自不同VLAN的多个ip。这可以通过启用VLAN标记接口来实现,但要实现这一点,首先必须确保交换机上添加多个vl...

CentOS 8 网络配置实战教程:静态IP、路由与DNS设置

一、配置前准备1.查看当前网络信息#查看所有网络接口nmclidevicestatus#查看指定网卡信息(假设网卡名为ens192)ipaddrshowens192#查看路由...

Debian10.7修改网络配置(debian怎么配置网络)

简介:关于Debian获取IP地址的方法主要有两种,动态获取和静态设置。在配置网络之前先要知道Debian的网卡名称是什么,Debian可通过命令#ipa查看网卡名称。本文主要通过介绍Debian...

巧用SSH转发功能深入穿透内网(ssh转发udp)

ssh能够提供客户端到服务端的加密传输,当http、ftp等协议被防火墙所拦截时,可以考虑使用SSH的端口转发功能,将其它TCP端口的网络数据通过SSH连接来转发。转发方式一共有三种,分别是:动态转发...

CentOS Linux 7 的IP地址配置(centos7.4配置ip地址)

前段时间有位朋友,在一台PC机上安装了CentOSLinux7系统,因为要接入局域网,需要配置IP地址和默认网关信息。于是参照一本Linux教程上编辑网卡配置信息的方法,输入:vim/etc/s...

教你如何在 Linux 上划分VLAN(linux怎么分区详解)

在某些场景中,我们希望在Linux服务器(CentOS/RHEL)上的同一网卡分配来自不同VLAN的多个ip。这可以通过启用VLAN标记接口来实现,但要实现这一点,首先必须确保交换机上添加多个vl...

打通数据高速公路:如何在 CentOS 上使用 Thunderbolt 3 和 4

Thunderbolt3与4是现代高速外设连接的代表,带来了40Gbps的惊人带宽,支持数据、视频、音频与供电的“四合一”功能,尤其在专业视频编辑、科研计算、虚拟化扩展等领域具有巨大价值...

VMware 虚拟机 CentOS7 桥接模式静态 IP 配置全攻略

虚拟机桥接模式原理配置成桥接网络连接模式的虚拟机就当作主机所在以太网的一部分,虚拟系统和宿主机器的关系,就像连接在同一个Hub上的两台电脑,可以像主机一样可以访问以太网中的所有共享资源和网络连接,可以...

取消回复欢迎 发表评论: