百度360必应搜狗淘宝本站头条
tomcat 乱码无法与服务器建立安全连接是什么意思sysv-rc-confdocker映射容器目录到宿主机internet explorer 增强的安全配置已启用
当前位置：网站首页 > 技术文章 > 正文

第44问:MySQL 的内存消耗, 哪些不在 performance_schema 的统计范围

nanshan 2025-08-02 20:21 1 浏览 0 评论

问

当 MySQL 内存异常上涨, 我们可以通过 performance_schema 观察内存的使用, 我们在实验5中进行过介绍。

但我们也会发现操作系统统计的 MySQL 内存用量比 performance_schema 统计的 MySQL 内存用量要多。

那么 MySQL 的内存消耗, 有哪些是不在 performance_schema 统计内的呢?

本期我们设计实验来观察这个问题

实验

我们先安装 google-perftools:

安装后, 可以找到相关的库:

宽油起一个数据库:

记下数据库的启动参数, 并关掉数据库:

我们在数据库启动命令前, 增加两个环境变量 LD_PRELOAD 和 HEAPPROFILE.

其中 LD_PRELOAD 指向刚才我们安装的 tcmalloc 库, HEAPPROFILE 是输出文件的路径.

启动数据库后, 我们看到日志中输出了两个 heap 文件.

我们在数据库中增加一些压力, 还是用我们熟悉的翻倍法:

多做点数据:

观察到输出了更多的 heap 文件:

下面我们安装 pprof 来解析这些 heap 文件.

先下载 golang , 此步骤需要挂代理:

安装 golang :

安装 pprof :

用 pprof 解析我们刚才生成的 heap 文件:

我们让 pprof 生成一个 svg 文件, 我们将 svg 文件放到 Chrome 中打开查看:

图比较大, 每根线都标记了内存的分配流, 我们用红色箭头标注了三个汇集点 (所有的连线都会流向这三个汇集点中的某一个).

其中 pfs_malloc 是可以被 performance_schema 跟踪的内存分配, 而其他两个汇集点则不能.

下面我们将图的一部分放大, 举例来做个大致介绍 (本图中我们用红色箭头增强了原图的连线):

我们可以看到有16384.53kB是 由 log_allocate_buffer 函数调用 ut_allocator 分配的, 这部分无法被 performance_schema 跟踪到.

查看一下代码, 得知 log_allocate_buffer 是根据 log_buffer_size 参数申请内存的:

查看参数, 证实 log_buffer_size 的配置与我们在图中观察到的内存分配一致:

总结

本实验中, 我们使用了 tcmalloc 作为 MySQL 的内存分配器, 并使用 tcmalloc 提供的 heap dump 功能, 追踪 MySQL 的内存分配。

通过内存分配图, 能让我们直观地理解 MySQL 的内存分配:

我们可以从中观察到 每一部分的内存 是从哪个代码路径进行分配的, 以及哪些内存是 performance_schema 能追踪到的。

此功能对性能影响不大, 可以在生产上比较平稳的使用, 用于探索生产环境的一些内存分配异常。

关于 MySQL 的技术内容，你们还有什么想知道的吗？赶紧留言告诉小编吧！

相关推荐

安全软件更新:OpenSSH 9.3和OpenSSL 3.1

最近开源安全软件领域也相继更新了最新版本。其中上周OpenSSL发布了最新的3.1版本，而OpenSSH则在昨天发布最新版本9.3。虽然带来的新功能不多，只是bug和漏洞方面的修复，但是作为比较重要的...

阿里云新增的轻量应用服务器(欧洲与美洲)美国(硅谷)配置方法

近期，阿里云的轻量应用服务器新增了欧洲与美洲地域，可以在美国（硅谷）部署服务器了，但是没有LAMP应用镜像，所以在配置服务器时遇到几个问题，SSH登录不了，提示【Algorithmnegotiati...

OpenSSH 10.0发布 旨在更好地抵御量子计算机的攻击

OpenSSH10.0现已支持这一广泛使用的SSH客户端/服务器实现。OpenSSH10.0包含多项改进，包括更好地防御未来量子计算机可能发起的攻击。OpenSSH10.0放弃了对过去...

腾讯云国际站: 腾讯云服务器怎麽SSH远程连接

本文由【云老大】TG@yunlaoda360撰写准备工作获取服务器的公网IP地址：在腾讯云控制台找到云服务器实例，查看其基本信息，获取公网IP地址。确保服务器已安装SSH服务：一般Linux系统默...

旧电脑改服务器，这 6 个坑能让你白忙 3 天(附实测解决办法)

前几天收到粉丝私信，说照着教程把旧电脑改成服务器，结果折腾了3天还是没成功——要么是启动后连不上网，要么是跑两天就自动关机。其实我第一次改的时候也踩了不少坑，光是让旧电脑稳定运行，就重装了6...

使用win10自带的ssh服务器

我太喜欢ssh了，因为它的功能实在太强大，而且几乎不占用啥资源。(PS:类似的软件:p7zip,tightvnc)。因此，无论是哪个系统，我总想着安装一个ssh的服务器。之前我在虚拟机中安装了个win...

Python sys模块使用教程

1.知识导图2.sys模块概述2.1模块定义与作用sys模块是Python标准库中的一个内置模块，提供了与Python解释器及其环境交互的接口。它包含了许多与系统相关的变量和函数，可以用来控制P...

满足AI时代高效办公需求 惠普战99 AI商务超能本评测

身处智能化时代的浪潮之中，人工智能正在深刻影响着我们工作和生活的方式，从聊天机器人到自动驾驶，从智能制造到药物研发，人工智能的力量无处不在。如今，随着各类AI应用逐渐占据主流计算平台，并在各种触手可及...

使用 vLLM 生产环境部署 DeepSeek，算力减半、吞吐增十倍!

需求：之前使用Ollama部署过deepseek-r1:32b模型，非常方便快捷，适合个人快速部署使用。如果作为企业生产环境应该使用什么方式部署呢？一般都采用vllm、sglang进行部署...

我把 ML 模型编译成 C 后，速度竟提升了 1000 倍!

【CSDN编者按】在本文中，我们来尝试将micrograd神经网络编译成C。具体内容如下：简单了解一下神经网络；看看micrograd如何前向传播和反向传播；复习链式法则；分析为什么mi...

这才是真·非公旗舰!索泰RTX 5080天启OC显卡评测

近年来，电脑硬件的RGB灯光逐渐成为标配，厂商在产品差异化这一方面则开拓了二次元IP形象这一新的领域，但要说哪家厂商在这一领域最吸引眼球，我想索泰应该要属独领风骚的一个。早在2020年，索泰便推出了以...

性能测试工具Iperf 验证SDN网络

1实验目的掌握Iperf在Linux环境下的安装和常用命令行参数的含义熟悉Iperf应用实例掌握SDN网络中使用Iperf测试网络带宽等2实验原理网络性能测试主要是监测网络带宽的使用率，将网络带宽...

方案 | 感受沉浸式音效的魅力:Roger和他的豪华影院

随着沉浸式音效的不断普及，诸如杜比全景声、DTS:X或Auro3D等技术不断引入到家庭影院音响系统中来，并带来了前所未有的震撼效果。也因此，越来越多的业主想要搭建一间具备沉浸式音效的影院，以享受更高...

LLVM IR入门:编写自定义优化Pass的完整教程与性能影响分析

LLVMIR：编译器优化的核心纽带LLVM作为模块化编译器框架的典范，其中间表示（IR）是连接前端（如Clang）与后端（目标架构代码生成）的桥梁。与传统编译器不同，LLVMIR具有平台无关性和...

iperf-LINUX测速工具

#iperf-测速工具安装包下载地址https://github.com/esnet/iperfhttps://downloads.es.net/pub/iperf/iperf-3.9.tar.gz官...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表