百度360必应搜狗淘宝本站头条
tomcat 乱码无法与服务器建立安全连接是什么意思sysv-rc-confdocker映射容器目录到宿主机internet explorer 增强的安全配置已启用
当前位置：网站首页 > 技术文章 > 正文

MySQL空间报警后的一揽子解决方案

nanshan 2024-11-27 18:14 11 浏览 0 评论

这是学习笔记的第 2261篇文章

读完需要

5

分钟

速读仅需7分钟

昨天下午的时候，收到一条报警信息，提示是一个异机房的从库出现了磁盘空间问题，这类问题看起来蛮好处理的，空间不够清理就是了，比如清理binlog,比如清理一些周期表等等。

但是在经过分析之后，发现这个问题比预想的要严重。

这是一套一主两从的环境，Slave2的配置相对较低，存储配置也略低一些，目前发生了磁盘空间的报警。

经过分析发现，原来是里面的一张表的数据量有了很大的变化，之前相对来说比较稳定，每天会生成50M~100M左右的数据，但是从近几天来看，数据量翻了好几百倍，每天乎有20~30G左右的数据写入，这样一来原来的存储模式就显得捉襟见肘了。

怎么处理呢，一种模式就是磁盘扩容，这个时候我和业务侧做了沟通，准备细致了解一下。大体的需求是因为一些业务调整，需要记录的数据内容更全更丰富了，而这也是最近的一个新需求（此处的一个明显问题就是这个需求竟然和DBA没有任何沟通），因为目前采用的是日表，日表的保留周期是20天左右，最后能存储1个月，而从业务使用的角度来说，长期来看希望保留半年，这样一个需求，在目前的情况下几乎是不可实现的。 我们来简单算算，如果是保留20天，那么就需要至少600G以上的空间，外加一些冗余空间，差不多得在700~800G左右，而如果保留1个月就需要1T左右，而如果保留半年就需要大约6T左右。

所以脑海里闪出几个方案：

1）对InnoDB的表进行压缩存储，压缩率高的话差不多能有40~50%左右，但是不能根本解决问题

2）使用数据库+数据仓库结合的方案，比如MySQL+Infobright的方案，MySQL中保留近2天的数据，数据按照T+1转储到数据仓库中，业务统计查询都从数仓中提取，优点是查询效率较高，缺点是查询复杂度比较高，比如有1个月的表，按照月，天的维度统计还是有些复杂的。

3）使用基于中间件的分布式集群来进行数据写入水平扩展，整个集群的资源需求至少需要主从9个实例。

4）考虑使用MySQL+大数据流转的方案，即在MySQL中实时写入，数据通过Maxwell流转到Kafka中，然后进入大数据体系中进行消费，比如使用Impla等方案，可以做到比较高效的数据统计效果

整体经过讨论，最后采用了第4中方案，毕竟第2种方案需要重新配置和构建脚本逻辑，方案3没有解决统计查询的瓶颈问题，方案4解决了存储和统计查询的大问题。

QQ群号

相关推荐

在 Ubuntu 上安装 Zabbix(以 Zabbix 6.4 LTS 版本为例)

Zabbix是一个流行的开源监控解决方案，能够监控各种网络参数和服务器健康状态。一、环境准备系统要求Ubuntu20.04/22.04LTS至少2GBRAM（生产环境建议4GB+）至少1...

如何在 Ubuntu 24.04 服务器上安装 Apache Solr

ApacheSolr是一个免费、开源的搜索平台，广泛应用于实时索引。其强大的可扩展性和容错能力使其在高流量互联网场景下表现优异。Solr基于Java开发，提供了分布式索引、复制、负载均衡及自...

如何在 Ubuntu 24.04 LTS 或 22.04/20.04 上安装 Apache Maven

Maven是由Apache托管的开源工具，用于管理Java项目。它包含一个项目对象模型（POM）：一个配置文件（XML），其中包含项目的基本信息，包括配置、项目依赖项等。Maven可以处理...

Cursor的终极对手——Trae Pro最新系统提示词

前段时间，字节的AI编程神器Trae国际版，终于甩出了Pro订阅计划！很多对它又爱又恨的小伙伴，直呼：终于等到你。爱它，是因为Trae长期免费+体验真香；恨它？还不是那该死的排队等待，...

AI系统提示词:V0（ai代码提示）

以下是对V0系统提示词（SystemPrompt）的分部分讲解与解读，帮助你理解其核心内容和设计意图。V0系统提示词##CoreIdentity-Youarev0,Vercel&...

8岁男童失踪第13天，搜救人员发现可疑水库，更恶心的事情发生了

Lookingatyourrequest，Ineedtorewritethearticleaboutthe8-year-oldmissingboywhilemaking...

docker常用指令及安装rabbitMQ（docker安装zabbix）

一、docker常用指令启动docker：systemctlstartdocker停止docker：systemctlstopdocker重启docker：systemctlrestart...

三步教你用Elasticsearch+PyMuPDF实现PDF大文件秒搜!

面对100页以上的大型PDF文件时，阅读和搜索往往效率低下。传统关系型数据库在处理此类数据时容易遇到性能瓶颈，而Elasticsearch凭借其强大的全文检索和分布式架构，成为理想解决方案。通过...

ElasticSearch中文分词插件(IK)安装

坚持原创，共同进步！请关注我，后续分享更精彩!!!前言ElasticSearch默认的分词插件对中文支持很不友好。一段话按规则会以每个中文字符来拆解，再分别建立倒排索引。如"中华人民共和国国歌...

SpringBoot使用ElasticSearch做文档对象的持久化存储?

ElasticSearch是一个基于Lucene的开源搜索引擎，广泛应用于日志分析、全文搜索、复杂查询等领域，在有些场景中使用ElasticSearch进行文档对象的持久化存储是一个很不错的选择...

Elasticsearch数据迁移方案（elasticsearch copyto）

前言最近小编要去给客户部署一套系统涉及到了Mysql和ES数据的迁移,下面就给大家分享一下ES数据迁移的几套方案,根据具体的使用场景来选择不同的迁移方案能使你事倍功半,话多说下面就一一介绍。Elast...

Rancher部署单体ElasticSearch（rancher2.5部署）

Rancher是k8s图形管理界面，之前曾有写文章介绍如何安装。ElasticSearch是热门搜索引擎，很多地方都有用到，常规安装部署略显繁琐，本文介绍在k8s下用rancher简易部署ES。1.在...

Elasticsearch在Java项目的搜索实践:从零开始构建高效搜索系统

Elasticsearch在Java项目中的搜索实践：从零开始构建高效搜索系统在现代的Java项目中，数据量激增，传统的数据库查询方式已经无法满足快速检索的需求。这时，Elasticsearch(E...

小白入门-Kibana安装（kibana安装配置）

一Kibana基础1.1介绍Kibana是一款免费且开放的前端应用程序，其基础是ElasticStack，可以为Elasticsearch中索引的数据提供搜索和数据可视化功能。Kiban...

Docker上使用Elasticsearch,Logstash,Kibana

在对一个项目做性能测试时我需要处理我们web服务器的访问日志来分析当前用户的访问情况。因此，我想这是试用ELK的一个好机会。ELK栈首先要注意的是使用它是非常简单的。从决定使用ELK到在本机上搭一个...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表