百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

不要让关系型数据库限制了你的监控规模

nanshan 2024-10-15 11:28 50 浏览 0 评论

多余的话就不说了,关系型数据库在大规模读写的缺点网上一大把,zabbix4.2时代已经可支持时序数据库了,在5.0版本时代方案更加成熟。

TimescaleDB 介绍

TimescaleDB 是基于 PostgreSQL 的时序数据库插件,完全继承了 PostgreSQL 的功能,对于复杂查询,各种类型(GIS,json,k-v,图像特征值,range,数组,复合类型,自定义类型,…..)的支持非常丰富,非常适合工业化的时序数据库场景需求。具有以下特点:

  1. 基于时序优化
  2. 自动分片(按时间、空间自动分片(chunk))
  3. 全 SQL 接口
  4. 支持垂直于横向扩展
  5. 支持时间维度、空间维度自动分区。空间维度指属性字段(例如传感器 ID,用户 ID 等)
  6. 支持多个 SERVER,多个 CHUNK 的并行查询。分区在 TimescaleDB 中被称为 chunk。
  7. 自动调整 CHUNK 的大小
  8. 内部写优化(批量提交、内存索引、事务支持、数据倒灌)。
    内存索引,因为 chunk size 比较适中,所以索引基本上都不会被交换出去,写性能比较好。
    数据倒灌,因为有些传感器的数据可能写入延迟,导致需要写以前的 chunk,timescaleDB 允许这样的事情发生(可配置)。
  9. 复杂查询优化(根据查询条件自动选择 chunk,最近值获取优化(最小化的扫描,类似递归收敛),limit 子句 pushdown 到不同的 server,chunks,并行的聚合操作)
  10. 利用已有的 PostgreSQL 特性(支持 GIS,JOIN 等),方便的管理(流复制、PITR)
  11. 支持自动的按时间保留策略(自动删除过旧数据)
    看介绍是很适合监控数据的存储。之前对于监控数据的存储,建议进行分区表操作,进行管理。Zabbix从4.2时代就开始支持TimescaleDB,这应该说是一个好消息,至于具体性能提升,还有待测试。

TimescaleDB 安装

TimescaleDB 基于 PostgreSQL,因此我们需要先安装 PostgreSQL,由于之前很少用,因此这里简单描述以下安装过程
基本环境:

Centos 7.6 PG版本11.2

由于是测试环境,还是老操作,关闭防火墙和禁用seLinux,怎么关建议自行百度,不麻烦

添加 PostgreSQL 的 yum 源

yum install -y https://download.postgresql.org/pub/repos/yum/11/redhat/rhel-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm

安装数据库

yum install postgresql11 -y

yum install postgresql11-server

添加 TimescaleDB 的 yum 源

cat > /etc/yum.repos.d/timescale_timescaledb.repo <<EOL
[timescale_timescaledb]
name=timescale_timescaledb
baseurl=https://packagecloud.io/timescale/timescaledb/el/7/\$basearch
repo_gpgcheck=1
gpgcheck=0
enabled=1
gpgkey=https://packagecloud.io/timescale/timescaledb/gpgkey
sslverify=1
sslcacert=/etc/pki/tls/certs/ca-bundle.crt
metadata_expire=300
EOL

安装包

yum update -y
yum install -y timescaledb-postgresql-11

初始化数据库

/usr/pgsql-11/bin/postgresql-11-setup initdb

启动 PostgreSQL

systemctl start postgresql-11
systemctl enable postgresql-11

使用以下命令初始化 postgresql 配置文件

timescaledb-tune --pg-config=/usr/pgsql-11/bin/pg_config

初学者建议一切按照推荐数值,全部按 Y 同意即可完成配置。由于我的 Zabbix Server 和 PostgreSQL 为不同机器,因此需要开启 PostgreSQL 远程连接(默认关闭)
修改 PostgreSQL 默认配置文件/var/lib/pgsql/11/data/postgresql.conf
修改 listen 地址为所有地址(即*),默认监听 127.0.0.1

listen_addresses = '*'



修改客户端认证配置文件:/var/lib/pgsql/11/data/pg_hba.conf 添加如下

host    all   all    0.0.0.0/0    md5



配置好之后,重启 PostgreSQL 使配置生效

systemctl restart postgresql-11

Zabbix 使用 TimescaleDB

目前只有 Zabbix Server 支持 TimescaleDB,Zabbix Proxy 不支持 TimescaleDB。
配置成功 TimescaleDB 之后,建立 Zabbix 相关用户,并导入 Zabbix 数据库

sudo -u postgres psql
create user zabbix with password 'zabbixpwd123';
create database zabbix owner zabbix;
grant all privileges on database zabbix to zabbix;

以上命令建立名为 zabbix 的用户,密码为 zabbixpwd123,并建立了 zabbix 数据库,并授权于所有权限给 zabbix 用户。
下载 zabbix 5 源码,并解压,进入 postgresql 目录

tar zxvf zabbix-5.0.2.tar.gz
cd zabbix-5.0.2/database/postgresql/

以此按照顺序,导入数据库

echo "CREATE EXTENSION IF NOT EXISTS timescaledb CASCADE;" | sudo -u postgres psql zabbix
cat schema.sql | sudo -u zabbix psql zabbix
cat images.sql | sudo -u zabbix psql zabbix
cat data.sql | sudo -u zabbix psql zabbix
cat timescaledb.sql | sudo -u zabbix psql zabbix

与平常不同,这里开启了 TimescaleDB 插件支持,并使用 timescaledb.sql 为历史和趋势数据创建了 hypertable 表.hypertable 表是 timescaledb 抽象的 一张表,让用户操作 hypertable 就像 操作 postgres 的普通表一样,在内部,timescaledb 自动将 hypertable 分割成块, timescaledb 会自动操作和管理 hypertable 的分区表,对于用户来说是透明的.create_hypertable 有两个参数,第一个参数是表名,第二个参数 是分区列,一般为 TIMESTAMPTZ 类型.这里看到为历史数据的 clock 列。

SELECT create_hypertable('history', 'clock', chunk_time_interval => 86400, migrate_data => true);
SELECT create_hypertable('history_uint', 'clock', chunk_time_interval => 86400, migrate_data => true);
SELECT create_hypertable('history_log', 'clock', chunk_time_interval => 86400, migrate_data => true);
SELECT create_hypertable('history_text', 'clock', chunk_time_interval => 86400, migrate_data => true);
SELECT create_hypertable('history_str', 'clock', chunk_time_interval => 86400, migrate_data => true);
SELECT create_hypertable('trends', 'clock', chunk_time_interval => 86400, migrate_data => true);
SELECT create_hypertable('trends_uint', 'clock', chunk_time_interval => 86400, migrate_data => true);
UPDATE config SET db_extension='timescaledb',hk_history_global=1,hk_trends_global=1;

完成之后,在 Zabbix Server 里配置相关数据库连接参数即可,与支持 postgresql 的配置一致,具体连接图,可以参考其他zabbix搭建文章,接下来我也会写一篇安装的文档。

基本测试

使用 TimescaleDB 之后,观察机器情况。


Zabbix Server



TimescaleDB



总结

本次主要介绍了 Zabbix 使用 TimescaleDB,安装配置比较简单,至于性能是否有大的提升,还需要后续进行测试和验证,有任何疑问可以提出,谢谢。

相关推荐

0722-6.2.0-如何在RedHat7.2使用rpm安装CDH(无CM)

文档编写目的在前面的文档中,介绍了在有CM和无CM两种情况下使用rpm方式安装CDH5.10.0,本文档将介绍如何在无CM的情况下使用rpm方式安装CDH6.2.0,与之前安装C5进行对比。环境介绍:...

ARM64 平台基于 openEuler + iSula 环境部署 Kubernetes

为什么要在arm64平台上部署Kubernetes,而且还是鲲鹏920的架构。说来话长。。。此处省略5000字。介绍下系统信息;o架构:鲲鹏920(Kunpeng920)oOS:ope...

生产环境starrocks 3.1存算一体集群部署

集群规划FE:节点主要负责元数据管理、客户端连接管理、查询计划和查询调度。>3节点。BE:节点负责数据存储和SQL执行。>3节点。CN:无存储功能能的BE。环境准备CPU检查JDK...

在CentOS上添加swap虚拟内存并设置优先级

现如今很多云服务器都会自己配置好虚拟内存,当然也有很多没有配置虚拟内存的,虚拟内存可以让我们的低配服务器使用更多的内存,可以减少很多硬件成本,比如我们运行很多服务的时候,内存常常会满,当配置了虚拟内存...

国产深度(deepin)操作系统优化指南

1.升级内核随着deepin版本的更新,会自动升级系统内核,但是我们依旧可以通过命令行手动升级内核,以获取更好的性能和更多的硬件支持。具体操作:-添加PPAs使用以下命令添加PPAs:```...

postgresql-15.4 多节点主从(读写分离)

1、下载软件[root@TX-CN-PostgreSQL01-252software]#wgethttps://ftp.postgresql.org/pub/source/v15.4/postg...

Docker 容器 Java 服务内存与 GC 优化实施方案

一、设置Docker容器内存限制(生产环境建议)1.查看宿主机可用内存bashfree-h#示例输出(假设宿主机剩余16GB可用内存)#Mem:64G...

虚拟内存设置、解决linux内存不够问题

虚拟内存设置(解决linux内存不够情况)背景介绍  Memory指机器物理内存,读写速度低于CPU一个量级,但是高于磁盘不止一个量级。所以,程序和数据如果在内存的话,会有非常快的读写速度。但是,内存...

Elasticsearch性能调优(5):服务器配置选择

在选择elasticsearch服务器时,要尽可能地选择与当前业务量相匹配的服务器。如果服务器配置太低,则意味着需要更多的节点来满足需求,一个集群的节点太多时会增加集群管理的成本。如果服务器配置太高,...

Es如何落地

一、配置准备节点类型CPU内存硬盘网络机器数操作系统data节点16C64G2000G本地SSD所有es同一可用区3(ecs)Centos7master节点2C8G200G云SSD所有es同一可用区...

针对Linux内存管理知识学习总结

现在的服务器大部分都是运行在Linux上面的,所以,作为一个程序员有必要简单地了解一下系统是如何运行的。对于内存部分需要知道:地址映射内存管理的方式缺页异常先来看一些基本的知识,在进程看来,内存分为内...

MySQL进阶之性能优化

概述MySQL的性能优化,包括了服务器硬件优化、操作系统的优化、MySQL数据库配置优化、数据库表设计的优化、SQL语句优化等5个方面的优化。在进行优化之前,需要先掌握性能分析的思路和方法,找出问题,...

Linux Cgroups(Control Groups)原理

LinuxCgroups(ControlGroups)是内核提供的资源分配、限制和监控机制,通过层级化进程分组实现资源的精细化控制。以下从核心原理、操作示例和版本演进三方面详细分析:一、核心原理与...

linux 常用性能优化参数及理解

1.优化内核相关参数配置文件/etc/sysctl.conf配置方法直接将参数添加进文件每条一行.sysctl-a可以查看默认配置sysctl-p执行并检测是否有错误例如设置错了参数:[roo...

如何在 Linux 中使用 Sysctl 命令?

sysctl是一个用于配置和查询Linux内核参数的命令行工具。它通过与/proc/sys虚拟文件系统交互,允许用户在运行时动态修改内核参数。这些参数控制着系统的各种行为,包括网络设置、文件...

取消回复欢迎 发表评论: