百度360必应搜狗淘宝本站头条
tomcat 乱码无法与服务器建立安全连接是什么意思sysv-rc-confdocker映射容器目录到宿主机internet explorer 增强的安全配置已启用
当前位置：网站首页 > 技术文章 > 正文

一个无损、实时的压缩算法，同时具备高压缩比率和性能，Star23K

nanshan 2024-11-23 20:12 24 浏览 0 评论



我们在日常工作中，或者应用程序中，基本都会用到压缩工具或者算法对文件进行压缩，比如：

  • 文件传输： 对 大文件或者很多小文件进行传输时进行压缩，减少传输所需的时间和带宽；

  • 文件存储： 大文件进行存储时，进行文件压缩可以有效的减少存储容量的需求；

  • 数据备份： 对一些备份数据进行压缩存储，比如mysql的dump文件等等；

  • 多媒体分发： 对视频、音频和其他多媒体文件压缩，可以改善用户体验，减少缓冲时间（但是这个也需要实时解压能力）。

  • 特定系统： 比如类似堡垒机、视频监控这类系统，需要存储大量的录屏录像文件，这时候都需要进行压缩存储。

所以，无论是我们的个人电脑，还是企业服务器，乃至很多应用程序都会安装压缩工具或者模块，而一个好的压缩算法，能够极大的提高应用和系统的数据处理和存储能力。所以今天给大家介绍的是一种高性能无损压缩算法-zstd
01
—
zstd 介绍

Zstandard简称zstd，是Face book开源的一种高性能无损压缩算法，专为实时压缩场景设计，提供了比传统zlib算法更高的压缩比率和更快的压缩速度。支持多种压缩级别。此外，它还具备字典压缩功能，特别适合小数据或具有重复模式的数据集，能显著提升压缩效率。

项目信息 

#github地址https://github.com/facebook/zstd#项目地址https://facebook.github.io/zstd/

功能特性

  • 快速压缩： 提供快速的压缩速度，可通过使用参数进一步加速压缩过程。

  • 高压缩比： 提供了比传统压缩算法如zlib和gzip更高的压缩比率。

  • 多级别压缩： 支持选择不同的压缩级别，从快速压缩到最大压缩比率，以满足不同的性能和存储需求。

  • 字典压缩： 支持使用字典来提高小数据或重复的数据的压缩效率。

  • 流式压缩： 支持流式压缩，可以处理连续的数据流，而不需要一次性加载整个文件。

  • 无损压缩： 压缩和解压缩后的数据与原始数据完全一致。

  • 跨平台支持： 支持在多种操作系统和硬件平台上运行，包括Windows、Linux、macOS等。

  • 多语言绑定： 提供了多种编程语言的接口，使得它可以在不同的编程环境中使用。

  • 可配置的资源使用： 可以根据应用的具体需求，调整zstd的内存和CPU使用策略。

  • 错误处理： 提供了错误检测和处理机制，确保数据的完整性和可靠性。

  • 命令行工具： 提供了命令行工具，方便直接在终端中进行压缩和解压缩。

  • 文件格式： 虽然zstd的文件格式是.zst，是一个独立的格式，但是也可以兼容其他格式如.gz、.xz和.lz4。

  • 投产状态: zstd已在Facebook和其他大型云基础设施中部署，被认为适合生产环境。

和多种压缩算法的数据对比

项目提供了和其他压缩算法的对比作为参考。在配备 Core i7-9700K CPU @ 4.9GHz ， Ubuntu 20.04操作系统上进行 测试比较了几种常见的压缩算法。

压缩算法和版本 压缩比率 压缩速度 解压速度

zstd 1.5.6 -1

2.887

510 MB/s

1580 MB/s

zlib 1.2.11 -1

2.743

95 MB/s

400 MB/s

brotli 1.0.9 -0

2.702

395 MB/s

430 MB/s

zstd 1.5.6 --fast=1

2.437

545 MB/s

1890 MB/s

zstd 1.5.6 --fast=3

2.239

650 MB/s

2000 MB/s

quicklz 1.5.0 -1

2.238

525 MB/s

750 MB/s

lzo1x 2.10 -1

2.106

650 MB/s

825 MB/s

lz4 1.9.4

2.101

700 MB/s

4000 MB/s

lzf 3.6 -1

2.077

420 MB/s

830 MB/s

snappy 1.1.9

2.073

530 MB/s

1660 MB/s


在同样的基准下，测试zstd和zlib、lzma 详细的对比图：


压缩的数据量越小，压缩就越困难。为了解决这种情况，Zstd 提供了一种训练模式，可用于针对所选类型的数据调整算法。训练 Zstandard 是通过为其提供一些样本（每个样本一个文件）来实现的。此训练的结果存储在名为“字典”的文件中，必须在压缩和解压缩之前加载该文件。使用此字典，可以显著提高小数据上可实现的压缩率。下图为采用“字典”进行压缩解压和不采用“字典”的对比：


02
—
zstd 安装

zstd目前已经可以通过操作系统的包管理器进行安装，以Ubuntu操作系统为例： 

#更新系统sudo apt updatesudo apt upgrade#安装依赖sudo apt install build-essential wget tar#安装zstdsudo apt install zstd
03
—
zstd 使用

  • 命令行：

zstd的命令行基础使用比较简单： 

#压缩文件zstd filename#调整压缩级别，其中“#”是1到19之间的数字zstd -# filename#解压缩zstd?-d?filename.zst

文件压缩时会有前后对比说明：


  • 图形化：

zstd作为一种压缩算法，可以被现有的压缩工具使用，比如7-zip或者， WinRAR： 

#支持zstd的7-zip下载https://github.com/mcmilk/7-Zip-zstd/releases#支持zstd的WinRAR下载


  • 多种编程语言：

虽然zstd采用的为C语言，但是很多项目作者提供了其他语言支持详见以下链接： 
https://facebook.github.io/zstd/#other-languages
比如在Python 3 中使用： 
# Module has simple API:>>> import zstd>>> dir(zstd)['Error', 'ZSTD_compress', 'ZSTD_external', 'ZSTD_uncompress', 'ZSTD_version', 'ZSTD_version_number', '__doc__', '__file__', '__loader__', '__name__', '__package__', '__spec__', 'compress', 'decompress', 'dumps', 'loads', 'uncompress', 'version']>>> zstd.version()'1.5.1.0'>>> zstd.ZSTD_version()'1.5.1'>>> zstd.ZSTD_version_number()10501>>> zstd.ZSTD_external()0
# In python3 use bytes>>> data = b"123456qwert">>> cdata = zstd.compress(data, 1)>>> data == zstd.decompress(cdata)True>>> cdata_mt = zstd.compress(data, 1, 4)>>> cdata == cdata_mtTrue>>> data == zstd.decompress(cdata_mt)True
04
—
最后


综上所述，zstd是一种高效、灵活的压缩工具，适用于需要快速压缩和解压缩的场景，如网络数据传输、实时视频流处理、大规模数据存储、多媒体内容分发、以及日常文件备份和恢复，能够显著减少数据传输时间和存储空间，同时保持数据的完整性和一致性。如果你也在寻找类似的压缩解压方案的话，不防试试zstd吧！

相关推荐

用Acronis True Imag安卡诺斯2016进行系统备份恢复

从WindowsXp一路走过来到现在使用的Win11，相信很多朋友和我一样，经历过N次病毒、系统崩溃、数据误删除等等惨痛教训，简直是历历在目，造成我有着很高的数据备份意识，养成了良好的数据备份习惯。...

云祺容灾备份系统V5.0新产品之文件备份

对于某些企业用户来说，他们更关注数据安全的基础备份需求，比如文件、文档或者历史记录等一些非结构性文件。这些重要文件的丢失，更会对企业的正常运作带来影响，给企业造成损失，为了保障生产业务的正常运行，一些...

Linux新手入门系列:Linux下mysql定时备份及恢复

本文是linux下mysql的导出、导入，及定时备份脚本的编写，及定时器的简单应用。本系列文章是把作者刚接触和学习Linux时候的实操记录分享出来，内容主要包括Linux入门的一些理论概念知识、Web...

怎么使用再生龙打包(备份)liunx系统

liunx系统区别于Windows，由于分区格式的特殊性并不能像GHOST那样进行备份封包，有款开源的针对liunx系统备份还原的软件-再生龙（clonezilla），可能有部分人已经用过，本篇文章让...

制作 Kali Linux 随身 U 盘并实现持久化

KaliLinux的前身是BackTrackLinux发行版。KaliLinux是一个基于Debian的Linux发行版，包括很多安全和取证方面的相关工具。它由Offensiv...

Time Machine 使用教程(三):为你的备份加把锁

在我们之前的两篇TimeMachine使用教程中，你应该已经学会如何简单进行TimeMachine备份和如何将外置的TimeMachine磁盘进行「一芯二用」。那么在接下来本篇的T...

linux多磁盘挂载至同一目录

由于业务需要，需要把多块磁盘挂载至同一目录下，通常情况下一个目录只能挂载一块磁盘，否则会覆盖之前的挂载。要想实现多磁盘挂载同一目录，则需要通过卷组的方式进行解决。工具安装yuminstalllvm...

Acronis Backup (Advanced)使用示例:备份与恢复(一)

列出磁盘列出本地计算机的所有磁盘。acrocmdlistdisks列出远程计算机的磁盘。acrocmdlistdisks--host=192.168.1.2--credential...

Linux基础运维篇:Linux文件操作超详细版(第007课)

一、Linux文件系统基础1.文件类型Linux一切皆文件，常见文件类型：普通文件（-）：文本文件（.txt）、二进制文件（可执行程序）、压缩文件等。目录文件（d）：用于组织文件和子目录（类似...

Linux的300+个真实运维场景——14 备份与恢复

场景154：备份不完整故障排除步骤：查看用于备份的脚本或命令是否有错误。cat/path/to/backup_script.sh检查备份日志文件是否有警告或错误。cat/var/log/ba...

使用再生龙工具备份还原linux 服务器

大家好，之前给大家介绍一个一款可以用来备份还原、远程克隆、P2V、V2V的工具--再生龙，今天就来给大家演示如何用该工具备份和还原一台linux服务器。软件版本：RHEL6.8*64+clonez...

Linux TB级小文件同步备份解决方案

在某些电子档案存储的业务系统下，按照业务场景要求，需要将产生的所有电子影像资料永久存储，并支持备份；因为“钞能力”等原因，一般备份存储只有一个节点（即：一个备份存储服务器）；这样就要求研发工程师，不...

不用担心硬盘烧了，让你的电脑每天定时自动为你备份重要的文件

这是前几天一位网友提到的一个问题，他问我怎么让电脑每天定时自动备份重要的文件。我整理了操作流程，这里跟大家分享一下。先说说这个技巧有什么用途，打个比方，假如你每天都在编辑一些文档，你把它们保存在D...

每天自动备份Oracle数据库

本文以CentOS7.6系统与Oracle11g为例，教你如何在Linux下设置每天自动备份Oracle数据库。一.先找到数据库的环境变量如果是在root账户下，须先登录到数据库所在账户suor...

易备数据备份软件:Hyper-V/ESXi/ESXi Free 虚拟机的理想备份方案

易备数据备份软件提供完整的虚拟机备份解决方案，支持对Hyper-V/ESXi/vSphereHypervisor(ESXiFree)虚拟机实现(热)备份功能,可以用全自动的方式，将...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表