百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

如何理解MongoDB分片(mongodb的分片算法有哪些)

nanshan 2025-04-06 19:28 7 浏览 0 评论

阿铭linux近16年的IT从业经验,6年+鹅厂运维经验,6年+创业公司经验,熟悉大厂运维体系,有从零搭建运维体系的实战经验。关注我,学习主流运维技能,让你比别人提升更快,涨薪更多!

什么是MongoDB分片

MongoDB分片是指将数据库拆分成多份,把它们分散到不同的机器上,从而实现不需要功能强大的服务器就可以存储更多的数据和处理更多的请求。


MongoDB分片的基本思想就是将集合切分成小块,这些块分散到若干分片里面,每个分片只负责总数据的一部分。

对于应用程序来说,不必知道哪个分片对应哪些数据,甚至不需要知道数据已经被分片。当应用程序查询数据时,只需要连接一个前置路由即可。这个前置路由通过查询配置服务器获取数据所在的目标分片,从而获取目标数据。

MongoDB分片的目的

高数据量和吞吐量的数据库应用会对单机的性能造成较大压力,大的查询量会将单机的CPU耗尽,大的数据量对单机的存储压力较大,最终会耗尽系统的内存而将压力转移到磁盘IO上。

为了解决这些问题,有两个基本的方法: 垂直扩展和水平扩展。

垂直扩展:增加更多的CPU和存储资源来扩展容量。

水平扩展:将数据集分布在多个服务器上,水平扩展即分片。

分片为应对高吞吐量与大数据量提供了方法。使用分片减少了每个分片需要处理的请求数,因此,通过水平扩展,集群可以提高自己的存储容量和吞吐量。举例来说,当插入一条数据时,应用只需要访问存储这条数据的分片。

使用分片减少了每个分片存储的数据。例如,如果数据库1TB的数据集,并有4个分片,然后每个分片可能仅持有256 GB的数据。如果有40个分片,那么每个切分可能只有25GB的数据。

MongoDB分片架构

MongoDB分片架构中,有三个角色:

  • Mongos :就是上面提到的路由器,是和客户端打交道的模块。Mongos本身没有任何数据,它也不知道该怎么处理这数据,而是通过Config Server来获取;
  • Config Server:配置服务器,所有Shard节点的信息、分片功能的一些配置信息都存储在Config Server里,可以理解为真正数据的元数据;
  • Shard:真正数据存储的位置,以Chunk为单位存储。


Mongos本身并不持久化数据,所有Shard集群的元数据都会存储到Config Server里,而用户的数据会分散存储到各个Shard。Mongos启动后,会从Config Server加载元数据,开始提供服务,将用户的请求正确路由到对应的分片上。

Shard Key

可以说,Shard Key(中文翻译成片键)是MongoDB实现分片的依仗!

MongoDB中数据的分片以集合为基本单位,集合中的数据通过Shard Key被分成多部分。其实Shard Key就是在集合中选了一个键,用该键的值作为数据拆分的依据。

举个例子,假设有个存储人员信息的文档集合,如果选择名字"name"作为Shard Key,那么第一分片可能会存放名字以 A-F 开头的文档。第二分片存 G-P 开头的文档,第三分片存Q-Z的文档。

一个好的Shard Key对分片至关重要。

有一点需要注意,一个自增的Shard Key对写入和数据均匀分布不是很友好,因为自增的Shard Key总会在一个分片上写入,后续达到某个阀值才可能会写到别的分片上。但是反过来讲,按Shard Key查询(读取)会非常高效。

相关推荐

虚拟机“播放器”:VMware Player 12.0.1下载

IT之家讯免费虚拟机软件VMwareWorkstationPlayer更新至12.0.1,本次更新为维护性更新,同今天更新的WorkstationPro版本一样,解决了某些情况下Skylake...

ZLG嵌入式笔记 | 移动硬盘和虚拟机的那些事儿

在Linux开发中,编译内核是一项常见任务,但不少开发者在移动硬盘或虚拟机环境下尝试时会遭遇失败。本文将简要探讨这些问题的成因,并介绍一些虚拟机使用技巧,帮助大家更好地应对相关问题。在移动硬盘里编译...

IT 技术小课堂「虚拟机」

你知道什么是虚拟机吗?虚拟机就是可以用一台电脑变成多台电脑的计算机魔法。推荐上手最快的虚拟机软件VMwareWorkstation。如果你的物理机是Win10以下的可以安装VMwareWo...

最简单的虚拟机安装黑苹果

给所有还没体验过Macos的人们。本文会以最简单的方式介绍虚拟机安装黑苹果的教程,准备四个工具,一次性安装黑苹果,中间基本不会有出现任何问题。一、准备工具,先把以下工具都准备好,网上搜索即可。1、...

VMware虚拟机与物理机文件交互,这8种方法送给你

上一期我们讲解过用VMWare虚拟机打造一个金刚不坏之身的操作系统,小伙伴们反应说方法不错,只是虚拟机与物理机文件交互方式不好操作,这期应小伙伴们的要求,给大家讲解下虚拟机与物理机文件交互的8种方式,...

VMware虚拟机:第二节安装VMware并创建Win10虚拟机

VMware虚拟机:第二节安装VMware并创建Windows10虚拟机本节我们介绍如何安装VMwareWorkStationPro17.6.2,以及利用VMware创建Windows10虚拟机。...

vSphere环境虚拟机安装VMware Tools(Windows操作系统)

本文描述Windows操作系统的VMwareTools安装。Windows操作系统的VMwareTools安装操作步骤Windows操作系统安装完成后,VMwarevSphere控制台会提示“该...

windows7虚拟机VMware tools报错——一招解决

前言最近,把VMwareworkstation更新到版本17后,在一次安装windows7虚拟机的时候,发现VMwaretools各种安装报错,安装无法正常进行,这可愁坏了我,让我把自己本来不多的...

博通紧急修复VMware Tools高危认证绕过漏洞

IT之家3月26日消息,博通昨日(3月25日)发布安全公告,修复VMwareToolsforWindows中存在的高危认证绕过漏洞(CVE-2025-22230)。该漏洞由俄罗...

linux中如何安装VMwaretools--一定要保存

安装好VMware后,有时候我想把真机的文件放到虚拟机了,除了使用远程工具外,也会用到VMwaretools,今天给大家说说如何安装VMwaretools。其实在网上也可以搜到,只是网上的东西太乱了。...

精品博文解决安装Ubuntu14.04不弹出图像界面的问题

今天遇到一个糗事,不写出来不足以解恨。暑期开始了,给一个辅导班做嵌入式系统的讲座。问题就出在讲完以后系统的安装这个环境。班里面好些同学安装好以后进入不了图像界面,举手问我啊,oh,mygod!就到了这...

虚拟机VMware Workstation 17教程,从入门到精通No.3-vmwaretools

安装VMwareTools是创建新的虚拟机过程的一部分,而升级VMwareTools是使虚拟机更易于使用的关键。尽管客户机操作系统在未安装VMwareTools的情况下仍可运行,但许...

国产操作系统虚拟机安装vm-tools

使用vmwareworkstation安装国产化操作系统虚拟机后,不会像windows一样自动安装vmtools工具,按vmware默认的由虚拟机菜单中安装的方法步骤比较复杂,且最终结果不理想,经实...

VmwareTools的安装 这个功能很强大 #计算机

vmwareTools的安装。现在装完之后,这么点看起来也别扭,怎么办?装工具:vmwaretools。·在这个地方选择虚拟机,虚拟机这里边有安装vmwaretools,安装这个工具点击一下。·下边这...

VMware Tools安装失败?手把手教你本地安装

VMwareTools安装失败?作为虚拟机与物理机之间的"桥梁",VMwareTools能实现文件拖拽、剪贴板共享、分辨率自适应等关键功能。没有它,VMware虚拟机就变得非常不好...

取消回复欢迎 发表评论: