详细解读阿里手册之MySQL(阿里巴巴mysql开发手册)
nanshan 2024-10-13 03:52 32 浏览 0 评论
阿里手册是阿里工程师多年一线经验的结晶,遵循其中的约定与规范,能很大程度的减少某些未知的隐患。
其规约强度由强到弱分为强制、推荐、参考三大类。
本文详细解读了阿里手册的MySQL部分,如果是一些很明确的、不需要过多解释的约定,本文不会解读。
本文分为四部分:
- 建表规约
- 索引规约
- SQL语句
- ORM映射
1 建表规约
【强制】表达是与否概念的字段,必须使用 is_xxx 的方式命名,数据类型是 unsigned tinyint (1 表示是,0 表示否)。 说明:任何字段如果为非负数,必须是 unsigned。 注意:POJO 类中的任何布尔类型的变量,都不要加 is 前缀,所以,需要在<resultMap>设置 从 is_xxx 到 Xxx 的映射关系。数据库表示是与否的值,使用 tinyint 类型,坚持 is_xxx 的 命名方式是为了明确其取值含义与取值范围。 正例:表达逻辑删除的字段名 is_deleted,1 表示删除,0 表示未删除。
解读:从优化角度来讲,应该按字段的用途来定义合适的类型。表达是与否,用长度为1个字节的tinyint足以。
【强制】表名、字段名必须使用小写字母或数字,禁止出现数字开头,禁止两个下划线中间只 出现数字。数据库字段名的修改代价很大,因为无法进行预发布,所以字段名称需要慎重考虑。 说明:MySQL 在 Windows 下不区分大小写,但在 Linux 下默认是区分大小写。因此,数据库名、 表名、字段名,都不允许出现任何大写字母,避免节外生枝。 正例:aliyun_admin,rdc_config,level3_name 反例:AliyunAdmin,rdcConfig,level_3_name
解读:Win环境下开发,代码中用的表名是小写,本地数据库用的是大写,那么在win环境下没有问题,但发布到linux环境会有问题。Linux下MySQL安装完后默认:区分表名的大小写,不区分列名的大小写
MySQL在Linux下数据库名、表名、列名、别名大小写规则:
(1)数据库名与表名是严格区分大小写
(2)表的别名是严格区分大小写
(3)列名与列的别名在所有的情况下均是忽略大小写的
(4)变量名也是严格区分大小写的
【强制】表名不使用复数名词。 说明:表名应该仅仅表示表里面的实体内容,不应该表示实体数量,对应于 DO 类名也是单数 形式,符合表达习惯。
【强制】禁用保留字,如 desc、range、match、delayed 等,请参考 MySQL 官方保留字。
【强制】主键索引名为 pk_字段名;唯一索引名为 uk_字段名;普通索引名则为 idx_字段名。 说明:pk_ 即 primary key;uk_ 即 unique key;idx_ 即 index 的简称。
【强制】小数类型为 decimal,禁止使用 float 和 double。 说明:float 和 double 在存储的时候,存在精度损失的问题,很可能在值的比较时,得到不 正确的结果。如果存储的数据范围超过 decimal 的范围,建议将数据拆成整数和小数分开存储。
解读:float和double都是浮点型,而decimal是定点型。MySQL 浮点型和定点型可以用类型名称后加(M,D)来表示,M表示该值的总共长度,D表示小数点后面的长度。
FLOAT和DOUBLE在不指定精度时,默认会按照实际的精度来显示,而DECIMAL在不指定精度时,默认整数为10,小数为0。所以建议在定义表时,定义(M,D)。
float和double在设置超过定义长度的数值时,会自动四舍五入,decimal会截断,并给出一条警告。
精度损失问题:float和double类型的列,在做sum计算时,会丢失精度,而decimal会精确计算。
【强制】如果存储的字符串长度几乎相等,使用 char 定长字符串类型。
解读:从优化角度来说,如果一个表的所有字段都是定长的,那么每一条数据也就是定长的,数据库就可以直接计算出下一条数据的偏移量,查询速度会更快。
【强制】varchar 是可变长字符串,不预先分配存储空间,长度不要超过 5000,如果存储长 度大于此值,定义字段类型为 text,独立出来一张表,用主键来对应,避免影响其它字段索 引效率。
解读:MySQL5.0以上版本,varchar最大可以存储65535字节数据(内容开头用1-2个字节存储长度信息,超过255时用两个字节,所以最大65535)。
我们通常编码设置为U8,每个字符最多占3个字节,那么最大长度不能超过21845。
若定义的时候超过上述限制,则varchar字段会被强行转为text类型,并产生warning。
此外,受MYSQL行长度限制影响,MySQL要求一个行的定义长度不能超过65535。若定义的表长度超过这个值,则提示ERROR 1118 (42000): Row size too large。
数据库中定义的varchar(20)指的是20个字符。
关于5000的建议:由于通常定义的U8每个字符占3个字节,那么5000字符需要15000个字节,考虑行最大长度限制和别的列,以及查询性能,推荐5000。
【强制】表必备三字段:id, gmt_create, gmt_modified。 说明:其中id必为主键,类型为bigint unsigned、单表时自增、步长为1。gmt_create, gmt_modified 的类型均为 datetime 类型,前者现在时表示主动创建,后者过去分词表示被动更新。
【推荐】表的命名最好是加上“业务名称_表的作用”。 正例: alipay_task / force_project / trade_config
【推荐】库名与应用名称尽量一致。
【推荐】如果修改字段含义或对字段表示的状态追加时,需要及时更新字段注释。
【推荐】字段允许适当冗余,以提高查询性能,但必须考虑数据一致。冗余字段应遵循: 1) 不是频繁修改的字段。 2) 不是 varchar 超长字段,更不能是 text 字段。 正例: 商品类目名称使用频率高,字段长度短,名称基本一成不变,可在相关联的表中冗余存储类目名称,避免关联查询。
【推荐】单表行数超过 500 万行或者单表容量超过 2GB,才推荐进行分库分表。 说明: 如果预计三年后的数据量根本达不到这个级别,请不要在创建表时就分库分表。
解读:超过后对各方面性能影响较大,淘新闻出现过一次表过大引发的故障。
【参考】合适的字符存储长度,不但节约数据库表空间、节约索引存储,更重要的是提升检索速度。 正例: 人都在150岁之内,用tinyint unsigned存储(取值范围:0-255)。 其中无符号值可以避免误存负数, 且扩大了表示范围
2 索引规约
【强制】业务上具有唯一特性的字段,即使是多个字段的组合,也必须建成唯一索引。 说明: 不要以为唯一索引影响了 insert 速度,这个速度损耗可以忽略,但提高查找速度是明显的; 另外,即使在应用层做了非常完善的校验控制,只要没有唯一索引,根据墨菲定律,必然有脏数据产生。
解读:墨菲定律:如果事情有变坏的可能,不管这种可能性有多小,它总会发生。
【强制】超过三个表禁止 join。需要 join 的字段,数据类型必须绝对一致; 多表关联查询时,保证被关联的字段需要有索引。 说明: 即使双表 join 也要注意表索引、 SQL 性能。
【强制】在 varchar 字段上建立索引时,必须指定索引长度,没必要对全字段建立索引,根据实际文本区分度决定索引长度即可。 说明: 索引的长度与区分度是一对矛盾体,一般对字符串类型数据,长度为 20 的索引,区分度会高达 90%以上,可以使用 count(distinct left(列名, 索引长度))/count(*)的区分度来确定。
解读:区分度是指不重复的索引值和数据表的记录总数的比值,范围(0,1],值越高则查询效率越高。
对于blob,text,varchar的列必须使用前缀索引,MySQL不允许索引这些列的完整长度。
最好选择足够长的前缀保证较高的区分度,也不能太长(节省空间)。
【强制】页面搜索严禁左模糊或者全模糊,如果需要请走搜索引擎来解决。 说明: 索引文件具有 B-Tree 的最左前缀匹配特性,如果左边的值未确定,那么无法使用此索引。
【推荐】如果有 order by 的场景,请注意利用索引的有序性。 order by 最后的字段是组合索引的一部分,并且放在索引组合顺序的最后,避免出现 file_sort 的情况,影响查询性能。 正例: where a=? and b=? order by c; 索引: a_b_c 反例: 索引中有范围查找,那么索引有序性无法利用,如: WHERE a>10 ORDER BY b; 索引a_b 无法排序。
解读:file_sort即在order by时发生的文件排序,如果排序时没有用到索引,就会产生file_sort。
只有当索引的列顺序和order by子句的顺序完全一致,并且所有列的排序方向都一样时,才能用索引排序。如果查询需要关联多张表,只有当order by子句引用的字段全部为第一个表时,才能使用索引排序。
【推荐】利用覆盖索引来进行查询操作, 避免回表。 说明: 如果一本书需要知道第 11 章是什么标题,会翻开第 11 章对应的那一页吗?目录浏览一下就好,这个目录就是起到覆盖索引的作用。 正例: 能够建立索引的种类分为主键索引、唯一索引、普通索引三种,而覆盖索引只是一种查询的一种效果,用 explain 的结果, extra 列会出现: using index。
解读:如果一个索引包含所有需要查询的字段的值,称之为“覆盖索引”。
由于覆盖索引必须要存储索引列的值,哈希索引、空间索引和全文索引都不存储列的值,MySQL只有B-Tree索引可以做覆盖索引。如:对id,name,title三个字段建立索引,在索引中会存储这三个列的值,如果查询:select id,name,title from table where id < 10; 通过explain会看到extra为using index。
如果查询select * from table where id < 10;就不会使用覆盖索引,因为索引中没有包含所有的列值。
【推荐】利用延迟关联或者子查询优化超多分页场景。 说明: MySQL 的limit查询并不是跳过 offset 行,而是取 offset+N 行,然后返回放弃前 offset 行,返回N 行,那当 offset 特别大的时候,效率就非常的低下,要么控制返回的总页数,要么对超过特定阈值的页数进行 SQL 改写。
解读:案例
select count(*) from user_game_info; // 共有956176条数据
select * from user_game_info a limit 900000, 20; // 此查询耗时0.547S
select t1.* from user_game_info t1, (select id from user_game_info limit 900000, 20) t2 where t1.id = t2.id; // 优化后耗时0.178S
【推荐】 SQL 性能优化的目标:至少要达到 range 级别, 要求是 ref 级别, 如果可以是 consts最好。 说明: 1) consts 单表中最多只有一个匹配行( 主键或者唯一索引) ,在优化阶段即可读取到数据。 2) ref 指的是使用普通的索引( normal index) 。 3) range 对索引进行范围检索。 反例: explain 表的结果, type=index,索引物理文件全扫描,速度非常慢,这个 index 级别比较 range 还低,与全表扫描是小巫见大巫。
解读:这里说的是explain中的type字段(连接类型)。
常见的几种类型有:all、index、range、ref、eq_ref、const,从左到右效率依次增强。
1)All:全表扫描
2)Index:先扫描全部索引,再回表获取数据,性能不比all强
3)Range:有范围的索引扫描,between/and/>/</in/or可触发
4)Ref:查找条件列使用了索引而且不为主键和unique
5)Eq_ref:优化器已知查询结果只有一个,在使用了主键或唯一索引的情况下触发
6)Const:将主键放到where后面做等值查询,例如:select * from user_game_info where id = 100;
【推荐】建组合索引的时候,区分度最高的在最左边。 正例: 如果 where a=? and b=? , 如果 a 列的几乎接近于唯一值,那么只需要单建 idx_a索引即可。 说明: 存在非等号和等号混合时,在建索引时,请把等号条件的列前置。如: where c>? andd=? 那么即使 c 的区分度更高,也必须把 d 放在索引的最前列, 即索引 idx_d_c。
【推荐】 防止因字段类型不同造成的隐式转换,导致索引失效。
解读:例如,给上文提到的tb_user_account表的username(varchar)字段加索引,由于字段是varchar类型的,所以上图中的查询类型匹配,命中索引,下图是用int类型匹配的,无法命中索引。
隐式转换规则:
1)两个参数至少有一个是 NULL 时,比较的结果也是 NULL,例外是使用 <=> 对两个 NULL 做比较时会返回 1,这两种情况都不需要做类型转换
2)两个参数都是字符串,会按照字符串来比较,不做类型转换
3)两个参数都是整数,按照整数来比较,不做类型转换
4)十六进制的值和非数字做比较时,会被当做二进制串
5)有一个参数是 TIMESTAMP 或 DATETIME,并且另外一个参数是常量,常量会被转换为 timestamp
6)有一个参数是 decimal 类型,如果另外一个参数是 decimal 或者整数,会将整数转换为 decimal 后进行比较,如果另外一个参数是浮点数,则会把 decimal 转换为浮点数进行比较
7)所有其他情况下,两个参数都会被转换为浮点数再进行比较
【参考】创建索引时避免有如下极端误解: 1) 宁滥勿缺。 认为一个查询就需要建一个索引。 2) 宁缺勿滥。 认为索引会消耗空间、严重拖慢更新和新增速度。 3) 抵制惟一索引。 认为业务的惟一性一律需要在应用层通过“先查后插”方式解决。
3 SQL语句
【强制】不要使用 count(列名)或 count(常量)来替代 count(*), count(*)是 SQL92 定义的标准统计行数的语法,跟数据库无关,跟 NULL 和非 NULL 无关。 说明: count(*)会统计值为 NULL 的行,而 count(列名)不会统计此列为 NULL 值的行。
【强制】 count(distinct col) 计算该列除 NULL 之外的不重复行数, 注意 count(distinctcol1, col2) 如果其中一列全为 NULL,那么即使另一列有不同的值,也返回为 0。
【强制】当某一列的值全是 NULL 时, count(col)的返回结果为 0,但 sum(col)的返回结果为NULL,因此使用 sum()时需注意 NPE 问题。 正例: 可以使用如下方式来避免 sum 的 NPE 问题: SELECT IF(ISNULL(SUM(g)),0,SUM(g))FROM table;
【强制】使用 ISNULL()来判断是否为 NULL 值。 说明: NULL 与任何值的直接比较都为 NULL。 1) NULL<>NULL 的返回结果是 NULL, 而不是 false。 2) NULL=NULL 的返回结果是 NULL, 而不是 true。 3) NULL<>1 的返回结果是 NULL,而不是 true。
【强制】 在代码中写分页查询逻辑时,若 count 为 0 应直接返回,避免执行后面的分页语句。 解读:先查询COUNT,后查询分页数据
【强制】不得使用外键与级联,一切外键概念必须在应用层解决。 说明:以学生和成绩的关系为例,学生表中的 student_id是主键,那么成绩表中的 student_id则为外键。如果更新学生表中的 student_id,同时触发成绩表中的 student_id 更新, 即为级联更新。外键与级联更新适用于单机低并发,不适合分布式、高并发集群; 级联更新是强阻塞,存在数据库更新风暴的风险; 外键影响数据库的插入速度。
【强制】禁止使用存储过程,存储过程难以调试和扩展,更没有移植性。
【强制】数据订正(特别是删除、 修改记录操作) 时,要先 select,避免出现误删除,确认无误才能执行更新语句。
解读:手动执行SQL来修改或删除数据时,先用where后的条件select一遍,确认数据无误后,在执行update或delete。
【推荐】 in 操作能避免则避免,若实在避免不了,需要仔细评估 in 后边的集合元素数量,控制在 1000 个之内。
【参考】 如果有国际化需要,所有的字符存储与表示,均以 utf-8 编码,注意字符统计函数的区别。 说明:SELECT LENGTH(“轻松工作”); 返回为 12,统计字节数SELECT CHARACTER_LENGTH(“轻松工作”); 返回为 4,统计字符数如果需要存储表情,那么选择 utf8mb4 来进行存储,注意它与 utf-8 编码的区别。
解读:utf8可以存储3个字节的数据,utf8mb4可以存储四个字节,专门用来兼容4个字节的unicode,utf8mb4是utf8的超集,将编码从utf8改为utf8mb4无需额外转换。
Emoji表情不在utf8的3个字节的表示范围之内,可以用utf8mb4存储。
【参考】 TRUNCATE TABLE 比 DELETE 速度快,且使用的系统和事务日志资源少,但 TRUNCATE无事务且不触发 trigger,有可能造成事故,故不建议在开发代码中使用此语句。说明: TRUNCATE TABLE 在功能上与不带 WHERE 子句的 DELETE 语句相同。
4 ORM映射
【强制】在表查询中,一律不要使用 * 作为查询的字段列表,需要哪些字段必须明确写明。 说明: 1) 增加查询分析器解析成本。 2) 增减字段容易与 resultMap 配置不一致。 3)无用字段增加网络消耗,尤其是 text 类型的字段。
解读:可以更好的利用“覆盖索引”。
【强制】 POJO 类的布尔属性不能加 is,而数据库字段必须加 is_,要求在 resultMap 中进行字段与属性之间的映射。 说明: 参见定义 POJO 类以及数据库字段定义规定,在<resultMap>中增加映射,是必须的。在 MyBatis Generator 生成的代码中,需要进行对应的修改。
【强制】不要用 resultClass 当返回参数,即使所有类属性名与数据库字段一一对应,也需要定义; 反过来,每一个表也必然有一个 POJO 类与之对应。 说明: 配置映射关系,使字段与 DO 类解耦,方便维护。
【强制】sql.xml 配置参数使用: #{}, #param# 不要使用${} 此种方式容易出现 SQL 注入。
解读:#与$的区别:在预编译中的处理是不一样的。#{} 在预处理时,会把参数部分用一个占位符 ? 代替,如:
select * from user where name = ?;
而 ${} 则只是简单的字符串替换,在动态解析阶段,该 sql 语句会被解析成
select * from user where name = 'zhangsan’;
以上,#{} 的参数替换是发生在 DBMS 中,而 ${} 则发生在动态解析过程中。
【强制】 iBATIS 自带的 queryForList(String statementName,int start,int size)不推荐使用。 说明:其实现方式是在数据库取到 statementName对应的SQL语句的所有记录,再通过 subList取 start,size 的子集合。 正例: Map<String, Object> map = new HashMap<>();map.put("start", start);map.put("size", size);
【强制】不允许直接拿 HashMap 与 Hashtable 作为查询结果集的输出。 说明: resultClass=”Hashtable”, 会置入字段名和属性值,但是值的类型不可控。
【推荐】不要写一个大而全的数据更新接口。 传入为 POJO 类,不管是不是自己的目标更新字段,都进行 update table set c1=value1,c2=value2,c3=value3; 这是不对的。执行 SQL时, 不要更新无改动的字段,一是易出错; 二是效率低; 三是增加 binlog 存储。
【参考】 @Transactional 事务不要滥用。事务会影响数据库的 QPS,另外使用事务的地方需要考虑各方面的回滚方案,包括缓存回滚、搜索引擎回滚、消息补偿、统计修正等。
【参考】 <isEqual>中的 compareValue 是与属性值对比的常量,一般是数字,表示相等时带上此条件; <isNotEmpty>表示不为空且不为 null 时执行; <isNotNull>表示不为 null 值时执行。
相关推荐
- 0722-6.2.0-如何在RedHat7.2使用rpm安装CDH(无CM)
-
文档编写目的在前面的文档中,介绍了在有CM和无CM两种情况下使用rpm方式安装CDH5.10.0,本文档将介绍如何在无CM的情况下使用rpm方式安装CDH6.2.0,与之前安装C5进行对比。环境介绍:...
- ARM64 平台基于 openEuler + iSula 环境部署 Kubernetes
-
为什么要在arm64平台上部署Kubernetes,而且还是鲲鹏920的架构。说来话长。。。此处省略5000字。介绍下系统信息;o架构:鲲鹏920(Kunpeng920)oOS:ope...
- 生产环境starrocks 3.1存算一体集群部署
-
集群规划FE:节点主要负责元数据管理、客户端连接管理、查询计划和查询调度。>3节点。BE:节点负责数据存储和SQL执行。>3节点。CN:无存储功能能的BE。环境准备CPU检查JDK...
- 在CentOS上添加swap虚拟内存并设置优先级
-
现如今很多云服务器都会自己配置好虚拟内存,当然也有很多没有配置虚拟内存的,虚拟内存可以让我们的低配服务器使用更多的内存,可以减少很多硬件成本,比如我们运行很多服务的时候,内存常常会满,当配置了虚拟内存...
- 国产深度(deepin)操作系统优化指南
-
1.升级内核随着deepin版本的更新,会自动升级系统内核,但是我们依旧可以通过命令行手动升级内核,以获取更好的性能和更多的硬件支持。具体操作:-添加PPAs使用以下命令添加PPAs:```...
- postgresql-15.4 多节点主从(读写分离)
-
1、下载软件[root@TX-CN-PostgreSQL01-252software]#wgethttps://ftp.postgresql.org/pub/source/v15.4/postg...
- Docker 容器 Java 服务内存与 GC 优化实施方案
-
一、设置Docker容器内存限制(生产环境建议)1.查看宿主机可用内存bashfree-h#示例输出(假设宿主机剩余16GB可用内存)#Mem:64G...
- 虚拟内存设置、解决linux内存不够问题
-
虚拟内存设置(解决linux内存不够情况)背景介绍 Memory指机器物理内存,读写速度低于CPU一个量级,但是高于磁盘不止一个量级。所以,程序和数据如果在内存的话,会有非常快的读写速度。但是,内存...
- Elasticsearch性能调优(5):服务器配置选择
-
在选择elasticsearch服务器时,要尽可能地选择与当前业务量相匹配的服务器。如果服务器配置太低,则意味着需要更多的节点来满足需求,一个集群的节点太多时会增加集群管理的成本。如果服务器配置太高,...
- Es如何落地
-
一、配置准备节点类型CPU内存硬盘网络机器数操作系统data节点16C64G2000G本地SSD所有es同一可用区3(ecs)Centos7master节点2C8G200G云SSD所有es同一可用区...
- 针对Linux内存管理知识学习总结
-
现在的服务器大部分都是运行在Linux上面的,所以,作为一个程序员有必要简单地了解一下系统是如何运行的。对于内存部分需要知道:地址映射内存管理的方式缺页异常先来看一些基本的知识,在进程看来,内存分为内...
- MySQL进阶之性能优化
-
概述MySQL的性能优化,包括了服务器硬件优化、操作系统的优化、MySQL数据库配置优化、数据库表设计的优化、SQL语句优化等5个方面的优化。在进行优化之前,需要先掌握性能分析的思路和方法,找出问题,...
- Linux Cgroups(Control Groups)原理
-
LinuxCgroups(ControlGroups)是内核提供的资源分配、限制和监控机制,通过层级化进程分组实现资源的精细化控制。以下从核心原理、操作示例和版本演进三方面详细分析:一、核心原理与...
- linux 常用性能优化参数及理解
-
1.优化内核相关参数配置文件/etc/sysctl.conf配置方法直接将参数添加进文件每条一行.sysctl-a可以查看默认配置sysctl-p执行并检测是否有错误例如设置错了参数:[roo...
- 如何在 Linux 中使用 Sysctl 命令?
-
sysctl是一个用于配置和查询Linux内核参数的命令行工具。它通过与/proc/sys虚拟文件系统交互,允许用户在运行时动态修改内核参数。这些参数控制着系统的各种行为,包括网络设置、文件...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- linux 查询端口号 (58)
- docker映射容器目录到宿主机 (66)
- 杀端口 (60)
- yum更换阿里源 (62)
- internet explorer 增强的安全配置已启用 (65)
- linux自动挂载 (56)
- 禁用selinux (55)
- sysv-rc-conf (69)
- ubuntu防火墙状态查看 (64)
- windows server 2022激活密钥 (56)
- 无法与服务器建立安全连接是什么意思 (74)
- 443/80端口被占用怎么解决 (56)
- ping无法访问目标主机怎么解决 (58)
- fdatasync (59)
- 405 not allowed (56)
- 免备案虚拟主机zxhost (55)
- linux根据pid查看进程 (60)
- dhcp工具 (62)
- mysql 1045 (57)
- 宝塔远程工具 (56)
- ssh服务器拒绝了密码 请再试一次 (56)
- ubuntu卸载docker (56)
- linux查看nginx状态 (63)
- tomcat 乱码 (76)
- 2008r2激活序列号 (65)