mysql数据库高并发解决方案_java如何实现高并发

mysql数据库高并发解决方案_java如何实现高并发本文主要针对中小型应用或网站,重点探讨日常程序开发中SQL语句的优化问题,所谓“大数据”、“高并发”仅针对中小型应用而言,专业的数据库运维大神请无视。以下实践为个人在实际开发工作中,针对相对“大数据”

MySQL在大数据、高并发场景下的SQL语句优化和"最佳实践"

本文主要针对中小型应用或网站,重点探讨日常程序开发中SQL语句的优化问题,所谓“大数据”、“高并发”仅针对中小型应用而言,专业的数据库运维大神请无视。以下实践为个人在实际开发工作中,针对相对“大数据”和相对“高并发”场景的一些应对策略,部分措施并没有经过严格的对比测试和原理分析,如有错漏欢迎各种批评指教。减少查询的影响结果集,避免出现全表扫描。影响结果集是SQL优化的核心。影响结果集不是查询返回的

本文主要针对中小型应用或网站,重点探讨日常程序开发中SQL语句的优化问题,所谓“大数据”、“高并发”仅针对中小型应用而言,专业的数据库运维大神请无视。以下实践为个人在实际开发工作中,针对相对“大数据”和相对“高并发”场景的一些应对策略,部分措施并没有经过严格的对比测试和原理分析,如有错漏欢迎各种批评指教。

 

减少查询的影响结果集,避免出现全表扫描。

影响结果集是SQL优化的核心。影响结果集不是查询返回的记录数,而是查询所扫描的结果数。通过Explain或Desc分析SQL,rows列的值即为影响结果集(还可以通过慢查询日志的Rows_examined后面的数字得到)。

以下是我常用的一些SQL优化策略:

去掉不必要的查询和搜索。其实在项目的实际应用中,很多查询条件是可有可无的,能从源头上避免的多余功能尽量砍掉,这是最简单粗暴的解决方案。

合理使用索引和复合索引。建索引是SQL优化中最有效的手段。查找、删除、更新以及排序时常用的字段可以适当建立索引。不过要注意,单条查询不能同时使用多个索引,只能使用一个索引。查询条件较多时,可以使用多个字段合并的复合索引。切记,使用复合索引时,查询条件的字段顺序需要与复合索引的字段顺序保持一致。

谨慎使用not in等可能无法使用索引的条件。索引也不是什么时候都可以发挥作用的,当出现”not in”,”!=”,”like “%xx%””,”is null”等条件时,索引是无效的。使用这些条件的时候,请放到能有效使用索引的条件的右边。设计表结构时,个人建议尽可能用int类型代替varchar类型,int类型部分时候可以通过大于或小于代替”!=”等条件,同时也方便满足一些需要按类型排序的需求,至于可读性的问题,完善好数据库设计文档才是明智的选择。同时建议把所有可能的字段设置为”not null”,并设置默认值,避免在where字句中出现”is null”的判断。

不要在where子句中的“=”左边进行函数、算术运算或其他表达式运算,否则系统将无法正确使用索引。尽可能少用MySQL的函数,类似Now()完全可以通过程序实现并赋值,部分函数也可以通过适当的建立冗余字段来间接替代。

在where条件中使用or,可能导致索引无效。可用 “union all” 或者 “union” (会过滤重复数据,效率比前者低) 代替,或程序上直接分开两次获取数据再合并,确保索引的有效利用。

不使用select * ,倒不是能提高查询效率,主要是减少输出的数据量,提高传输速度。

避免类型转换,这里所说的“类型转换”是指where子句中出现字段的类型和传入的参数类型不一致的时候发生的类型转换。

分页查询的优化。页数比较多的情况下,如limit 10000,10 影响的结果集是10010行,查询速度会比较慢。推荐的解决方案是:先只查询主键select id from table where .. order by .. limit 10000,10(搜索条件和排序请建立索引),再通过主键去获取数据。

统计相关的查询。影响结果集往往巨大,且部分SQL语句本身已经难以优化。因此,应避免在业务高峰期执行统计相关的查询,或者仅在从库中执行统计查询。部分统计数据,可以通过冗余的数据结构保存,同时建议把数据先保存在内存、缓存中(如redis),再按一定策略写入数据库。

不使用任何连表查询,通过分库和分表实现负载均衡。

随着数据量的增加,连表操作往往会导致影响结果集大增,从SQL优化的层面已经解决不了问题了。

此时,分库和分表是解决数据库性能压力的最优选择(具体分库和分表的方案通常结合实际业务的应用场景来确定,此处略过)。这里重点谈,如何更好的实现或者过渡到分库、分表的分布式数据库架构。

核心点就是必须先去除数据表之间的关联,即不用外键,不使用任何连表查询。为了确保不进行连表操作,在设计数据库表结构的时候,就需要设计适度冗余的字段来达到不连表的目的。

对于一些操作日志、支付记录等,设计一些记录用户信息的字段,个人认为其实不能算冗余,毕竟用户信息往往会更改,但是这种类似操作日志的表确实是需要记录用户操作时的信息,并且不需要在用户更新信息时同步更新。

实际开发中,为了实现不进行连表而冗余的字段,往往是需要在原表更新数据的时候同步更新冗余字段的数据的,如果应用层没有对数据表操作做合理封装,这往往是个棘手的问题,也不方便维护。

当然,现在主流的应用框架,一般采用orm的方式处理数据表,所以问题不大。相反,不连表事实上还可以提高开发效率,比如通过用户ID获取用户姓名操作,如果不连表就可以确保各个业务模块都通过同样的方式去获取用户姓名,调用同一个封装好的方法,这样,就能很方便的统一在应用层加入缓存机制或添加统一的业务逻辑。

同时如果要对用户表进行分库分表,通过应用层程序就可以简单平滑的实现。

使用Innodb。

关于Innodb和Myisam对比,我就不多说了。Myisam的表级锁是致命问题,考虑到MySQL已经默认使用Innodb作为数据库引擎,个人建议大部分情况可以直接使用Innodb,其他引擎这里就不详细讨论了。

使用缓存。

1) 尽可能在程序上实现常用数据的缓存,目前主流的应用框架应该都能快速实现缓存的需求。如果在程序上没有实现数据缓存,开启数据库的query cache也是缓解数据库压力的方式之一,如果确认使用,记得定时清理碎片flush query cache。

服务器相关优化

MySQL服务配置以及分布式架构的实现,请根据实际应用场景和业务需求定制,非本文重点,不做深入探讨。

 

以上内容希望帮助到大家,更多相关知识请关注我的专栏PHP​zhuanlan.zhihu.com

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
转载请注明出处: https://daima100.com/10374.html

(0)
上一篇 2022-12-28
下一篇 2022-12-28

相关推荐

  • 倒转列表顺序:Python .reverse方法

    倒转列表顺序:Python .reverse方法Python是一种高级编程语言,它可以轻松地实现各种算法和数据结构。Python中的列表(List)是一种特殊的数据结构,它可以用来存储一系列有序的元素,这些元素可以是数字、字符串、对象等等。Python提供了许多方法来操作列表,其中一个非常便利的方法是.reverse(),它可以将列表的顺序反转。

    2024-02-29
    86
  • Python实现合并list的方法

    Python实现合并list的方法在Python编程中,list是非常常见的数据类型,但在实际应用中,我们有时需要将多个list进行合并。对于初学者来说,这可能会是一个比较困难的问题,因此我们需要寻找一种简单有效的解决方案。在本文中,我们将介绍Python实现合并list的几种方法。

    2024-09-20
    19
  • 时间列使用timestamp,更新任何列,时间列都会更新

    时间列使用timestamp,更新任何列,时间列都会更新  今天发生了一种奇怪的现象:时间列使用timestamp,更新任何列,时间列都会更新。   发生这种现象的原因是打开了根据当前时间戳更新的开关。

    2022-12-24
    144
  • PostgreSQL 实时位置跟踪+轨迹分析系统实践 – 单机顶千亿轨迹/天[通俗易懂]

    PostgreSQL 实时位置跟踪+轨迹分析系统实践 – 单机顶千亿轨迹/天[通俗易懂]PostgreSQL , PostGIS , 动态更新位置 , 轨迹跟踪 , 空间分析 , 时空分析

    2023-06-15
    135
  • openGauss SQL引擎(下)——查询优化[通俗易懂]

    openGauss SQL引擎(下)——查询优化[通俗易懂]上一篇[openGauss SQL引擎 (上)]中我们介绍了SQL引擎概览、SQL解析以及查询优化器的优势和优化技术的分类,本文将详细介绍查询优化的相关内容。 (一)查询重写 查询重写利用已有语句特…

    2023-04-13
    147
  • Python饼状图分析

    Python饼状图分析Python是一种高级编程语言,广泛用于数据分析和数据可视化。在数据可视化方面,Python提供了许多库和工具,其中之一是用于绘制饼状图的库。饼状图可以用于显示不同类别之间的关系,以及每个类别所占总量的百分比。在以下内容中,我们将介绍如何使用Python绘制饼状图,以及如何使图表更加可视化和有吸引力。

    2024-07-13
    42
  • Python中的break关键字及其应用

    Python中的break关键字及其应用在Python中,break是一个关键字,主要用于终止循环语句。当程序执行到此关键字时,立即终止当前循环,并跳出循环代码块继续向下执行程序。

    2024-03-23
    75
  • 使用Python匹配以A开头和结尾的单词实现自然语言处理

    使用Python匹配以A开头和结尾的单词实现自然语言处理Python中的正则表达式是一种特殊的语法,可以用来匹配字符串中符合特定格式的文本。在Python中,使用re模块来支持正则表达式的操作。

    2023-12-23
    104

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注