mysql参数innodb_flush_method解析

mysql参数innodb_flush_method解析背景 由于mysql的innodb引擎对于数据文件和日志文件都有自己的内存缓冲,在真正写入磁盘时,完全可以不使用os的io缓冲机制(避免双缓冲的冗余浪费)。 所以mysql提供了对应的参数innod…

mysql参数innodb_flush_method解析

innodb_flush_method几个选项的解析

首先让我们忘记mysql,先来看下linux os提供的文件操作方式

open文件的三种模式

O_DIRECT,O_SYNC,O_DSYNC以及default模式(当然可选的远不止这四个,由于本文不涉及其他的,就忽略介绍了)

  1. default每次读写都会使用os缓冲,写时不保证数据落入磁盘
  2. O_DIRECT每次读写文件时是直接向磁盘写入,绕过os缓冲,但是返回的时候不保证数据和元数据信息已经完全刷入磁盘
  3. O_SYNC仍然会使用os的缓冲,只不过在每次写的时候强制将缓冲刷入磁盘(包括所有元数据信息)
  4. O_DSYNC仍然会使用os的缓冲,只不过在每次写的时候强制将缓冲刷入磁盘(包括部分元数据信息) O_DSYNC相较于O_SYNC,可能会减少磁盘操作次数,因为元数据和文件数据可能在磁盘的不同区域,O_DSYNC可以减少这部分元数据的磁盘操作。
    上面是open打开文件的系统调用,linux还有一种专门用于刷入磁盘的系统调用fsync,用于将某个文件的os缓冲数据全部刷入磁盘。

然后我们来看看mysql是怎么使用这些文件操作方式的,这里的前提是mysql每次写文件的目的都是刷入磁盘,仅仅写入os缓冲不足以保证崩溃后的数据一致性。
mysql通过参数innodb_flush_method调节对数据文件和日志文件读写的方式

innodb_flush_method在linux os下的取值为

  1. fsync 默认选项,使用default + fsync操作数据文件和日志文件,即 读写都经过os缓冲,写完后再调用fsync刷入磁盘。
  2. O_DSYNC 使用上述的O_SYNC打开日志文件,即每次写完日志文件,os会自动通过fsync刷入磁盘;使用default + fsync 操纵数据文件。mysql这里没有直接使用O_DSYNC打开文件,据文档描述是因为O_DSYNC在某些操作系统上存在问题。(但是我不太明白这里为什么要对日志文件和数据文件区别对待)
  3. O_DIRECT 使用上述的O_DIRECT打开数据文件和日志文件,然后在每次写入后使用fsync确保所有数据刷入磁盘。(由于O_DIRECT返回不保证数据完成刷盘,这里需要调用fsync完成刷盘保证)
  4. O_DIRECT_NO_FSYNC 使用上述的O_DIRECT打开文件,在写入操作后不使用fsync刷入磁盘。这里有一些具体的细节建议直接参考文档文档。 由于没有fsync保证磁盘刷入完成,文档最后也说明了这种方式有可能造成数据丢失。(我觉得这种方式适合在有可靠存储的保障下使用,这时mysql为了增加性能,想尽办法省去了一些fsync)

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
转载请注明出处: https://daima100.com/10082.html

(0)
上一篇 2023-01-26
下一篇 2023-01-26

相关推荐

  • ruamel.yaml主要特性

    ruamel.yaml主要特性在软件开发过程中,配置文件是非常常见的一种文件类型。频繁读写YAML配置文件可以提高代码的可阅读性和可维护性。ruamel.yaml是一种支持YAML1.2语言规范的Python程序库,它能够读写YAML格式的配置文件,并且能够保留精确的格式信息,是非常优秀的YAML处理库。

    2024-04-13
    94
  • pandas用法大全_python的pandas

    pandas用法大全_python的pandashttps://blog.csdn.net/yiyele/article/details/80605909 一、生成数据表1、首先导入pandas库,一般都会用到numpy库,所以我们先导入备用:im

    2023-03-04
    149
  • influxdb 基本概念和操作

    influxdb 基本概念和操作1、数据格式 在 InfluxDB 中,我们可以粗略的将要存入的一条数据看作一个虚拟的 key 和其对应的 value(field value)。格式如下: 1 cpu_usage,host=ser…

    2022-12-18
    147
  • 对数据表中某2列的值对调

    对数据表中某2列的值对调如标题所言,需要把2列的数据进行对调,列1的值存入列2,把列2的值存储列1中去。 如何实现,2种方法: 第1种,对列名进行修改,把name1改为name2,把name2改为name1即可: sp_re

    2022-12-29
    156
  • Python arange函数详解

    Python arange函数详解a href=”https://beian.miit.gov.cn/”苏ICP备2023018380号-1/a Copyright www.python100.com .Some Rights Reserved.

    2024-05-06
    92
  • 用户画像产品化——从零开始搭建实时用户画像(六)

    用户画像产品化——从零开始搭建实时用户画像(六)在开发好用户标签以后,如何将标签应用到实际其实是一个很重要的问题。只有做好产品的设计才能让标签发挥真正的价值,本文将介绍用户画像的产品化过程。 一、标签展示 首先是标签展示功能,这个主要供业务人员和研

    2023-03-16
    156
  • greenplum安装部署_greenplum安装教程

    greenplum安装部署_greenplum安装教程环境:centos7 ,Greenplum5.3 1. Greenplum 5.3 下载 安装包下载 https://download.csdn.net/download/Angel_asp

    2023-04-23
    156
  • 数据库学习之一:数据库介绍

    数据库学习之一:数据库介绍一、数据库介绍 1、关系型数据库的特点 ​ 二维表 典型产品Oracle传统企业,MySQL是互联网企业 数据存取是通过SQL 最大特点,数据安全性方面强(ACID) 2、NoSQL:非关系型数据库(

    2023-02-24
    162

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注