MySQL日志管理

wuchangjian2021-11-16 04:46:59编程学习

文章目录

  • 一、日志类型
    • 1.1 事务日志
    • 1.2 错误日志
    • 1.3 通用日志
    • 1.4 慢查询日志
    • 1.5 二进制日志(备份)

一、日志类型

  • 事务日志:transaction log
    事务日志的写入类型为"追加",因此其操作为"顺序IO";通常也被称为:预写式日志 write ahead 。logging 事务日志文件: ib_logfile0, ib_logfile1
  • 错误日志error log
  • 通用日志general log
  • 慢查询日志 slow query log
  • 二进制日志 binary log
  • 中继日志relay log,在主从复制架构中,从服务器用于保存从主服务器的二进制日志中读取的事件
    在这里插入图片描述

1.1 事务日志

事务日志:transaction log
redo log:实现 WAL(Write Ahead Log) ,数据更新前先记录redo log
undo log:保存与执行的操作相反的操作,用于实现rollback
事务型存储引擎自行管理和使用,建议和数据文件分开存放
查看事务日志相关配置

mysql> show variables like '%innodb_log%';
+-----------------------------+----------+
| Variable_name               | Value    |
+-----------------------------+----------+
| innodb_log_buffer_size      | 16777216 |
| innodb_log_checksums        | ON       |
| innodb_log_compressed_pages | ON       |
| innodb_log_file_size        | 50331648 | # 每个日志文件大小
| innodb_log_files_in_group   | 2        | # 日志组成员个数
| innodb_log_group_home_dir   | ./       | # 事务日志文件路径
| innodb_log_write_ahead_size | 8192     |
+-----------------------------+----------+

一般情况下建议将innodb_log_group_home_dir路径分开到不同的区

vim /etc/my.cnf
innodb_log_group_home_dir =  /data/mysql/log

mkdir -p /data/mysql/log # 授权
chown -R mysql.mysql /data/mysql

systemctl restart mysqld
#其他日志路径若想要修改,类似的步骤

事务日志性能优化:

innodb_flush_log_at_trx_commit=0|1|2


# 默认值是1 
mysql> select @@innodb_flush_log_at_trx_commit;
+----------------------------------+
| @@innodb_flush_log_at_trx_commit |
+----------------------------------+
|                                1 |
+----------------------------------+


在这里插入图片描述
三者区别:

0 提交时没有写磁盘的操作; 而是每秒执行一次将日志缓冲区的提交的事务写入刷新到磁盘。这样可提供更
好的性能(多次提交只需要写一次),但服务器崩溃可能丢失最后一秒的事务

1 此为默认值,日志缓冲区将写入日志文件,并在每次事务提交后同时执行刷新到磁盘(同步的)。 这是完全遵守ACID特性

2 每次提交后都会写入OS的缓冲区,但每秒才会进行一次刷新到磁盘文件中。 性能比0略差一些,但操作系
统或停电可能导致最后一秒的交易丢失

高并发业务行业最佳实践,是使用第三种折衷配置(值=2)
1.配置为2和配置为0,性能差异并不大,因为将数据从Log Buffer拷贝到OS cache,虽然跨越用户态与内核态,但毕竟只是内存的数据拷贝,速度很快
2.配置为2和配置为0,安全性差异巨大,操作系统崩溃的概率相比MySQL应用程序崩溃的概率,小很多,设置为2,只要操作系统不奔溃,也绝对不会丢数据

对数据安全要求极高的场合,选用默认配置(值=1)
设置为1,同时sync_binlog = 1表示最高级别的容错

1.2 错误日志

错误日志不仅仅只记录错误信息

  • mysqld启动和关闭过程中输出的事件信息
  • mysqld运行中产生的错误信息
  • event scheduler运行一个event时产生的日志信息
  • 在主从复制架构中的从服务器上启动从服务器线程时产生的信息

错误日志文件路径

mysql> show global variables like 'log_error';
mysql> SHOW GLOBAL VARIABLES LIKE 'log_error'; 
+---------------+---------------------------+
| Variable_name | Value                     |
+---------------+---------------------------+
| log_error     | /var/log/mysql/mysqld.log |
+---------------+---------------------------+

错误日志记录级别

#CentOS7 mariadb 5.5 默认值为1
#Centos7 mysql 5.7 默认值为2
#CentOS8 mariadb 10.3 默认值为2
# Centos8 mysql 8.0 默认值为2

# centos7 mysql 5.7查看
mysql> show variables like 'log_warnings';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_warnings  | 2     |
+---------------+-------+

# centos8 mysql 8.0 查看
mysql> show global variables like 'log_error_verbosity';
+---------------------+-------+
| Variable_name       | Value |
+---------------------+-------+
| log_error_verbosity | 2     |
+---------------------+-------+


# 变量名
log_warnings=0|1|2|3...         #MySQL5.7之前
log_error_verbosity=0|1|2|3...   #MySQL8.0

1.3 通用日志

通用日志:记录对数据库的通用操作,包括:错误的SQL语句
通用日志可以保存在:file(默认值)或 table(mysql.general_log表)
通用日志相关设置

general_log=ON|OFF  # 通用日志开启或关闭
general_log_file=HOSTNAME.log # 通用日志名
log_output=TABLE|FILE|NONE  # 通用日志以文件方式存放还是存放在数据库中 放在mysql库中 general_log表中

默认情况下,通用日志是没有开启的,因为产生的数据量太大,一般调试时候,才会开启通用日志

若想永久配置,则在数据库文件中修改

mysql> select @@general_log;
+---------------+
| @@general_log |
+---------------+
|             0 |
+---------------+

#启用 
mysql> set global general_log=1;
Query OK, 0 rows affected (0.00 sec)

mysql> select @@general_log;
+---------------+
| @@general_log |
+---------------+
|             1 |
+---------------+

# 通用日志存放方式,默认存放在文件中
mysql> SHOW GLOBAL VARIABLES LIKE 'log_output'; 
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_output    | FILE  |
+---------------+-------+


#查看通用日志默认存放路径
mysql>  select @@general_log_file;
+---------------------------+
| @@general_log_file        |
+---------------------------+
| /var/lib/mysql/rocky8.log | # 主机名.log
+---------------------------+


# 修改通用日志存放在mysql.general_log数据库中表,用于快速查找和分析
mysql> set global log_output="table";
Query OK, 0 rows affected (0.00 sec)

mysql> SHOW GLOBAL VARIABLES LIKE 'log_output'; 
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_output    | TABLE |
+---------------+-------+

#general_log表是CSV的文本文件
[root@rocky8 ~]# file /var/lib/mysql/mysql/general_log.CSV
/var/lib/mysql/mysql/general_log.CSV: ASCII text

例如:查找执行次数最多的前三条语句

select argument,count(argument) num from mysql.general_log group by argument order by num desc limit 3;

1.4 慢查询日志

记录执行响应时长超出指定时长的操作,系统默认不开起
慢查询相关变量:

slow_query_log=ON|OFF #开启或关闭慢查询,支持全局和会话,只有全局设置才会生成慢查询文件
long_query_time=N #慢查询的阀值,单位秒,默认为10s

slow_query_log_file=HOSTNAME-slow.log  #mysql 8.0慢查询日志文件名
slow_query_log_file=hostname-db-slow.log # mysql 5.7 慢查询日志文件名

log_slow_filter = admin,filesort,filesort_on_disk,full_join,full_scan,
query_cache,query_cache_miss,tmp_table,tmp_table_on_disk 
#上述查询类型且查询时长超过long_query_time,则记录日志

log_queries_not_using_indexes=ON  #不使用索引或使用全索引扫描,不论是否达到慢查询阀值的语
句是否记录日志,默认OFF,即不记录
log_slow_rate_limit = 1 #多少次查询才记录,mariadb特有
log_slow_verbosity= Query_plan,explain #记录内容
log_slow_queries = OFF    #同slow_query_log,MariaDB 10.0/MySQL 5.6.1 版后已删除

慢查询分析工具:

[root@centos8 ~]#mysqldumpslow --help
Usage: mysqldumpslow [ OPTS... ] [ LOGS... ]
Parse and summarize the MySQL slow query log. Options are
  --verbose   verbose
  --debug     debug
  --help       write this text to standard output
  -v           verbose
  -d           debug
  -s ORDER     what to sort by (aa, ae, al, ar, at, a, c, e, l, r, t), 'at' is 
default
               aa: average rows affected
               ae: aggregated rows examined
               al: average lock time
               ar: average rows sent
               at: average query time
                 a: rows affected
                 c: count
                 e: rows examined 
                 l: lock time
                 r: rows sent
                 t: query time  
  -r           reverse the sort order (largest last instead of first)
  -t NUM       just show the top n queries
  -a           don't abstract all numbers to N and strings to 'S'
  -n NUM       abstract numbers with at least n digits within names
  -g PATTERN   grep: only consider stmts that include this string
  -h HOSTNAME hostname of db server for *-slow.log filename (can be wildcard),
               default is '*', i.e. match all
  -i NAME     name of server instance (if using mysql.server startup script)
  -l           don't subtract lock time from total time
  
  
[root@centos8 ~]#mysqldumpslow -s c -t 2 /var/lib/mysql/centos8-slow.log

1.5 二进制日志(备份)

记录导致数据改变或潜在导致数据改变的SQL语句
记录已提交的日志
不依赖于存储引擎类型
功能:通过"重放"日志文件中的事件来生成数据副本
注意:建议二进制日志和数据文件分开存放

二进制日志记录三种格式
基于"语句"记录:statement,记录语句,默认模式( MariaDB 10.2.3 版本以下 ),日志量较少
基于"行"记录:row,记录数据,日志量较大,更加安全,建议使用的格式,MySQL8.0默认格式
混合模式:mixed, 让系统自行判定该基于哪种方式进行,默认模式( MariaDB 10.2.4及版本以上)
通常选择基于行模式

二进制日志文件,顾名思义,它是二进制的,所以我们不能直接使用cat命令进行查看,而是需要通过一些别的命令查看其内容,而且,二进制日志文件,有”事件”和”位置”的概念,什么是事件呢?

(1) 事件events
通俗的讲,我们可以把binlog中的每一条记录当做一个”事件”,因为binlog记录了所有对数据库进行的修改,所以,我们可以认为,数据库的修改被记录到二进制日志中,这些记录每一条都可以理解为一个”事件”。

(2) 位置position
由于二进制日志文件是二进制的,所以,我们可以把整个二进制文件想象成一个字节序列。假设,二进制日志文件刚开始是空的,从第1个字节开始记录,假设记录第一个”事件”(第一条记录),需要15个字节,那么第一个事件的开始”位置”就是1,结束”位置”就是15,由于前15个字节已经被第一个事件占用,那么当我们想要通过二进制日志记录第二个事件时,则需要从第15个字节向后开始记录,假设记录第二个”事件”需要20个字节,那么第二个事件在binlog中的起始”位置”就是15,结束”位置”就是35,以此类推。

# mysql 5.78.0默认使用ROW
mysql> show variables like 'binlog_format';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| binlog_format | ROW   |
+---------------+-------+

二进制文件构成

二进制文件相关服务器变量

sql_log_bin=ON|OFF:#是否记录二进制日志,默认ON,支持动态修改,系统变量,而非服务器选项
log_bin=/PATH/BIN_LOG_FILE:#指定文件位置;默认OFF,表示不启用二进制日志功能,上述两项都开
启才可以
binlog_format=STATEMENT|ROW|MIXED:#二进制日志记录的格式,mariadb5.5默认STATEMENT
max_binlog_size=1073741824:#单个二进制日志文件的最大体积,到达最大值会自动滚动,默认为1G
#说明:文件达到上限时的大小未必为指定的精确值
binlog_cache_size=4m #此变量确定在每次事务中保存二进制日志更改记录的缓存的大小(每次连接)
max_binlog_cache_size=512m #限制用于缓存多事务查询的字节大小。
sync_binlog=1|0:#设定是否启动二进制日志即时同步磁盘功能,默认0,由操作系统负责同步日志到磁盘
expire_logs_days=N:#二进制日志可以自动删除的天数。 默认为0,即不自动删除
# MySQL 8.0默认已经开启了如下两项,mysql 5.7 log_bin并未开启,需要手动修改配置文件
mysql> select @@log_bin;
+-----------+
| @@log_bin |
+-----------+
|         0 |
+-----------+
1 row in set (0.00 sec)

mysql> select @@sql_log_bin;
+---------------+
| @@sql_log_bin |
+---------------+
|             1 |
+---------------+



# 修改配置文件
vim /etc/my.cnf

[mysqld]
server_id=1
log_bin=/data/mysql/logs/mysql-bin # 日志存放路径和前缀


[root@zabbix-db mysql]# ll /data/mysql/logs/
total 8
-rw-r----- 1 mysql mysql 154 Nov 15 16:48 mysql-bin.000001
-rw-r----- 1 mysql mysql  34 Nov 15 16:48 mysql-bin.index

查询相关配置
show master | binary logs

mysql> show master logs;
+------------------+-----------+
| Log_name         | File_size |
+------------------+-----------+
| mysql-bin.000001 |       154 |
+------------------+-----------+

查看当前正在使用的二进制日志文件
show master status

在线查看二进制文件中指定文件内容
SHOW BINLOG EVENTS [IN 'log_name'] [FROM pos] [LIMIT [offset,] row_count]

show binlog events in 'mysql-bin.000001' from 6516 limit 2,3
mysql> show binlog events in 'mysql-bin.000001';
+------------------+-----+----------------+-----------+-------------+---------------------------------------+
| Log_name         | Pos | Event_type     | Server_id | End_log_pos | Info                                  |
+------------------+-----+----------------+-----------+-------------+---------------------------------------+
| mysql-bin.000001 |   4 | Format_desc    |         1 |         123 | Server ver: 5.7.36-log, Binlog ver: 4 |
| mysql-bin.000001 | 123 | Previous_gtids |         1 |         154 |                                       |
| mysql-bin.000001 | 154 | Anonymous_Gtid |         1 |         219 | SET @@SESSION.GTID_NEXT= 'ANONYMOUS'  |
| mysql-bin.000001 | 219 | Query          |         1 |         294 | BEGIN                                 |
| mysql-bin.000001 | 294 | Table_map      |         1 |         355 | table_id: 129 (hellodb.teachers)      |
| mysql-bin.000001 | 355 | Write_rows     |         1 |         401 | table_id: 129 flags: STMT_END_F       |
| mysql-bin.000001 | 401 | Xid            |         1 |         432 | COMMIT /* xid=46 */                   |
+------------------+-----+----------------+-----------+-------------+---------------------------------------+
7 rows in set (0.00 sec)

上个指令看的不是很详细可以使用mysqlbinlog
mysqlbinlog:二进制日志的客户端命令工具,支持离线查看二进制日志

mysqlbinlog [OPTIONS] log_file…
 --start-position=# 指定开始位置
 --stop-position=#
 --start-datetime=  #时间格式:YYYY-MM-DD hh:mm:ss
 --stop-datetime= 
 --base64-output[=name]
 -v  # 默认输出显示base64加密后的, -v可以显示详细的语句

示例:

mysqlbinlog --start-position=678 --stop-position=752 /var/lib/mysql/mariadbbin.000003 -v
mysqlbinlog  --start-datetime="2018-01-30 20:30:10"   --stop-datetime="2018-01-
30 20:35:22" mariadb-bin.000003 -v

将二进制日志导成文本文件 便于数据恢复

[root@zabbix-db ~]#  mysqlbinlog /data/mysql/logs/mysql-bin.000001 -v  > /root/test.sql

后期可以用这个test.sql文件恢复数据

同步远程主机的二进制日志

#从10.0.0.8远程主机同步二进制日志到当前目录
mysqlbinlog -R --host=10.0.0.8 --user=test --password=123456 --raw --stop-never binlog.000002

二进制日志格式

# at 328
#151105 16:31:40 server id 1 end_log_pos 431   Query   thread_id=1     
exec_time=0     error_code=0
use `mydb`/*!*/;
SET TIMESTAMP=1446712300/*!*/;
CREATE TABLE tb1 (id int, name char(30))
/*!*/;  
事件发生的日期和时间:151105 16:31:40
事件发生的服务器标识:server id 1
事件的结束位置:end_log_pos 431
事件的类型:Query 
事件发生时所在服务器执行此事件的线程的ID:thread_id=1
语句的时间戳与将其写入二进制文件中的时间差:exec_time=0
错误代码:error_code=0
事件内容:
GTID:Global Transaction ID,mysql5.6以mariadb10以上版本专属属性:GTID

二进制日志的清除
PURGE { BINARY | MASTER } LOGS { TO 'log_name' | BEFORE datetime_expr }

PURGE BINARY LOGS TO 'mariadb-bin.000003'; #删除mariadb-bin.000003之前的日志
PURGE BINARY LOGS BEFORE '2017-01-23'; # 删除2017-01-23之前的日志
PURGE BINARY LOGS BEFORE '2017-03-22 09:25:30';

删除所有二进制日志,index文件重新记数

RESET MASTER [TO #]; #删除所有二进制日志文件,并重新生成日志文件,文件名从#开始记数,默认从1
开始,一般是master主机第一次启动时执行,MariaDB 10.1.6开始支持TO #

切换日志文件
用于备份之前的日志文件,需要将数据写入新文件,而不影响以前的数据

mysql> flush logs;

相关文章

React+hoots+antui封装一个带搜索功能的picker

React+hoots+antui封装一个带搜索功能的picker

先看一个效果图:  功能主要有: 1,点...

Day Seventeen --

目录 离散知识点: 概率论知识点: leetcode每日一题: 离散知识点:...

A - Domino Disaster

A - Domino Disaster

 1. Problem Alice has a grid with 22 rows a...

Java Web _ 学习之旅

Java Web _ 学习之旅

目录 Java Web 概念 B / S 软件的结构 前端的开发流程 网页的组成...

Matlab绘图时关于xtick的相关问题

有时候,小编在绘图时会碰见如下的问题,将xtick的原点始终...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。