mysqldumpslow 分析mysql慢查询日志[转载]

主要介绍两个参数-s和-t
-s 这个是排序参数,可选的有:
al: 平均锁定时间
ar: 平均返回记录数
at: 平均查询时间
c: 计数
l: 锁定时间
r: 返回记录
t: 查询时间

-t n 显示头n条记录

mysqldumpslow -s at -t 30 ./slow_query.log

mysqldumpslow -t 10 -s t -g “left join” host-slow.log
这个是按照时间返回前10条里面含有左连接的sql语句。

Count会告诉我们这种类型的语句执行了几次
Time会告诉我们这种类型的语句执行的最大时间
Time=2.79s (5s)中(5s)是指这类型的语句执行总共花费的时间
主要功能是, 统计不同慢sql的
出现次数(Count),
执行最长时间(Time),
累计总耗费时间(Time),
等待锁的时间(Lock),
发送给客户端的行总数(Rows),
扫描的行总数(Rows),

总结

注意观察Count出现的次数和执行时间

Nginx Location配置总结[转载]

注意

nginx配置时要特别注意语法问题比如if后面要留空格,

分别匹配指定资源跳转和是否存在自定义header头跳转,需要开启下划线支持

location ~ \.(gif|jpg|png|js|css)$ {
  rewrite ^(.*)$  https://$host$1 last;
}
if ( $http_ver ~ ^$ ){
  rewrite ^(.*)$  https://$host$1 last;
}

 

语法规则

location [=|~|~*|^~] /uri/ { … }

= 开头表示精确匹配
^~ 开头表示uri以某个常规字符串开头,理解为匹配 url路径即可。nginx不对url做编码,因此请求为/static/20%/aa,可以被规则^~ /static/ /aa匹配到(注意是空格)。
~ 开头表示区分大小写的正则匹配
~*  开头表示不区分大小写的正则匹配
!~和!~*分别为区分大小写不匹配及不区分大小写不匹配 的正则
/ 通用匹配,任何请求都会匹配到。
多个location配置的情况下匹配顺序为(参考资料而来,还未实际验证,试试就知道了,不必拘泥,仅供参考):
首先匹配 =,其次匹配^~, 其次是按文件中顺序的正则匹配,最后是交给 / 通用匹配。当有匹配成功时候,停止匹配,按当前匹配规则处理请求。
例子,有如下匹配规则:
location = / {
  #规则A
}
location = /login {
  #规则B
}
location ^~ /static/ {
  #规则C
}
location ~ \.(gif|jpg|png|js|css)$ {
  #规则D
}
location ~* \.png$ {
  #规则E
}
location !~ \.xhtml$ {
  #规则F
}
location !~* \.xhtml$ {
  #规则G
}
location / {
  #规则H
}
那么产生的效果如下:
访问根目录/, 比如http://localhost/ 将匹配规则A
访问 http://localhost/login 将匹配规则B,http://localhost/register 则匹配规则H
访问 http://localhost/static/a.html 将匹配规则C
访问 http://localhost/a.gif, http://localhost/b.jpg 将匹配规则D和规则E,但是规则D顺序优先,规则E不起作用,而 http://localhost/static/c.png 则优先匹配到规则C
访问 http://localhost/a.PNG 则匹配规则E,而不会匹配规则D,因为规则E不区分大小写。
访问 http://localhost/a.xhtml 不会匹配规则F和规则G,http://localhost/a.XHTML不会匹配规则G,因为不区分大小写。规则F,规则G属于排除法,符合匹配规则但是不会匹配到,所以想想看实际应用中哪里会用到。
访问 http://localhost/category/id/1111 则最终匹配到规则H,因为以上规则都不匹配,这个时候应该是nginx转发请求给后端应用服务器,比如FastCGI(php),tomcat(jsp),nginx作为方向代理服务器存在。
所以实际使用中,个人觉得至少有三个匹配规则定义,如下:
#直接匹配网站根,通过域名访问网站首页比较频繁,使用这个会加速处理,官网如是说。
#这里是直接转发给后端应用服务器了,也可以是一个静态首页
# 第一个必选规则
location = / {
   proxy_pass http://tomcat:8080/index
}
# 第二个必选规则是处理静态文件请求,这是nginx作为http服务器的强项
# 有两种配置模式,目录匹配或后缀匹配,任选其一或搭配使用
location ^~ /static/ {
   root /webroot/static/;
}
location ~* \.(gif|jpg|jpeg|png|css|js|ico)$ {
   root /webroot/res/;
}
#第三个规则就是通用规则,用来转发动态请求到后端应用服务器
#非静态文件请求就默认是动态请求,自己根据实际把握
#毕竟目前的一些框架的流行,带.php,.jsp后缀的情况很少了
location / {
   proxy_pass http://tomcat:8080/
}

ReWrite语法

last – 基本上都用这个Flag。
break – 中止Rewirte,不在继续匹配
redirect – 返回临时重定向的HTTP状态302
permanent – 返回永久重定向的HTTP状态301
1、下面是可以用来判断的表达式:
-f和!-f用来判断是否存在文件
-d和!-d用来判断是否存在目录
-e和!-e用来判断是否存在文件或目录
-x和!-x用来判断文件是否可执行
2、下面是可以用作判断的全局变量
例:http://localhost:88/test1/test2/test.php
$host:localhost
$server_port:88
$request_uri:http://localhost:88/test1/test2/test.php
$document_uri:/test1/test2/test.php
$document_root:D:\nginx/html
$request_filename:D:\nginx/html/test1/test2/test.php

Redirect语法(302跳转)
server {
listen 80;
server_name start.igrow.cn;
index index.html index.php;
root html;
if ($http_host !~ “^star\.igrow\.cn$&quot {
rewrite ^(.*) http://star.igrow.cn$1 redirect;
}
}
防盗链
location ~* \.(gif|jpg|swf)$ {
valid_referers none blocked start.igrow.cn sta.igrow.cn;
if ($invalid_referer) {
rewrite ^/ http://$host/logo.png;
}
}
根据文件类型设置过期时间
location ~* \.(js|css|jpg|jpeg|gif|png|swf)$ {
if (-f $request_filename) {
expires 1h;
break;
}
}
禁止访问某个目录
location ~* \.(txt|doc)${
root /data/www/wwwroot/linuxtone/test;
deny all;
}

一些可用的全局变量

$args
$content_length
$content_type
$document_root
$document_uri
$host
$http_user_agent
$http_cookie
$limit_rate
$request_body_file
$request_method
$remote_addr
$remote_port
$remote_user
$request_filename
$request_uri
$query_string
$scheme
$server_protocol
$server_addr
$server_name
$server_port
$uri

服务器流量异常分析

服务器流量分析工具常用的有两个

  1. iftop 查看某个网卡流量和对应的请求ip地址与端口
  2. nethogs 查看进程流量

分别安装两个工具:

yum install iftop
yum install nethogs

分析步骤

  1. 使用nethogs查看是否有进程产生异常流量
  2. 使用iftop检查所有网卡流量和出入流量ip地址与端口
  3. 通过netstat查看占用的端口程序和用户信息
  4. 禁用对应ip请求

大致使用到的命令如下:

#nethogs
#iftop -i eth0
#netstat -antp
#iptables -I INPUT -s xxx.xxx.xxx.xxx -j DROP

工具使用说明

iftop常用命令

默认监控第一块网卡流量,默认ip要倒过来读,如1.180.97.119应该为119.97.180.1,默认情况下通信双方都会占用一个端口,=>代表发送数据,<= 代表接收数据

  • -i 指定网卡
  • 按n切换显示本机的IP或主机名;
  • 按D切换是否显示远端目标主机的端口信息;
  • 按S切换是否显示本机的端口信息;
  • 按N切换显示端口号或端口服务名称;
  • 按o切换是否固定只显示当前的连接;

显示说明:

TX:发送流量
RX:接收流量
TOTAL:总流量
peak:流量峰值
rates:分别表示过去 2s 10s 40s 的平均流量

netstat 查看端口信息

netstat查看哪些端口已经被开启或者正在通信

常用命令 -antp

  • -a 所有连接
  • -n 只查看ip,禁用域名解析功能
  • -t 列出TCP协议的连接
  • -p 查看进程信息

端口状态

  • LISTEN 正在监听
  • ESTABLISHED 正在通信
  • CLOSE_WAIT 对方主动关闭连接或者网络异常导致连接中断
  • TIME_WAIT 我方主动调用close()断开连接

iptables 禁用请求

列出 INPUT链 所有的规则:iptables -L INPUT --line-numbers
删除某条规则,其中5代表序号(序号可用上面的命令查看):iptables -D INPUT 5
开放指定的端口:iptables -A INPUT -p tcp --dport 80 -j ACCEPT
禁止指定的端口:iptables -A INPUT -p tcp --dport 80 -j DROP
禁止指定的IP: iptables -I INPUT -s 119.97.180.61 -j DROP
允许指定的IP: iptables -D INPUT -s 61.183.163.214 -j DROP

拒绝所有的端口:iptables -A INPUT -j DROP

INPUT 入网流量 (用户访问)
OUTPUT 出网流量 (Linux本身发送)

总结

使用netstat可以查看服务器是否有异常通信端口被开启