sed 's/^[ \t]*//g'

sed 's/[ \t]*$//g'

sed s/[[:space:]]//g

sed "s/^\(.*\)$/'\1'/" 

sed "s/^\(.*\)$/aa =>\1/"

#!/bin/bash

# site: openskill.cn



myPath="/data/logs"

myFile="/data/logs/access.log"

 

# 这里的-x 参数判断$myPath是否存在并且是否具有可执行权限

if [ ! -x "$myPath"];then

 mkdir "$myPath"

fi



# 这里的-d 参数判断$myPath是否存在

if [ ! -d "$myPath"]; then

 mkdir "$myPath"

fi

 

# 这里的-f参数判断$myFile是否存在

if [ ! -f "$myFile" ]; then

 touch "$myFile"

fi



# 其他参数还有-n,-n是判断一个变量是否是否有值

if [ ! -n "$myVar" ]; then

 echo "$myVar is empty"

 exit 0

fi

 

# 两个变量判断是否相等

if [ "$var1" = "$var2" ]; then

 echo '$var1 eq $var2'

else

 echo '$var1 ne $var2'

fi

#/bin/bash

 

#如果文件夹不存在，创建文件夹

if [ ! -d "/data" ]; then

 mkdir /data

fi

 

#shell判断文件,目录是否存在或者具有权限

folder="/data/www"

file="/data/www/log"

 

# -x 参数判断 $folder 是否存在并且是否具有可执行权限

if [ ! -x "$folder"]; then

 mkdir "$folder"

fi

 

# -d 参数判断 $folder 是否存在

if [ ! -d "$folder"]; then

 mkdir "$folder"

fi

 

# -f 参数判断 $file 是否存在

if [ ! -f "$file" ]; then

 touch "$file"

fi

 

# -n 判断一个变量是否有值

if [ ! -n "$var" ]; then

 echo "$var is empty"

 exit 0

fi

 

# 判断两个变量是否相等

if [ "$var1" = "$var2" ]; then

 echo '$var1 eq $var2'

else

 echo '$var1 ne $var2'

fi

[root@node1 ~]# type scp

scp is /usr/bin/scp

[root@node1 ~]# type command

command is a shell builtin

[root@node1 ~]# type which

which is aliased to `alias | /usr/bin/which --tty-only --read-alias --show-dot --show-tilde'

[root@node1 ~]# which ls

/usr/bin/ls

[root@node1 ~]# echo $?

0

[root@node1 ~]# which www

no www in /usr/bin /bin /usr/sbin /sbin /usr/local/bin /usr/local/bin /usr/local/sbin /usr/ccs/bin  

[root@node1 ~]# echo $?

0

$ command -v foo >/dev/null 2>&1 || { echo >&2 "I require foo but it's not installed.  Aborting."; exit 1; }

$ type foo >/dev/null 2>&1 || { echo >&2 "I require foo but it's not installed.  Aborting."; exit 1; }

$ hash foo 2>/dev/null || { echo >&2 "I require foo but it's not installed.  Aborting."; exit 1; }

The following is a portable way to check whether a command exists in PATH and is executable:



[ -x "$(command -v foo)" ]



Example:



if ! [ -x "$(command -v git)" ]; then

  echo 'Error: git is not installed.' >&2

  exit 1

fi

声明

大家都是文明人，尤其是做运维的，那叫一个斯文啊。怎么能耍流氓呢？赶紧看看，编写 SHELL 脚本如何能够不耍流氓。

MySQL备份脚本案例

1、不记录日志的shell 脚本就是耍流氓！
我们经常在工作中会遇到一个苦恼的事情，一个 Shell 脚本到底干了什么，什么时候开始执行，什么时候结束的。尤其是数据库备份，我们想知道我们的 MySQL 数据库备份时间。所以给脚本加日志显得尤为重要。那么我们的脚本应该有一个日志的函数，专门用于记录日志：

#!/bin/bash



# Shell Env

SHELL_NAME="shell_template.sh"

SHELL_DIR="/opt/shell"

SHELL_LOG="${SHELL_DIR}/${SHELL_NAME}.log"

LOCK_FILE="/tmp/${SHELL_NAME}.lock"



#Write Log 

shell_log(){

    LOG_INFO=$1

    echo "$(date "+%Y-%m-%d") $(date "+%H-%M-%S") : ${SHELL_NAME} : ${LOG_INFO}" >> ${SHELL_LOG}

}



shell_log "shell beginning, Write log test"

shell_log "shell success, Write log test"

上面的脚本我编写了一个日志函数shell_log，每次记录日志，我们直接执行shell_log把日志内容当作第一个参数传给它就可以了，赶紧试试。

[root@labs shell]# cat shell_template.sh.log

2016-08-27 06-01-19 : shell_template.sh :shell beginning ,write log test

2016-08-27 06-01-19 : shell_template.sh :shell success ,write log test

2、直接就能执行的Shell脚本很容易耍流氓
一个脚本直接就能执行？难道不是直接就能执行吗？试想，你临时编写了一个特别重要的脚本，干的事情可能有破坏性，一不小心被别人./执行了怎么办呢？而且很多时候我们一个脚本的功能可能有多个，所以我们有必要让用户可以选择进行执行。

#!/bin/bash



# Shell Env

SHELL_NAME="shell_template.sh"

SHELL_DIR="/opt/shell"

SHELL_LOG="${SHELL_DIR}/${SHELL_NAME}.log"

LOCK_FILE="/tmp/${SHELL_NAME}.lock"



#Write Log 

shell_log(){

    LOG_INFO=$1

    echo "$(date "+%Y-%m-%d") $(date "+%H-%M-%S") : ${SHELL_NAME} : ${LOG_INFO}" >> ${SHELL_LOG}

}



# Shell Usage

shell_usage(){

    echo $"Usage: $0 {backup}"

}





# Backup MySQL All Database with mysqldump or innobackupex

mysql_backup(){

    shell_log "mysql backup start"

    shell_log "mysql backup stop"

}



# Main Function

main(){

    case $1 in

        backup)

            mysql_backup

            ;;

        *)

            shell_usage;

    esac

}



#Exec

main $1

上面的脚本我们编写了shell_usage函数，用来告诉用户，这个脚本的使用方法。同时，我要强调一下，像编写Shell, 我们经常是面向过程的，建议以函数为单位，这样脚本非常的清晰可读。赶紧执行以下看看效果吧。

[root@labs shell]# ./shell_template.sh

Usage: ./shell_template.sh {backup}

3、不加锁的Shell脚本就是让别人耍流氓
你编写的脚本能多个人同时执行吗？如果不能，那么如果多个人一起执行会怎么样呢？想想是不是有点冒冷汗。所以，不要给我们的其它小伙伴留下陷阱。不过如果你公司就你一个运维，真的不用怕吗？试想如果是定时任务再运行这个脚本，上一次没有运行完毕，然后到时间又运行了？然后，然后，然后，后果好可怕。

#!/bin/bash



# Shell Env

SHELL_NAME="shell_template.sh"

SHELL_DIR="/opt/shell"

SHELL_LOG="${SHELL_DIR}/${SHELL_NAME}.log"

LOCK_FILE="/tmp/${SHELL_NAME}.lock"



#Write Log 

shell_log(){

    LOG_INFO=$1

    echo "$(date "+%Y-%m-%d") $(date "+%H-%M-%S") : ${SHELL_NAME} : ${LOG_INFO}" >> ${SHELL_LOG}

}



# Shell Usage

shell_usage(){

    echo $"Usage: $0 {backup}"

}



shell_lock(){

    touch ${LOCK_FILE}

}



shell_unlock(){

    rm -f ${LOCK_FILE}

}



# Backup MySQL All Database with mysqldump or innobackupex

mysql_backup(){

    if [ -f "$LOCK_FILE" ];then

        shell_log "${SHELL_NAME} is running"

        echo "${SHELL_NAME}" is running && exit

    fi

    shell_log "mysql backup start"

    shell_lock

    sleep 10

    shell_log "mysql backup stop"

    shell_unlock

}



# Main Function

main(){

    case $1 in

        backup)

            mysql_backup

            ;;

        *)

            shell_usage;

    esac

}



#Exec

main $1

我为脚本增加了两个函数shell_lock和shell_unlock非常简单，就是创建一个锁文件。然后再执行的时候先判断锁文件是否存在，如果存在说明有其它用户在执行，就退出。如果没有自己创建锁文件，开始执行，执行完毕删除锁文件。

好的，现在你可以赶紧再开一个窗口试试能不能执行这个脚本，或者到/tmp目录下看看是否创建了锁文件。请注意：如果已知的异常退出，一定也要删除这个锁文件。

一般创建锁文件放到/var/lock/subsys/目录下，比如postfix的锁文件就是：

prog="postfix"

lockfile=/var/lock/subsys/$prog

做好事须留名
对于一个功能脚本来说，貌似还少了点什么。对，就是注释！我们要说明白这个脚本是干啥的。或者以后你离职后，别人看到这个脚本之后，我擦，这么牛掰的脚本是谁写的呢？不要怕，写上你的大名。

#######################################################

# $Name:         shell_template.sh

# $Version:      v1.0

# $Function:     Backup MySQL Databases Template Script

# $Author:       Jason Zhao

# $organization: https://www.baidu.com 

# $Create Date:  2016-08-27

# $Description:  You know what i mean,hehe

#######################################################

当然还有很多编写脚本的技巧，没法一一描述，不过如果能掌握上面的三种技巧，立马感觉编写的脚本有点高大上，有木有？

netstat -nat |awk '{print $6}'|sort|uniq -c|sort -rn 

netstat -n | awk '/^tcp/ {++S[$NF]};END {for(a in S) print a, S[a]}'

netstat -n | awk '/^tcp/ {++state[$NF]}; END {for(key in state) print key,"\t",state[key]}'

netstat -n | awk '/^tcp/ {++arr[$NF]};END {for(k in arr) print k,"\t",arr[k]}'

netstat -n |awk '/^tcp/ {print $NF}'|sort|uniq -c|sort -rn 

netstat -ant | awk '{print $NF}' | grep -v '[a-z]' | sort | uniq -c

netstat -nat |awk '{print $6}'|sort|uniq -c|sort -rn 

netstat -n | awk '/^tcp/ {++S[$NF]};END {for(a in S) print a, S[a]}'

netstat -n | awk '/^tcp/ {++state[$NF]}; END {for(key in state) print key,"\t",state[key]}'

netstat -n | awk '/^tcp/ {++arr[$NF]};END {for(k in arr) print k,"\t",arr[k]}'

netstat -n |awk '/^tcp/ {print $NF}'|sort|uniq -c|sort -rn 

netstat -ant | awk '{print $NF}' | grep -v '[a-z]' | sort | uniq -c

netstat -anlp|grep 80|grep tcp|awk '{print $5}'|awk -F: '{print $1}'|sort|uniq -c|sort -nr|head -n20

netstat -ant |awk '/:80/{split($5,ip,":");++A[ip[1]]}END{for(i in A) print A,i}' |sort -rn|head -n20

tcpdump -i eth0 -tnn dst port 80 -c 1000 | awk -F"." '{print $1"."$2"."$3"."$4}' | sort | uniq -c | sort -nr |head -n 20

netstat -n|grep TIME_WAIT|awk '{print $5}'|sort|uniq -c|sort -rn|head -n20

netstat -an | grep SYN | awk '{print $5}' | awk -F: '{print $1}' | sort | uniq -c | sort -nr | more

netstat -ntlp | grep 80 | awk '{print $7}' | cut -d/ -f1

cat access.log|awk '{print $1}'|sort|uniq -c|sort -nr|head -n 10

cat access.log|awk '{counts[$(11)]+=1}; END {for(url in counts) print counts[url], url}'

cat access.log|awk '{print $11}'|sort|uniq -c|sort -nr|head -n 20

cat access.log|awk '{print $11}'|sort|uniq -c|sort -nr|head -n 20

cat access.log |awk '($10 > 200000 && $7~/\.rar/){print $7}'|sort -n|uniq -c|sort -nr|head -n 100

cat access.log |awk '($7~/\.php/){print $NF " " $1 " " $4 " " $7}'|sort -nr|head -n 100

cat access.log |awk '($7~/\.php/){print $NF " " $1 " " $4 " " $7}'|sort -nr|head -n 100

cat access.log |awk '($NF > 60 && $7~/\.php/){print $7}'|sort -n|uniq -c|sort -nr|head -n 100

cat access.log |awk '($NF > 30){print $7}'|sort -n|uniq -c|sort -nr|head -n 20

cat access.log |awk '{sum+=$10} END {print sum/1024/1024/1024}'

awk '($9 ~/404/)' access.log | awk '{print $9,$7}' | sort

cat access.log |awk '{counts[$(9)]+=1}; END {for(code in counts) print code, counts[code]}'

cat access.log |awk '{print $9}'|sort|uniq -c|sort -rn

tcpdump -i eth0 -l -s 0 -w - dst port 80 | strings | grep -i user-agent | grep -i -E 'bot|crawler|slurp|spider'

tcpdump -i eth0 -s 0 -l -w - dst port 3306 | strings | egrep -i 'SELECT|UPDATE|DELETE|INSERT|SET|COMMIT|ROLLBACK|CREATE|DROP|ALTER|CALL'

zcat squid_access.log.tar.gz| awk '{print $10,$7}' |awk 'BEGIN{FS="[ /]"}{trfc[$4]+=$1}END{for(domain in trfc){printf "%s\t%d\n",domain,trfc[domain]}}'

strace -p pid

iostat -x 1 10

[Wed Jul 07 11:36:03 2016] [notice] child pid 22404 exit signal Segmentation fault (11)

[Wed Jul 07 11:36:03 2016] [notice] child pid 22424 exit signal Segmentation fault (11)

[Wed Jul 07 11:36:03 2016] [notice] child pid 22404 exit signal Segmentation fault (11)

[Wed Jul 07 11:36:03 2016] [notice] child pid 22424 exit signal Segmentation fault (11)

[root@uweb1 atom]# cat /etc/issue

CentOS release 6.5 (Final)

Kernel \r on an \m



[root@uweb1 atom]# uname -r

2.6.32-573.22.1.el6.x86_64

[root@uweb1 atom]# slabtop

Active / Total Objects (% used)    : 262463 / 284128 (92.4%)

 Active / Total Slabs (% used)      : 18670 / 18670 (100.0%)

 Active / Total Caches (% used)     : 92 / 172 (53.5%)

 Active / Total Size (% used)       : 74471.91K / 77331.03K (96.3%)

 Minimum / Average / Maximum Object : 0.02K / 0.27K / 4096.00K



  OBJS ACTIVE  USE OBJ SIZE  SLABS OBJ/SLAB CACHE SIZE NAME                   

103452 103431  99%    0.10K   2796	 37     11184K buffer_head

 34000  33764  99%    0.98K   8500        4     34000K ext4_inode_cache

 33240  33240 100%    0.19K   1662	 20	 6648K dentry

 17024  16889  99%    0.03K    152	112	  608K size-32

 15323   7993  52%    0.05K    199	 77	  796K anon_vma_chain

 13148   8203  62%    0.20K    692	 19	 2768K vm_area_struct

 11151   9723  87%    0.06K    189	 59	  756K size-64

  7616   7071  92%    0.55K   1088        7	 4352K radix_tree_node

  7261   7251  99%    0.07K    137	 53	  548K selinux_inode_security

  6767   3720  54%    0.05K    101	 67	  404K anon_vma

  6534   6527  99%    0.14K    242	 27	  968K sysfs_dir_cache

  4404   4404 100%    0.58K    734        6	 2936K inode_cache

  3816   3767  98%    0.07K     72	 53	  288K Acpi-Operand

  2580   1833  71%    0.12K     86	 30	  344K size-128

  2400   1523  63%    0.25K    160	 15	  640K filp

  2208   2199  99%    0.04K     24	 92        96K Acpi-Namespace

  2080   2008  96%    0.19K    104	 20	  416K size-192

  1782   1782 100%    0.64K    297        6	 1188K proc_inode_cache

   756    744  98%    1.00K    189        4	  756K size-1024

#!/bin/bash

time=`date`

echo $time > /tmp/clear_cached.txt



echo "total/used/free/shared/buffers/cached" >> /tmp/clear_cached.txt

echo "Cleart Before" >> /tmp/clear_cached.txt

free -m|grep Mem: >> /tmp/clear_cached.txt

sync;

echo 2 > /proc/sys/vm/drop_caches;

echo 0 > /proc/sys/vm/drop_caches;

echo "Clear After" >> /tmp/clear_cached.txt 

free -m|grep Mem:  >> /tmp/clear_cached.txt

127809 

16813 

551646 

18858 

18977

29369 

23563 

56302

11823 

20212 

149427

146515 

awk '{sum+=$1} END {print "Sum = ", sum}'

awk '{sum+=$1} END {print "Average = ", sum/NR}'

awk 'BEGIN {max = 0} {if ($1>max) max=$1 fi} END {print "Max=", max}'

awk 'BEGIN {min = 2000000000} {if ($1
	
	

		

						Linux增加虚拟内存swap脚本
								
		
		

							运维
											being 
				发表了文章				0 个评论
				3213 次浏览 
				2016-05-16 10:09
						 来自相关话题
		

					
			

				

				#!/bin/bash

#增加1G的swap空间
dd if=/dev/zero of=/swapfile bs=1MB count=1024

#制作一个swap文件
mkswap / 				...查看全部
							
			

								
#!/bin/bash



#增加1G的swap空间

dd if=/dev/zero of=/swapfile bs=1MB count=1024



#制作一个swap文件

mkswap /swapfile



#启动swap分区

swapon /swapfile



#添加开机自启

echo '/swapfile               none                    swap    defaults        0 0'   >>  /etc/fstab