Shell 脚本基础学习笔记

Shell 脚本基础学习笔记

shell脚本的解释用“#”号，本文档为了习惯方便，解释大都用“//”，也有用“#”的SHELL 最基本的语法

基本元字符集及其含义（2008-05-24）

abc 表示abc 三個連續的字符, 但彼此獨立而非集合. (可簡單視為三個char set)

(abc) 表示abc 這三個連續字符的集合. (可簡單視為一個char set)

a|b 表示單一字符, 或a 或b .

(abc|xyz) 表示或abc 或xyz 這兩個char. set 之一. (註二)

[abc] 表示單一字符, 可為a 或b 或c . (與wildcard 之[abc] 原理相同)

[^abc] 表示單一字符, 不為a 或b 或c 即可. (與wildcard 之[!abc] 原理相同)

^ 只匹配行首

$ 只匹配行尾

* 只一个单字符后紧跟*，匹配0个或多个此单字符

[ ] 只匹配[ ]内字符。可以是一个单字符，也可以是字符序列。可以使用-表示[ ]内字符序列范围，如用[ 1 - 5 ]代替[ 1 2 3 4 5 ]

\ 只用来屏蔽一个元字符的特殊含义。因为有时在s h e l l中一些元字符有特殊含义。\可以使其失去应有意义

. 只匹配任意单字符

p a t t e r n \ { n \ } 只用来匹配前面p a t t e r n出现次数。n为次数

p a t t e r n \ { n，\ }含义同上，但次数最少为n

p a t t e r n \ { n，m \ }含义同上，但p a t t e r n出现次数在n与m之间

现在详细讲解其中特殊含义

1、使用句点匹配单字符

例一：beg.n:以beg开头，中间夹一个任意字符。

例二：. . . .X C. . . .：共10个字符，前四个之后为XC

例三：列出所有用户都有写权限的目录或文件：

ls -l |grep ...x..x..x

2、行首以^匹配字符串或字符序列

^只允许在一行的开始匹配字符或单词。

例如，使用ls -l命令，并匹配目录。

$ ls -l | grep ^d

3、在行尾以$匹配字符串或字符

可以说$与^正相反，它在行尾匹配字符串或字符，$符号放在匹配单词后。

例一：列出文件httpd1.conf中所有以单词common结尾的行

$grep common$ httpd1.conf

或

$cat httpd1.conf | grep common$

例二：匹配所有空行:^ $

例三：只返回包含一个字符的行：^.$

4、用\屏蔽一个特殊字符的含义

下列字符一般可以认为是特殊字符：

CODE:

$ . ' " * [] ^ | () \ + ?

QUOTE:

如：

\ .

反斜杠后面的字符不再是特殊字符，而是一个普通字符，即句点。

QUOTE:

假定要匹配包含^的各行，将反斜杠放在它前面就可以屏蔽其特殊含义：

\ ^

QUOTE:

在正则表达式中匹配以* . p a s结尾的所有文件：

\ * \ . p a s

即可屏蔽字符*的特定含义。

5、使用\{\}匹配模式结果出现的次数

使用*可匹配所有匹配结果任意次，但如果只要指定次数，就应使用\ { \ }，QUOTE:

此模式有三种形式，即：

pattern\{n\} 匹配模式出现n次。

pattern\{n,\} 匹配模式出现最少n次。

pattern\{n,m\} 匹配模式出现n到m次之间，n , m为0 - 2 5 5中任意整数。

例一：匹配字母A出现两次，并以B结尾：

CODE:

A \ { 2 \ } B

匹配值为A A B

例二：匹配A至少4次：

CODE:

A \ { 4 , \ } B

可以得结果A A A A B或A A A A A A A B，但不能为A A A B。

例三：如给出出现次数范围，例如A出现2次到4次之间：

CODE:

A \ { 2 , 4 \ } B

则结果为A A B、A A A B、A A A A B，而不是A B或A A A A A B等。

例四：假定从下述列表中抽取代码：

QUOTE:

1234XC9088

4523XX9001

0011XA9912

9931Xc3445

格式如下：前4个字符是数字，接下来是x x，最后4个也是数字，操作如下：[ 0 - 9 ] \ { 4 \ }X X[ 0 - 9 ] \ { 4 \ }

QUOTE:

具体含义如下：

1) 匹配数字出现4次。

2) 后跟代码x x。

3) 最后是数字出现4次。

结果如下

QUOTE:

1234XC9088 -no match

4523XX9001 -match

0011XA9912 -no match

9931Xc3445 -no match

经常使用的正则表达式举例

CODE:

^ 对行首

$ 对行尾

^ [ t h e ] 对以t h e开头行

[ S s ] i g n a [ l L ] 对匹配单词s i g n a l、s i g n a L、S i g n a l、S i g n a L [Ss]igna[lL]\. 对同上，但加一句点

[ m a y M A Y ] 对包含m a y大写或小写字母的行

^ U S E R $ 对只包含U S E R的行

[tty]$ 对以t t y结尾的行

\ . 对带句点的行

^ d . . x . . x . . x 对对用户、用户组及其他用户组成员有可执行权限的目录

^ [ ^ l ] 对排除关联目录的目录列表

[ . * 0 ] 对0之前或之后加任意字符

[ 0 0 0 * ] 对0 0 0或更多个

[ iI] 对大写或小写I

[ i I ] [ n N ] 对大写或小写i或n

[ ^ $ ] 对空行

[ ^ . * $ ] 对匹配行中任意字符串

^ . . . . . . $ 对包括6个字符的行

[a- zA-Z] 对任意单字符

[ a - z ] [ a - z ] * 对至少一个小写字母

[ ^ 0 - 9 \ $ ] 对非数字或美元标识

[ ^ 0 - 0 A - Z a - z ] 对非数字或字母

[ 1 2 3 ] 对1到3中一个数字

[ D d ] e v i c e 对单词d e v i c e或D e v i c e

D e . . c e 对前两个字母为D e，后跟两个任意字符，最后为c e

\ ^ q 对以^ q开始行

^ . $ 对仅有一个字符的行

^\.[0-9][0-9] 对以一个句点和两个数字开始的行

' " D e v i c e " ' 对单词d e v i c e

D e [ V v ] i c e \ . 对单词D e v i c e或d e v i c e

[ 0 - 9 ] \ { 2 \ } - [ 0 - 9 ] \ { 2 \ } - [ 0 - 9 ] \ { 4 \ } 对日期格式d d - m m - y y y y

[ 0 - 9 ] \ { 3 \ } \ . [ 0 - 9 ] \ { 3 \ } \ . [ 0 - 9 ] \ { 3 \ } \ . [ 0 - 9 ] \ { 3 \ } 对I P地址格式nnn. nnn.nnn.nnn [ ^ . * $ ] 对匹配任意行

判断/tmp/mybook是否存在.若不存在则创建

[ ! -d /tmp/mybook ]&&mkdir /tmp/mybook&&echo "/tmp/mybook is created!" ||echo "/tmp/mybook is exist!" //这行比较麻烦.有点错都会出问题.注意方括号内的两边有空格.该空格的地方要空格

shell使用两种引号和反斜线

双引号“”（让引号内的变量生效）

单引号‘’（引号内的变量当作一个字符使用）

反斜线\（禁用特殊字符功能\$）

后引号｀｀（让引号内的命令生效）

单引号和双引号的区别在于：单引号是原样显示，双引号则显示出变量的值。

echo time is:

'date'

abc="100"

echo 'time is: $abc'

echo "time is: $abc"

有时候变量名很容易与其他文字混淆，比如：

num=2

echo "this is the $numnd"

这并不会打印出"this is the 2nd"，而仅仅打印"this is the "，因为shell会去搜索变量numnd的值，但是这个变量时没有值的。可以使用花括号（或中括号）来告诉shell我们要打印的是num变量：

num=2

echo "this is the ${num}nd" //或者echo "this is the $[num]nd"

这将打印：this is the 2nd

流程控制

1) if

"if" 表达式如果条件为真则执行then后面的部分：

if 条件1 #如果条件1为真

then #那么

command1 #执行命令1

elif 条件2 # 如果条件2为真

then #那么

command2 # 执行命令2

else #如果条件1和条件2都不成立

command3 执行命令3

fi #完成（if 语句一定要以fi结束）大多数情况下，可以使用测试命令来对条件进行测试。比如可以比较字符串、判断文件是否存在及是否可读等等…

通常用" [ ] "来表示条件测试。注意这里的空格很重要。要确保方括号的空格。

[ -f "somefile" ] ：判断是否是一个文件

[ -x "/bin/ls" ] ：判断/bin/ls是否存在并有可执行权限

[ -n "$var" ] ：判断$var变量是否有值

[ "$a" = "$b" ] ：判断$a和$b是否相等

例如：

//变量$SHELL包含了登录shell的名称，我们和/bin/bash进行了比较

if [ "$SHELL" = "/bin/bash" ]; then

echo "your login shell is the bash (bourne again shell)"

else

echo "your login shell is not bash but $SHELL"

fi

[ -f "/etc/shadow" ] && echo "This computer uses shadow passwors"

这里&& 就是一个快捷操作符，如果左边的表达式为真则执行右边的语句。

您也可以认为是逻辑运算中的与操作。上例中表示如果/etc/shadow文件存在则打印” This computer uses shadow passwors”。

2) case

case :表达式可以用来匹配一个给定的字符串，而不是数字。

case 值in

模式1）#如果模式1匹配

命令1 #执行命令1

；；

模式2）#如果模式2匹配

命令2 #执行命令2

;;

*）#如果以上模式都不匹配

命令3 #执行命令3

;;

esac #结束case语句

case取值后面必须为单词in，每一模式必须以右括号结束。取值可以为变量或常数。匹配发现取值符合某一模式后，其间所有命令开始执行直至；；。模式匹配符号*表示匹配任意字符。[。。]表示类或者范围中的任意字符。

让我们看一个例子。file命令可以辨别出一个给定文件的文件类型，比如：

file test.gz

这将返回：

test.gz: gzip compressed data, deflated, original filename,

last modified: Mon Aug 27 23:09:18 2001, os: Unix

我们利用这一点写了一个叫做smartzip的脚本，该脚本可以自动解压bzip2, gzip 和zip 类型的压缩文件：#!/bin/sh

ftype=`file "$1"`

case "$ftype" in

"$1: Zip archive"*)

unzip "$1" ;;

"$1: gzip compressed"*)

gunzip "$1" ;;

"$1: bzip2 compressed"*)

bunzip2 "$1" ;;

*) echo "File $1 can not be uncompressed with smartzip";;

esac

您可能注意到我们在这里使用了一个特殊的变量$1。该变量包含了传递给该程序的第一个参数值。

也就是说，当我们运行：

smartzip articles.zip

$1 就是字符串articles.zip

3) selsect

select 表达式是一种bash的扩展应用，尤其擅长于交互式使用。用户可以从一组不同的值中进行选择。select var in ... ; do

break

done

.... now $var can be used ....

下面是一个例子：

#!/bin/sh

echo "What is your favourite OS?"

select var in "Linux" "Gnu Hurd" "Free BSD" "Other"; do

break

done

echo "You have selected $var"

下面是该脚本运行的结果：

What is your favourite OS?

1) Linux

2) Gnu Hurd

3) Free BSD

4) Other

#? 1

You have selected Linux

4）for循环

for 变量名in 列表

do

命令1

命令2

done

当变量值在列表里，for 循环即执行一次所有命令，使用变量名访问列表取值。命令可为任何有效的shell命令和语句。变量名为任何单词。in列表用法是可选的，如果不用它，for循环使用命令行的位置参数。in列表可以包含替换，字符串和文件名

举例说明：

for loop in 1 2 3 4 #在1 2 3 4列表中循环（4次）

do #开始执行命令

echo "hello" #执行命令

done #完成

输出结果：

hello

hello

hello

hello

for loop in "one two three" #当成一个元素只循环一次

do

echo $loop

done

#输出one two three 一行

for loop in one two three #三次循环

do

echo $loop

done

#输出

one

列表也可以是文件，如：for loop in `cat myfile`

5) while循环

while 命令

do

命令1

命令2

......

done

举例说明：

while read LINE

do

echo $LINE #输出每行的信息

done

getopts用法

获取多个命令行参数。举例说明：

#!/bin/bash

#getopts

ALL=false

HELP=false

FILE=false

VERBOSE=false

while getopts ahfvc: OPTION #将ahfvc依次传给OPTION 。c后面的冒号:表示-c时需传入参数do

case ${OPTION} in

a)

ALL=true

echo "ALL IS ${ALL}"

;;

h)

HELP=true

echo "HELP IS ${HELP}"

;;

f)

FILE=true

echo "FILE IS ${FILE}"

;;

v)

VERBOS=false

echo "VERBOSE IS ${VERBOSE}"

c=${OPTARG}

echo "c value is $c"

;;

\?)

echo "`basename $0` -[a h f v] -[c value] file"

;;

esac

done

运行结果：

输入./getopts -a 输出：ALL IS true #执行case a模式的命令

输入./getopts -h 输出：HLEP IS true #执行case h模式的命令

输入./getopts -f 输出：FILE IS true #执行case f模式的命令

输入./getopts -v 输出：VERBOSE IS true #执行case v模式的命令

输入./getopts -c 提示错误：需要传入参数#c后面有“：”所以需传参数

输入./getopts -c hello 输出：c value is hello #执行case c模式的命令

输入./getopts -b 输出：basename ./getopts -[a h f v] -[c value] file #其他情况

awk用法

#!/bin/awk -f #注明是awk的语法，若无此行则按bash的语法编译会出错

#awk_array.sh

BEGIN{ #BEGIN模式中的命令

FS="#"

score["0-60"]=0 #score数组索引为"0-60"的元素（awk语法允许用字符串索引）score["60-70"]=0

score["70-80"]=0

score["80-90"]=0

score["90-100"]=0

student["junior"]=0

student["senior"]=0

}

{

{ if ($1<60) #如果第一个域的值小于60

score["0-60"]++ #score数组中索引为"0-60"的元素值+1

}

{ if($1>=60 && $1<70)

score["60-70"]++

}

{ if($1>=70 && $1<80)

score["70-80"]++

}

{ if($1>=80 && $1<90)

score["80-90"]++

}

{ if($1>=90&&$1<=100)

score["90-100"]++

}

}

{ #另senior_junior依次为student数组中的索引（有几个就循环几次）

for (senior_junior in student)

{if ($2==s enior_junior)

student[senior_junior]++

}

}

END{

{ for (number in score) print "the score",number,"has",score[number],"students"}

{ for (senior_junior in student) print "The class has ",student[senior_junior],senior_junior,"students" } }

若有文件grade.txt如下：

85#senior

87#junior

78#junior

69#senior

56#junior

98#senior

83#senior

输入命令./awk.sh grade.txt 则输出如下：

the score 0-60 has 1 students

the score 70-80 has 1 students

the score 90-100 has 1 students

the score 60-70 has 1 students

the score 80-90 has 3 students

The class has 4 senior students

The class has 3 junior students

以时间为标识的日志文件。适用于长期存储的日志。

举个创建以时间为标识日志的例子入下：

#!/bin/bash

#datelog.sh

current_date=`date ""+%Y%m%d` #当前的日期（年月日）

todaylog="/tmp/${current_date}.log" #今天日志的（绝对路径）文件名。也即该文件在/tmp目录下#如果日志文件不存在，创建一个

if [ ! -f $todaylog ]

then

touch $todaylog

fi

#输出日志到日志文件

log_time_format=`date "+%Y-%m-%d %T"`

echo "${log_time_format} commands start.....">>${todaylog}

# commands blocks。例如这里将errpt报错及df –g命令结果输出到${todaylog}所示的日志文档

errpt>>${todaylog}

df -g>>$todaylog // $todaylog与${todaylog}相同

sleep 4

log_time_format=`date "+%Y-%m-%d %T"`

echo "${log_time_format} commands end!">>${todaylog} #结束时记录日志

（标准输入）<<

举例来说明：

#!/bin/bash

#input.sh

cat<

***************************

This is a test!

***************************

hello #标准输入到此行之前结束（注意：这个hello必须在句首，其前面不能有任何字符，甚至是空格）则输出:

****************************

This is a test!

****************************

trap捕捉信号

（１）信号可以被应用程序或脚本捕获，并依据该信号（１、２、３和１５）采取相应的行动。一些信号不能被捕获。如，如果一个命令收到了信号９，就无法再捕获其他信号。

（２）捕捉到一个信号后，可能会采取三中

１］.不采取任何行动，由系统来进行处理（如信号９由系统处理）

２］.捕获该信号，但忽略它

３］.捕获该信号，并采取相应的行动

（３）trap可以使你在脚本中捕捉信号，命令形式为trap name signal(s)

其中,name是捕捉到信号以后所采取的一系列操作。实际中，name一般是一个专门用来处理所捕捉信号的函数。name需要用双引号（“”）引起来。signal是待捕捉的信号。

最常见的行动包括：

１］清除临时文件

２］忽略该信号(如trap "" 23)

３］询问用户是否终止该脚本进程

（４）举例说明：

#!/bin/bash

#trap.sh

trap “exitprocess” 2#捕捉到信号２之后执行exitprocess function

LOOP=0

function exitprocess()

{

echo "You Just hit , at number $LOOP"

echo "I will now exit"

exit 1

}

while : # 循环直到捕捉到信号（注意中间的空格）

do

LOOP=$[ $LOOP+1 ]

echo $LOOP

sleep 1

done

有好多方法可以实现对输入参数的分析，但是下面的使用case表达式的例子无遗是一个不错的方法。

#!/bin/sh

# cmdparser.sh

help()

{

cat

This is a generic command line parser demo.

USAGE EXAMPLE: ./cmdparser.sh -l hello -f -- -somefile1 somefile2

HELP

exit 0 #exit 0表示本函数执行到此，shell程序就会退出，不再执行下面的语句。如果这里没exit 0，则本函数执行完后，继续执行下面的语句。

}

while [ -n "$1" ]; do

case $1 in

-h) help;shift 1;; # function help is called

-f) opt_f=2;shift 1;; # variable opt_f is set

-l) opt_l=$2;shift 2;; # -l takes an argument -> shift by 2

--) shift;break;; # end of options

-*) echo "error: no such option $1. -h for help";exit 1;;

*) break;;

esac

done

echo "opt_f is $opt_f"

echo "opt_l is $opt_l"

echo "first arg is $1"

echo "second arg is $2"

您可以这样运行该脚本：

cmdparser -l hello -f -- -somefile1 somefile2

返回的结果是：

opt_f is 2

opt_l is hello

first arg is -somefile1

second arg is somefile2

这个脚本是如何工作的呢？脚本首先在所有输入命令行参数中进行循环，将输入参数与case表达式进行比较，如果匹配则设置一个变量并且移除该参数。根据unix系统的惯例，首先输入的应该是包含减号的参数.

设计一个Shell程序，在/userdata目录下建立50个目录，即user1～user50，并设置每个目录的权限为rwxr-xr—

方法一：

#!/bin/bash

#最简单，效率最高的办法

mkdir -p /userdata/{1..50} && chmod 754 /userdata/{1..50}

方法二：

用for或while循环

#!/bin/bash

i=0

while [ $i -lt 50 ];do

let i=i+1

mkdir -p /userdata/$i

chmod 754 /userdata/$i

done

方法三：

#!/bin/bash

for D in /userdata/{1..20}

do

mkdir -m 754 -p $D

done

echo "Completed"

系统中有个文件，文件名为ABC.txt。如何将当前的系统时间追加到此文件行首？

方法一：

echo -e "`date`\n`cat ABC.txt`" > ABC.txt //不晓得-e是什么意思，但如果没有-e，则追加到行首文本不会

换行

方法二：

echo "`date | cat - ABC.txt`" > ABC.txt

关于$* 与$@ 的说明

$* 以单变量的形式显示所有的参数列表,由环境变量IFS中的第一个字符分隔.

$@ $*的一个灵巧变形.他并不使用IFS环境变量,所以如果IFS为空那么所有的所有的参数会一起运行. 我们可以通过下面的测试容易的看出$@和$*的区别:

$ IFS=’’

$ set foo bar bam

$ echo “$@”

foo bar bam

$ echo “$*”

foobarbam

$ unset IFS

$ echo “$*”

foo bar bam

正如我们所看到的,在双引号内,$@将参数进行分隔显示,而与IFS的值无关.通常来说,如果我们要访问参数,$@是一个很灵敏的选择.

Shell变量

主要有本地变量和环境变量。

1、本地变量－－在用户现有运行的脚本中使用

1) 定义本地变量格式：variable-name=value

例子：[root@jike1 /root]# LOCALTEST="test"

[root@jike1 /root]# echo $LOCALTEST （注意：echo $LOCALTEST 和echo ${LOCALTEST}的效果是一样的）

（在变量名前加$, 可以取得此变量的值，使用echo命令可以显示变量的值）

2) 显示本地变量格式：set

例子：[root@chinaitlab root]# set

3) 清除本地变量格式：unset variable-name

例如：[root@jike1 /root]# unset LOCALTEST

此时再执行echo $LOCALTEST将看不到变量LOCALTEST的输出。

2、环境变量－－在所有的子进程中使用

1) 定义环境变量格式：export variable-name=value （与本地变量的定义相比，多了一个export 关键字）

例子：[root@chinaitlab /root]# export DOMAIN="https://www.360docs.net/doc/c18687632.html,"

[root@ chinaitlab shell]# vi testenv.sh

#!/bin/bash #表示用bash来解析脚本

#testenv.sh

echo $DOMAIN

[root@chinaitlab shell]# chmod +x testenv.sh

[root@chinaitlab shell]# ./testenv.sh

https://www.360docs.net/doc/c18687632.html,

2) 显示环境变量格式：env （本地变量的显示使用set，环境变量的显示使用env）

例子：[root@chinaitlab test]# env

3) 清除环境变量格式：unset variable-name （用法与本地变量相同，都使用unset）

例子：[root@chinaitlab shell]# unset DOMAIN

此时再执行./testenv.sh将看不到变量DOMAIN的输出。

3、其它变量

1) 位置变量$0,$1,$2,$3……$9

2) 只读变量readonly variable

注意：只读变量不能被清除和改变其值，所以要谨慎使用。

3) 特殊变量$#,$?,$$（表示当前进程的PID）……

cat命令的一点用法

1. 创建一个包含myfile1、myfile2、myfile3三个文件内容，名为b i g f i l e的文件：

cat myfile1 myfile2 myfile3 > bigfile

2. 用cat新建文件

$cat >myfile

Hello

This is great

$cat myfile

Hello

This is great

3. 显示myile文件，并带有行号

cat –n myfile

把myfile 的内容加上行号后输入myfile1这个文件里

cat -n myfile > myfile1

显示myfile文件的内容，同时拷贝文件为file1、file2、file3。

cat myfile | tee file1 file2 file3 //tee命令：读取标准输入的数据，并将其内容输出成文件。