LINUX awk用法

AWK尹会生--2010.9.6注：本文档中的代码和图片均来自《sed与awk（第二版）》一 编写awk脚本HELLO，WORLD$ echo 'this line of data is ignored' > test $ awk '{ print "Hello, world" }' testHello, worldtest文件只包含一行，因此，print操作只执行一次。

$ cat test2Hello, world$ awk '{ print }' test2Hello, worldprint语句没有参数，只简单输出每个输入行。

$ awk ‘BEGIN {print “hello,World”}’Hello,WorldBEGIN模式不需要等待输入，它在第一个输入行读入之前执行。

awk程序设计模型awk程序由所谓的主输入（main input）循环组成。

一个循环称作一个例程。

awk允许你编写两个特殊的例程，他们在任何输入被读取前和所有输入都被读取后执行。

他们是与BEGIN和END规则相关的过程。

BEGIN和END过程是可选的。

模式匹配 src1.awk# test for integer, string or empty line./[0-9]+/ { print "That is an integer" }/[A-Za-z]+/ { print "This is a string" }/^$/ { print "This is a blank line." }一个特殊的例子：$ awk -f awkscr4TThat is an integerThis is a string一行可以匹配一条或多条规则程序脚本的注释# 以#号开始的一行记录和字段awk假设它的输入是有结构的，而不是一串无规则的字符。

默认它将每个输入行作为一条记录，而将由空格或制表符分隔的单词作为字段。

连续的多个空格和/或制表符被作为一个分隔符。

John Robinson 666-555-1111字段的引用和分离awk允许使用字段操作符$来指定字段。

$后面可以跟着一个数字或者一个变量。

$1表示第一个字段，$2表示第二个字段，$0表示整个输入记录。

$ awk '{ print $2, $1, $3 }' namesRobinson John 666-555-1111可以使用计算值为整数的表达式来表示一个字段$ echo a b c d | awk 'BEGIN { one = 1; two = 2 } > { print $(one + two) }'c可以使用-F来改变字段分隔符$ awk -F"\t" '{ print $2 }' names666-555-1111$ awk -F"\t+" '{ print $2 }' names$ awk -F"[‘：\t]" '{ print $2 }' names任何3个字符之一都可以被解释为字段分隔符也可以在脚本中指定域分隔符，通过系统变量FS来改变BEGIN { FS = "," } # comma-delimited fields{ print $1 "-" $2 }使用匹配规则/MA/ { print $1 ", " $6 }为了避免假警报，可以使用更精确的匹配$5 ~ /MA/ { print $1 ", " $6 }还可以使用！来反转这个规则的意义$5 !~ /MA/ { print $1 ", " $6 }表达式常量分成两种:字符串型和数字型字符串型在表达式中必须用引号括起来字符串中可以使用转义序列，常用的转义序列有：\n 换行 \t 水平制表符 \r 回车变量x=1x是变量的名字 =是一个赋值操作符 1是一个数字常量注意： 变量区分大小写，所以x和X（大写）表示不同的变量变量名只能由数字字母下划线组成，而且不能以数字开头变量使用不区分类型，使用前不必初始化z = "Hello"z = "Hello" "World"z = $1以上几种都是合法的常用算数操作符DescriptionOperator+Addition-Subtraction*Multiplication/Di v ision%Modulox=1给x赋值y=x+1计算x的值，使它加1，并将结果赋给变量y。

print y打印y的值。

我们可以将这3个语句减少为两个：x=1print x+1常用赋值操作符OperatoDescriptionr++Add 1 to v ariable.--Subtract 1 from v ariable.+=Assign result of addition.-=Assign result of subtraction.*=Assign result of multiplication. /=Assign result of di v ision.%=Assign result of modulo.^=Assign result of e x ponentiation.计算文件中空行的数目# C ount blank lines./^$/ {print x += 1}x=x+1 x+=1 ++x x++这几种有什么区别?# C ount blank lines./^$/ {++x}END {print x}计算学生的平均成绩mona 70 7785 83 70 89j ohn 85 92 78 94 88 91 andrea 89 90 85 94 90 95j asper 84 8880 92 84 82 dunce 64 80 60 60 61 62ellis 90 9889 96 96 92$ awk -f src2.awk gradesj ohn 87.4andrea 86j asper 85.6src2.awk# a v erage fi v e grades{ total = $2 + $3 + $4 + $5 + $6 a v g = total / 5print $1, a v g }也可以使用print $1, total / 5系统变量FS 定义字段分隔符,默认为一个空格OFS 输出的字段分隔符，默认为一个空格RS 记录分隔符，默认为一个换行符ORS 输出的记录分隔符，默认为一个换行符NR 行数FNR 行数，多文件操作时会重新排序NF 输出当前输入记录的编号（字段的个数）FILENAME 文件名例如：$awk–F:‘OFS=”aaa”,ORS=”bbb”{print NR,FNR,NF,FILENAME}’/etc/passwd a.t x t$ print NR “.”,$1, a v g1. j ohn 87.42. andrea 863. j asper 85.6处理多行记录John RobinsonK oren Inc.978C ommonwealth A v e.BostonMA 01760696-0987# block.awk - print first and last fields # $1 = name; $NF = phone number BEGIN { FS = "\n"; RS = " " }{ print $1, $NF }$ awk -f block.awk phones.block John Robinson 696-0987P hyllis C hapman 879-0900Jeffrey Willis 914-636-0000Alice Gold (707) 724-0000Bill Gold 1-707-724-0000关系操作符和布尔操作符关系操作符OperatorDescription<Less than>Greater than<=Less than or e q ual to>=Greater than or e q ual to==E q ual to!=Not e q ual to~Matches!~Does not matchNF == 5 NF（每个输入记录的字段数）的值和5相比较，如果结果为真，那么就进行相应的处理，否则不进行处理。

$5 ~ /MA/ {print $1 “,”$6}注意：关系操作符==和赋值操作符=是不同的布尔操作符Operato r Descriptio n||Logical OR&&Logical AND!Logical NOTNF == 6 && NR > 1字段的数量必须等于6并且记录的编号必须大于1。

NR >1 && NF >=2 || $1 ~ /\t/(NR >1 && NF >=2 )|| $1 ~ /\t/!(NR > 1 && NF > 3)获取文件的信息$ ls -l |awk -f src3.awkBEGIN { print "B Y TES", "\t", "FILE" }{sum += $5++filenumprint $5, "\t", $8}END { print "Total: ", sum, "bytes (" filenum " files)" }格式化打印printf ( format-e x pression [, arguments] )DescriptionC haracterc AS C II 字符d十进制整数f浮点格式s字符串x无符号十六进制常用举例：语法%-width.precision format-specifierprintf(" %d \t %s \n ", $5 , $8 )printf("|%10s|\n", "hello") 右对齐printf("|%-10s|\n", "hello") 左对齐printf("%*.*f\n", 5, 3, my v ar)宽度5 精度3 打印my v ar 向脚本传递参数awk 'script' v ar=v alue inputfile$ v ar=root$ awk –F: -v a=$v ar ‘$1==a {print}’ /etc/passwd二 条件、循环和数组条件语句if ( e x pression )action1[elseaction2]例如：if ( x ) print x如果x是零，则print语句将不执行。