Linux_awk命令详解

Linux awk命令详解AWK介绍0.awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk。

1.awk语言的最基本功能是在文件或字符串中基于指定规则来分解抽取信息，也可以基于指定的规则来输出数据。

完整的awk脚本通常用来格式化文本文件中的信息。

2.三种方式调用awk1) awk [opion] 'awk_script' input_file1 [input_file2 ...]awk的常用选项option有；① -F fs : 使用fs作为输入记录的字段分隔符，如果省略该选项，awk使用环境变量IFS的值② -f filename : 从文件filename中读取awk_script③ -v var=value : 为awk_script设置变量2) 将awk_script放入脚本文件并以#!/bin/awk -f 作为首行，给予该脚本可执行权限，然后在shell下通过键入该脚本的脚本名调用之。

3) 将所有的awk_script插入一个单独脚本文件，然后调用: awk -f awk脚本文件input_file(s)3. awk的运行过程1) awk_script的组成:①awk_script可以由一条或多条awk_cmd组成，两条awk_cmd之间一般以NEWLINE分隔② awk_cmd由两部分组成: awk_pattern { actions }③ awk_script可以被分成多行书写，必须确保整个awk_script被单引号括起来。

2) awk命令的一般形式:awk ' BEGIN { actions }awk_pattern1 { actions }............awk_patternN { actions }END { actions }' inputfile其中BEGIN { actions } 和END { actions } 是可选的。

3) awk的运行过程:①如果BEGIN 区块存在，awk执行它指定的actions。

②awk从输入文件中读取一行，称为一条输入记录。

(如果输入文件省略，将从标准输入读取)③ awk将读入的记录分割成字段，将第1个字段放入变量$1中，第2个字段放入$2，以此类推。

$0表示整条记录。

字段分隔符使用shell环境变量IFS或由参数指定。

④把当前输入记录依次与每一个awk_cmd中awk_pattern比较，看是否匹配，如果相匹配，就执行对应的actions。

如果不匹配，就跳过对应的actions，直到比较完所有的awk_cmd。

⑤当一条输入记录比较了所有的awk_cmd后，awk读取输入的下一行，继续重复步骤③和④，这个过程一直持续，直到awk读取到文件尾。

⑥当awk读完所有的输入行后，如果存在END，就执行相应的actions。

4) iput_file可以是多于一个文件的文件列表，awk将按顺序处理列表中的每个文件。

5) 一条awk_cmd的awk_pattern可以省略，省略时不对输入记录进行匹配比较就执行相应的actions。

一条awk_cmd的actions 也可以省略，省略时默认的动作为打印当前输入记录(print $0) 。

一条awk_cmd中的awk_pattern和actions不能同时省略。

6) BEGIN区块和END区块别位于awk_script的开头和结尾。

awk_script中只有END区块或者只有BEGIN区块是被允许的。

如果awk_script中只有BEGIN { actions } ，awk不会读取input_file。

7) awk把输入文件的数据读入内存，然后操作内存中的输入数据副本，awk不会修改输入文件的内容。

8) awk的总是输出到标准输出，如果想让awk输出到文件，可以使用重定向。

4.awk_patternawk_pattern模式部分决定actions动作部分何时触发及触发actions。

awk_pattern 可以是以下几种类型:1) 正则表达式用作awk_pattern: /regexp/① awk中正则表达式匹配操作中经常用到的字符:\ ^ $ . [] | () * // 通用的regexp元字符+ : 匹配其前的单个字符一次以上，是awk自有的元字符，不适用于grep或sed 等? : 匹配其前的单个字符1次或0次，是awk自有的元字符，不适用于grep或sed 等②举例:awk '/ *\$0\.[0-9][0-9].*/' input_file2) 布尔表达式用作awk_pattern，表达式成立时，触发相应的actions执行。

①表达式中可以使用变量(如字段变量$1,$2等)和/regexp/②布尔表达式中的操作符:关系操作符: < > <= >= == !=匹配操作符: value ~ /regexp/ 如果value匹配/regexp/，则返回真value !~ /regexp/ 如果value不匹配/regexp/，则返回真举例: awk '$2 > 10 {print "ok"}' input_fileawk '$3 ~ /^d/ {print "ok"}' input_file③&&(与) 和||(或) 可以连接两个/regexp/或者布尔表达式，构成混合表达式。

!(非) 可以用于布尔表达式或者/regexp/之前。

举例: awk '($1 < 10 ) && ($2 > 10) {print "ok"}' input_fileawk '/^d/ || /x$/ {print "ok"}' input_file④其它表达式用作awk_script，如赋值表达式等eg: awk '(tot+=$6); END{print "total points :" tot }' input_file // 分号不能省略awk 'tot+=$6 {print $0} END{print "total points :" tot }' input_file // 与上面等效awk 用法例举：变量名含义ARGC 命令行变元个数ARGV 命令行变元数组FILENAME 当前输入文件名FNR 当前文件中的记录号FS 输入域分隔符，默认为一个空格RS 输入记录分隔符NF 当前记录里域个数NR 到目前为止记录数OFS 输出域分隔符ORS 输出记录分隔符1、awk '/101/' file 显示文件file中包含101的匹配行。

awk '/101/,/105/' fileawk '$1 == 5' fileawk '$1 == "CT"' file 注意必须带双引号awk '$1 * $2 >100 ' fileawk '$2 >5 && $2<=15' file2、awk '{print NR,NF,$1,$NF,}' file 显示文件file的当前记录号、域数和每一行的第一个和最后一个域。

awk '/101/ {print $1,$2 + 10}' file 显示文件file的匹配行的第二个域加10。

awk '/101/ {print $1$2}' fileawk '/101/ {print $1 $2}' file 显示文件file的匹配行的第一、二个域，但显示时域中间没有分隔符。

3、df | awk '$4>1000000 ' 通过管道符获得输入，如：显示第4个域满足条件的行。

4、awk -F "|" '{print $1}' file 按照新的分隔符“|”进行操作。

awk 'BEGIN { FS="[: \t|]" }{print $1,$2,$3}' file 通过设置输入分隔符（FS="[: \t|]"）修改输入分隔符。

Sep="|"awk -F $Sep '{print $1}' file 按照环境变量Sep的值做为分隔符。

awk -F '[ :\t|]' '{print $1}' file 按照正则表达式的值做为分隔符，这里代表空格、:、TAB、|同时做为分隔符。

awk -F '[][]' '{print $1}' file 按照正则表达式的值做为分隔符，这里代表[、]5、awk -f awkfile file 通过文件awkfile的内容依次进行控制。

cat awkfile/101/{print "\047 Hello! \047"} --遇到匹配行以后打印' Hello! '.\047代表单引号。

{print $1,$2} --因为没有模式控制，打印每一行的前两个域。

6、awk '$1 ~ /101/ {print $1}' file 显示文件中第一个域匹配101的行（记录）。

7、awk 'BEGIN { OFS="%"}{print $1,$2}' file 通过设置输出分隔符（OFS="%"）修改输出格式。

8、awk 'BEGIN { max=100 ;print "max=" max} BEGIN 表示在处理任意行之前进行的操作。

{max=($1 >max ?$1:max); print $1,"Now max is "max}' file 取得文件第一个域的最大值。

（表达式1?表达式2:表达式3 相当于：if (表达式1)表达式2else表达式3awk '{print ($1>4 ? "high "$1: "low "$1)}' file9、awk '$1 * $2 >100 {print $1}' file 显示文件中第一个域匹配101的行（记录）。