shell中awk的用法
awk调用shell命令
awk调用shell命令在awk内部可利用管道和getline函数来调用shell命令，并可得到返回的具体结果，进行相应处理。
例子如下：1) {while ( ("ls" | getline) >0 )print}输出当前目录下的所有文件，并打印到标准输出上。
| 是管道，getline依次得到每一行的输出，赋值给$0，print打印到标准输出上2) 如果希望将输出赋值到另外一个变量中，而不是覆盖$0，可这样改写：{while ( ("ls" | getline name) >0 )print name}3) system命令可以把awk内部的变量传递到外面使用，比如：{system("echo ", $1)}打印$1的内容getline为awk所提供的输入指令.其语法如下 :语法由何处读取数据数据读入后置于getline var < file 所指定的 file 变量 var(var省略时,表示置于$0)getline var pipe 变量变量 var(var省略时,表示置于$0)getline 一次读取一行数据, 若读取成功则return 1, 若读取失败则return -1, 若遇到文件结束(EOF), 则return 0;本程序使用 getline 所 return 的数据来做为 while 判断循环停止的条件,某些awk版本较旧,并不容许使用者改变$0 之值. 这种版的awk 执行本程序时会产生 Error, 读者可于 getline 之后置上一个变量(如此, getline 读进来的数据便不会被置于 $0 ), 或直接改用gawk便可解决.awk 提供与 UNIX 用法近似的 pipe, 其记号亦为 "|". 其用法及含意如下 :awk程序中可接受下列两种语法:[a. 语法] awk output 指令 | "Shell 接受的命令"( 如 : print $1,$2 | "sort -k 1" )[b. 语法] "Shell 接受的命令" | awk input 指令( 如 : "ls " | getline)注 : awk input 指令只有 getline 一个.awk output 指令有 print, printf() 二个.在a 语法中, awk所输出的数据将转送往 Shell , 由 Shell 的命令进行处理.以上例而言, print 所输出的数据将经由 Shell 命令 "sort -k 1" 排序后再送往屏幕(stdout).上列awk程序中, "print$1, $2" 可能反复执行很多次, 其输出的结果将先暂存于 pipe 中,等到该程序结束时, 才会一并进行 "sort -k 1".须注意二点 : 不论 print $1, $2 被执行几次, "sort -k 1" 的执行时间是 "awk程序结束时", "sort -k 1" 的执行次数是 "一次".在 b 语法中, awk将先调用 Shell 命令. 其执行结果将通过 pipe 送入awk程序,以上例而言, awk先让 Shell 执行"ls",Shell 执行后将结果存于 pipe, awk指令 getline再从 pipe 中读取数据.使用本语法时应留心: 以上例而言,awk "立刻"调用Shell 来执行"ls", 执行次数是一次.getline 则可能执行多次(若pipe中存在多行数据).除上列a, b 二中语法外, awk程序中其它地方如出现像"date", "cls", "ls"... 这样的字符串, awk只把它当成一般字符串处理。
高级Shell脚本编写技巧使用awk和sed进行文本处理和数据转换
高级Shell脚本编写技巧使用awk和sed进行文本处理和数据转换高级Shell脚本编写技巧：使用awk和sed进行文本处理和数据转换在Shell脚本编写中，awk和sed是两个常用的命令工具，它们可以高效地进行文本处理和数据转换。
本文将介绍一些使用awk和sed的高级技巧，帮助读者更好地利用这两个工具来处理文本和转换数据。
一、awk技巧1.基本语法awk是一种强大的文本处理工具，其基本语法为：awk 'pattern { action }' file其中，pattern是模式，决定是否对文本进行处理，action则是具体的处理动作。
file是需要处理的文件。
例如，要打印文件的第一列，可以使用以下命令：awk '{ print $1 }' file2.模式和动作在awk中，可以根据需求灵活组合模式和动作。
例如，要输出第一列大于100的行，可以使用以下命令：awk '$1 > 100 { print }' file3.内置变量awk提供了许多内置变量，用于方便地处理文本。
例如，$0表示整行文本，$1、$2等表示第n列，NF表示列数，NR 表示行号等。
可以利用这些内置变量来编写更加灵活的命令。
4.awk函数awk还提供了一些内置函数，用于处理文本。
例如，substr函数用于截取子字符串，length函数用于返回字符串长度等。
可以根据需要选择合适的函数来处理文本数据。
二、sed技巧1.基本语法sed是一种流编辑器，其基本语法为：sed 'pattern { action }' file其中，pattern是模式，决定是否对文本进行处理，action则是具体的处理动作。
file是需要处理的文件。
例如，将文件中所有的"apple"替换为"orange"，可以使用以下命令：sed 's/apple/orange/g' file2.替换操作sed最常用的功能之一就是替换文本。
awk用法技巧
这样可以清楚的看出，awk是一行一行读取文本，然后按照代码的前后顺序执行。但如果action中 包含next或exit时，有所不同： awk ‘$1==3{printf “|| “$0;next}{printf “@@ “$0}{print $0}’ file @@ 11 @@ 22 || 3@@ 44 @@ 55
awk ‘$1==3{printf “|| “$0;exit}@@ 11 @@ 22 || 3
awk ‘{print “NR = ” NR ” FNR = ” FNR, $0}’ file file NR = 1 FNR = 1 a NR = 2 FNR = 2 b NR = 3 FNR = 3 c NR = 4 FNR = 4 d NR = 5 FNR = 5 e
NR = 6 FNR = 6 f NR = 7 FNR = 1 a NR = 8 FNR = 2 b NR = 9 FNR = 3 c NR = 10 FNR = 4 d NR = 11 FNR = 5 e NR = 12 FNR = 6 f
4. 为什么OFS不起作用？ 先看一个例子： echo ‘aaa bbb ccc ddd aaa bbb ccc ddd aaa bbb ccc ddd aaa bbb ccc ddd’ |awk -v OFS=”|” ‘{print $0}’ aaa bbb ccc ddd aaa bbb ccc ddd aaa bbb ccc ddd aaa bbb ccc ddd 上面的例子中OFS为什么没有生效呢，原因是OFS指的是输出字段分隔符，所以必须对字段进行操 作时OFS才会起作用，正确的方法应该是： echo ‘aaa bbb ccc ddd aaa bbb ccc ddd aaa bbb ccc ddd aaa bbb ccc ddd’ |awk -v OFS=”|” ‘{$1=$1;print $0}’ aaa|bbb|ccc|ddd aaa|bbb|ccc|ddd aaa|bbb|ccc|ddd aaa|bbb|ccc|ddd
awk语法
简介搜索支持正则，例如找root开头的: awk -F: '/^root/' /etc/passwd搜索/etc/passwd有root关键字的所有行，并显示对应的shell# awk -F: '/root/{print $7}' /etc/passwd/bin/bash这里指定了action{print $7}awk内置变量awk有许多内置变量用来设置环境信息，这些变量可以被改变，下面给出了最常用的一些变量。
ARGC 命令行参数个数ARGV 命令行参数排列ENVIRON 支持队列中系统环境变量的使用FILENAME awk浏览的文件名FNR 浏览文件的记录数FS 设置输入域分隔符，等价于命令行 -F选项NF 浏览记录的域的个数NR 已读的记录数OFS 输出域分隔符ORS 输出记录分隔符RS 控制记录分隔符此外,$0变量是指整条记录。
$1表示当前行的第一个域,$2表示当前行的第二个域,......以此类推。
统计/etc/passwd:文件名，每行的行号，每行的列数，对应的完整行内容:#awk -F ':''{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF ",linecontent:"$0}' /etc/passwdfilename:/etc/passwd,linenumber:1,columns:7,linecontent:root:x:0:0:root:/root:/b in/bashfilename:/etc/passwd,linenumber:2,columns:7,linecontent:daemon:x:1:1:daemon:/usr /sbin:/bin/shfilename:/etc/passwd,linenumber:3,columns:7,linecontent:bin:x:2:2:bin:/bin:/bin/ shfilename:/etc/passwd,linenumber:4,columns:7,linecontent:sys:x:3:3:sys:/dev:/bin/ sh使用printf替代print,可以让代码更加简洁，易读awk -F ':''{printf("filename:%10s,linenumber:%s,columns:%s,linecontent:%s\n",FILENAME,NR,NF,$0)}' /etc/passwdprint和printfawk中同时提供了print和printf两种打印输出的函数。
awk 引用shell变量
awk 引用shell变量，变量的作用域1. '' 单引号截断，注意：如果变量的值有空格的话，必须要加双引号""，否则空格会导致cmd空格option空格params2.ENVRION["varName"]3.-v传递参数1.格式如：awk‘{action}’变量名=变量值，这样传入变量可以在action中获得值，但不能在BEGIN{}中引用var1="hahah"echo |awk 'BEGIN{print "Begin:v1="v1} {print "ActionBody:v1="v1}' v1="$var1"输出结果Begin:v1=ActionBody:v1=hahaha2.格式如：awk –v 变量名=变量值[–v 变量2=值2 …] 'BEGIN{action}’注意：用-v 传入变量可以在3种类型的action 中都可以获得到，但顺序必须要在action前面。
echo |awk -v v1="haha" 'BEGIN{print "Begin:v1="v1} {print "ActionBody:v1="v1}' 输出结果Begin:v1=hahaActionBody:v1=haha格式如：awk ‘{action}’变量名=变量值，这样传入变量，可以在action中获得值。
注意：变量名与值放到’{action}’后面。
[chengmo@localhost ~]$ echo | awk 'BEGIN{print test}' test="$test"这种变量在：BEGIN的action不能获得。
awk -f "query.awk" idnums=10 test.dat必须要在文件名前面格式如：awk –v 变量名=变量值[–v 变量2=值2 …] 'BEGIN{action}’注意：用-v 传入变量可以在3中类型的action 中都可以获得到，但顺序在action前面。
shell之awk详解
awk是一种非常好的语言，同时有一个非常奇怪的名称。
在本系列的文章中，DanielRobbins 将使您迅速掌握 awk编程技巧。
随着本系列的进展，将讨论更高级的主题，最后将演示一个真正的高级awk 演示程序。
awk是一种很棒的语言。
awk 适合于文本处理和报表生成，它还有许多精心设计的特性，允许进行需要特殊技巧程序设计。
与某些语言不同，awk 的语法较为常见。
它借鉴了某些语言的一些精华部分，如 C 语言、python 和 bash（虽然在技术上，awk 比 python 和 bash 早创建）。
awk 是那种一旦学会了就会成为您战略编码库的主要部分的语言。
一. 第一个 awk让我们继续，开始使用 awk，以了解其工作原理。
在命令行中输入以下命令：$ awk '{ print }' /etc/passwd您将会见到 /etc/passwd 文件的内容出现在眼前。
现在，解释 awk 做了些什么。
调用 awk 时，我们指定 /etc/passwd 作为输入文件。
执行 awk 时，它依次对 /etc/passwd 中的每一行执行 print 命令。
所有输出都发送到 stdout，所得到的结果与与执行catting /etc/passwd 完全相同。
现在，解释 { print } 代码块。
在 awk 中，花括号用于将几块代码组合到一起，这一点类似于 C 语言。
在代码块中只有一条 print 命令。
在 awk 中，如果只出现 print 命令，那么将打印当前行的全部内容。
这里是另一个 awk 示例，它的作用与上例完全相同：$ awk '{ print $0 }' /etc/passwd在 awk 中， $0 变量表示整个当前行，所以 print 和 print $0 的作用完全一样。
如果您愿意，可以创建一个 awk 程序，让它输出与输入数据完全无关的数据。
Shell中的grep awk和sed的常用命令和语法
Shell中的grep、awk和sed的常用命令和语法Shell中的grep、awk和sed的常用命令和语法——oid2000收集整理Grep的常用命令语法1. 双引号引用和单引号引用在g r e p命令中输入字符串参数时，最好将其用双引号括起来。
例如：―m y s t r i n g‖。
这样做有两个原因，一是以防被误解为s h e l l命令，二是可以用来查找多个单词组成的字符串，例如：―jet plane‖，如果不用双引号将其括起来，那么单词p l a n e将被误认为是一个文件，查询结果将返回―文件不存在‖的错误信息。
在调用变量时，也应该使用双引号，诸如：g r e p―$ M Y VA R‖文件名，如果不这样，将没有返回结果。
在调用模式匹配时，应使用单引号.[root@mypc ]# echo `grep 123 111.txt` (#注意是反单引号) 2. 常用的g r e p选项有：-c 只输出匹配行的计数。
-i 不区分大小写（只适用于单字符）。
-h 查询多文件时不显示文件名。
-l 查询多文件时只输出包含匹配字符的文件名。
-n 显示匹配行及行号。
-s 不显示不存在或无匹配文本的错误信息。
-v 显示不包含匹配文本的所有行。
3. 特殊的——在多个文件中进行查询$ grep "sort"*.doc ( #在当前目录下所有. d o c文件中查找字符串―s o r t‖)$ grep "sort it" * (#或在所有文件中查询单词―sort it‖)接下来的所有示例是指在单个文件中进行查询4. 行匹配$ grep -c "48" data.f$ 4 (#g r e p返回数字4，意义是有4行包含字符串―4 8‖。
)$ grep "48" data.f (#显示包含―4 8‖字符串的4行文本)5. 显示满足匹配模式的所有行行数：[root@mypc oid2000]# grep -n 1234 111.txt1:12343:1234ab6. 精确匹配[root@mypc oid2000]# grep "1234\>" 111.txt12347. 查询空行，查询以某个条件开头或者结尾的行。
一天一个shell命令linux文本内容操作系列-awk命令详解
⼀天⼀个shell命令linux⽂本内容操作系列-awk命令详解简介awk是⼀个强⼤的⽂本分析⼯具，相对于grep的查找，sed的编辑，awk在其对数据分析并⽣成报告时，显得尤为强⼤。
简单来说awk就是把⽂件逐⾏的读⼊，以空格为默认分隔符将每⾏切⽚，切开的部分再进⾏各种分析处理。
awk有3个不同版本: awk、nawk和gawk，未作特别说明，⼀般指gawk，gawk 是 AWK 的 GNU 版本。
awk其名称得⾃于它的创始⼈ Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓⽒的⾸个字母。
实际上 AWK 的确拥有⾃⼰的语⾔： AWK 程序设计语⾔，三位创建者已将它正式定义为“样式扫描和处理语⾔”。
它允许您创建简短的程序，这些程序读取输⼊⽂件、为数据排序、处理数据、对输⼊执⾏计算以及⽣成报表，还有⽆数其他的功能。
使⽤⽅法awk '{pattern + action}' {filenames}尽管操作可能会很复杂，但语法总是这样，其中 pattern 表⽰ AWK 在数据中查找的内容，⽽ action 是在找到匹配内容时所执⾏的⼀系列命令。
花括号（{}）不需要在程序中始终出现，但它们⽤于根据特定的模式对⼀系列指令进⾏分组。
pattern就是要表⽰的正则表达式，⽤斜杠括起来。
awk语⾔的最基本功能是在⽂件或者字符串中基于指定规则浏览和抽取信息，awk抽取信息后，才能进⾏其他⽂本操作。
完整的awk脚本通常⽤来格式化⽂本⽂件中的信息。
通常，awk是以⽂件的⼀⾏为处理单位的。
awk每接收⽂件的⼀⾏，然后执⾏相应的命令，来处理⽂本。
调⽤awk有三种⽅式调⽤awk说明:awk被设计⽤于数据流，能够对列和⾏进⾏操作。
⽽sed更多的是匹配，进⾏替换和删除。
awk有很多内建的功能，⽐如数组，函数等。
灵活性是awk的最⼤优势。
awk的结构awk 'BEGIN{ print "start"}pattern { commands }END{ print "end"}'file为了偏于观看，我打了回车，实际上是⼀⾏⼀个awk脚本通常是3部分1. BEGIN语句块2. 能够使⽤模式匹配的通⽤语句块3. END语句块他们任何⼀部分都可以不出现在脚本中。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
shell中awk的用法
在shell中，awk是非常常用的文本处理工具，它可以用来对文本进行格式化、过滤、统计等操作。
下面介绍一些常用的awk命令： 1. 基本语法
awk 'pattern {action}' filename
其中，pattern是匹配规则，action是对匹配到的行进行的操作，filename是要处理的文件名。
2. 打印整行
awk '{print}' filename
上面的命令会将文件中的每一行都打印出来。
3. 按列打印
awk '{print $1,$2}' filename
上面的命令会将文件中每一行的第一列和第二列打印出来。
4. 过滤行
awk '/pattern/{print}' filename
上面的命令会将文件中匹配到pattern的行打印出来。
5. 过滤列
awk '{print $1,$3}' filename
上面的命令会将文件中每一行的第一列和第三列打印出来。
6. 计算行数
awk 'END{print NR}' filename
上面的命令会统计文件中的行数并打印出来。
7. 计算列数
awk '{print NF}' filename
上面的命令会统计文件中每一行的列数并打印出来。
8. 求和
awk '{sum+=$1} END{print sum}' filename
上面的命令会将文件中第一列的数值求和并打印出来。
9. 求平均值
awk '{sum+=$1} END{print sum/NR}' filename 上面的命令会将文件中第一列的数值求平均值并打印出来。
以上是一些常用的awk命令，可以根据需求进行灵活应用。