Monthly Archives: March 2013

awk用法总结

awk 用法小结 – – – by ruson 2006.4 NTU

1. awk 非常适合于结构化的文本文件(行、列数据)复杂处理。相对于 sed 而言,它可进
行复杂的编程处理,并且可以产生复杂的报表输出。
2. awk 通常有三个版本,旧 awk、nawk(新) 、gawk。Solaris 下建议用 nawk,因为旧 awk
有很多功能不支持,例如数学运算幂 ^  ,函数getline,system等。
3. 基本语法:awk ‘pattern{action}’ filename   其中 action 内容可扩充,也可以有多个 action。
执行顺序:awk 一行行读入输入文件,顺序执行‘’内内容,按模式匹配来采取动作。
其他调用:awk 可用内部变量和函数,条件与循环语句,也可执行数学运算和字符串操
作。 此外, 可以使用 BEGIN和 END来执行处理前预操作和处理后后继操作。
A.  常用内部变量:NR(当前行数)NF(字段总数)$0(当前整行)$1(第一个记录)
FS(字段分隔符)OFS(输出字段分隔符)ORS(输出记录分隔符)
B.模式  pattern可以是/ /包含的匹配形式,也是条件语句如$3<10
C.BEGIN(处理文件前的 action,常包含 FS、OFS 等) 、END(处理文件后的 action)
D.条件与循环:if else(next,exit) ,for do while (continue,break)
E.数学运算符  + – * / % ^;数学函数 sin int;字符串函数 length index gsub substr等
F.数组与关联数组:a[1]; a[$1]; a[$0]; a[b[i]]
F.输出重定向和管道:>  >>    |  ;awk 内部命令:getline、system等
4.awk 的三种调用方式:  X awk ‘pattern{action}’ filename1,filename2
Y awk –f myscript.awk filename1,filename2
Z #!/bin/nawk –f … …  执行:myscript.awk filename
特别注意事项:

———————————————————————————————————————-
A.从 window拷贝语法句到 Unix 中,行结尾可能有不识别的字符会导致语法错误
B.写 script 文件时,BEGIN或 END后必须紧跟{
C.所有 action语句必须放在{ }中,否则提示语法错误。例如不可直接写 print
D.单独的赋值或 pattern条件句没有{ }则默认 print $0;例如{ }外面的 i=1
E.if条件块必须放在 action 中,也就是必须要有{ }来包含
F.条件的判断“相等”须用= =,而不是=(赋值) ;例如,if($1= =100)
G.输出多列须用“, ” (逗号)隔开;for 循环中间隔符为“; ”而不是“, ”
实例演练: (filename 为以下文件,注意:第二列用“-”隔开而非空格,以避免与 FS冲突)
ID   Name   Age   City  Country  Tel      Salary  Children
1001 Steven   25   NY   U.S.A  +01-02-323222   $4900   2
1002 Huang-Yu  30   BJ   CHN  +86-10-36789966    ¥6000   1
1003 Fish-Mad   27   SG   SG   +65-67456632    $3000   3
1004 Vale-Kiss   46   LD   ENG  +44-20-87634321   $6280   3
———————————————————————————————————————-
以下分基础实例:1.无 pattern  的 action 实例               2.有 pattern的 action 实例
3.BEGIN,END,FS,OFS 实例           4.if else; for while 循环实例
5.数学运算与字符串操作实例
高级实例:6.数组与关联数组运用实例               7.多文件运用 NR FNR实例
8.输出重定向和 getline实例
1

基   础   篇

1.无 pattern 的 action 实例
a.awk ‘{print NR $1 $NF}’ data.txt          打印行号,第一列和最后一列,中间无分隔符
b.awk ‘{print $1,$NF}’ data.txt            打印第一列和最后一列,并且中间有分隔符
c.awk ‘{print $0,$NF+10}’ data.txt          打印整行,并打印 最后一行加上 10 的结果
2.有 pattern 的 action 实例
a.awk ‘/[0-9]/’ data.txt                       打印记录中任意列包含数字 0-9 的行
b.awk ‘/01/||/02/’ data.txt                    打印包含 01 或者 02 的行
c.awk ‘/01/,/02/’ data.txt                   打印既包含01又包含02的行;等同awk ‘/01/&&/02’
d.awk ‘$1= =1001{print $2}’ data.txt      打印符合第一列等于 1001 的第二列
e.awk ‘$2= =”Steven”{print}’data.txt      打印符合第二列等于 Steven 的那些行
f.awk ‘$3>20&&$3<30’ data.txt           打印第三列在 20 到30 之间的那些行
g.nawk ‘$3*$NF<100’ data.txt           打印第三列和最后一列乘积小于 100 的那些行
h.awk ‘$6~/01/{print $2}’ data.txt         打印符合仅仅第六列里包含 01那些行的第二列
i.awk ‘NR>3{print $1,$2}’ data.txt          从第四行才开始打印第一列和第二列
3.有 BEGIN、END 并包含 FS、OFS 的实例
a.awk –F”+” ‘{print $1}’ data.txt             按+为分隔符来分隔列,并打印第一列
b.nawk –F’[+/t$]’ ‘{print $6,$7,$8,$9}’data.txt     按+或/t 或$都可作分隔符,并打印指定列
c.nawk ‘BEGIN{FS=”[/t+$]”}{print $6,$8,$9}’data.txt
按+,/t,$(顺序无所谓)为分割符,并打印指定列
d.nawk ‘BEGIN{FS=”[/t+$]”;OFS=”%”}{print $6,$7,$8,$9}’ data.txt
按+,/t,$为分割符, 用%作输出分隔符打印指定列
e.nawk –F‘[ [ ] ]’ ‘{print $1}’ data.txt          按 [ 或 ]  为分隔符,并打印第一列
f.nawk –F‘[ ][ ]’ ‘{print $1}’ data.txt            同上,按[  或 ] 为分隔符,并打印第一列
关于-F 和 BEGIN 内的 FS 定义特别注意如下:

A.-F 参数后紧跟单个分隔符,则用双引号“” ,例如 –F”+”
B.-F 参数后紧跟多个分隔符,则用单引号‘ ’并用[ ],中间顺序无所谓,例如-F’[+$]’
C.BEGIN 中的 FS无论是单个还是多个分隔,均用双引号“” ,多个则需加[ ]
例如:nawk ‘BEGIN{FS=”[/t+$]”}{print $6,$8,$9}’data.txt
D.BEGIN 中若同时有 FS和 OFS,则建议中间用分号“; ”来分隔开,否则提示出错
例如:nawk ‘BEGIN{FS=”[/t+$]”;OFS=”%”}{print $6,$7,$8,$9}’ data.txt
E.半方括号[ ]也可以作为分隔符,顺序无所谓。例如:-F‘[[]]’  或 –F‘[][]’
F.在用多个分隔符的时候,为避免语法错误或想得到正确的结果,最好用 nawk
4.条件 if else 和 for while 循环实例
a.nawk ‘{print($3>25 ? $2“ Old” : $2“ Young”)}’ data.txt
若第三列大于 25 就打印某某 Old;否则打印某某 Young
b.awk ‘{if($1>1002)print $2; else print $3}’ data.txt
若第二列大于 1002 就打印第二列,否则打印第三列
c.awk ‘NR>1{if($3<30)print$2;else if($3<40) print$2”m”;else exit;}END{print 10}’data.txt
从第二行开始判断第三列的值,如果小于 30 就打印$2,如果大于 30 而又小于
240,打印$2并后跟 m,若是都不符合就退出处理行,但是 END后的操作仍执行
d.awk ‘BEGIN{ORS=””}{for(i=1;i<NF-2;i++) print $i”/t”}{print “/n”}’ data.txt
打印出每行的前面几列,最后几列不打印。特别注意:默认情况下,print 每执
行一次时,另起一行打印。因此为避免每打印一列就重新一行,设置 ORS为空,
但是在每打印完符合条件的所有列后, 需要手工换行 (循环外的 print 起此作用) 。
e.awk ‘BEGIN{ORS=””}{i=1; while(i<NF-2){print $i”/t”; i++}}{print “/n”}’ data.txt
功能同上,打印出每行的前面几列,最后几列不打印。
5.数学运算和字符串操作实例
a.nawk ‘{print 2^5+sin(2.1)+int(0.9)}’ data.txt         在每一行都打印运算值(32.8632)
b.awk ‘END{print length(“How are you?”)}’ data.txt    打印出字符串的长度(12)
c.awk ‘END{print index(“How are you?”,”you”)}’ data.txt    返回 you在字符串中的开始位置(9)
d.nawk ‘{gsub(/ /$/,””);print $0}’ data.txt              把每行的$符号用空替掉,并打印行
e.awk ‘END{print substr(“How are you?”,9,3)}’ data.txt
从字符串的第九个位置开始截出后面 3 个长度的子字符串
f.nawk ‘{print toupper($2), tolower($2)}’ data.txt
分别打印第二列大写和小写
g.nawk ‘END{print match(“How are you you?”,/you/),RSTART,RLENGTH}’ data.txt
打印 you 在字符串中第一个匹配的位置以及长度(9,9,3)
h.nawk ‘END{str=”How are you doing?”;sub(/o/,”0”,str);print str}’ data.txt
将字符串变量指定字符中第一个符合含有 o 的用 0 替换调
特别注意:sub 函数的第三个参数不可直接用字符串,而必须用
字符串变量。
i.awk ‘END{print split(“Jan,Feb,Mar,Apr,May”,mymonths,”,”),mymonths[2]}’ data.txt
将字符串用第三个参数分隔符号进行分隔,把分隔的各个元素放
在第二个参数的数组中,函数返回分隔得到的元素数目。结果:
(5,Feb)

高   级   篇

6.数组与关联数组(a[1],a[$1] a[$0],a[b[i]])
a.awk ‘{for(i=1;i<NF;i++) {a[i]=$i; print a[i]}}’ data.txt     把文件每一列按行打印
b.awk ‘{a[$1]=$2}END{for(x in a) print a[x]}’ data.txt
数组 a 关联到第一列,并将第二列值赋给 a,最后打印 a 中的所有内容。
注意:但不是顺序打印。for中的 x是随意变量,awk 自动确定。
c.awk ‘{b[i]=$1;a[$1]=$2;i++}END{for(j=1;j<i;j++) print b[j],a[b[j]]}’ data.txt
实现从第二行开始打印每一行的第一列和第二列的功能。
注意:i 从0 开始取值,而 j 从1 开始。a 为关联数组,b 为顺序数组。
7.多输入文件和 NR、FNR 的实例
a. awk ‘BEGIN{OFS=FS=”:”} NR==FNR{a[$1]=$2} NR>FNR{$2=a[$1];print}’
/etc/shadow  /etc/passwd

该语句中第一个模式匹配到第一个输入文件 shadow, 第二个模式匹配到第二个输入
文件 passwd,并使用关联数组,实现不同文件关联列的其他列值相互替换。
3
A.awk 对多输入文件的执行顺序是,先将代码作用于第一个文件(一行行读入) ,然
后该重复的代码又作用于第二个文件,再作用于第三个文件。
B.awk 对多输入文件的执行顺序产生了行序号的问题。当第一个文件执行完,下次读
入第二个文件,那么第二个文件的第一行怎么算呢?如果又计为 1 的话,那不就两
个 1 了么?(因为第一个文件也有第一行) 。这就是 NR 和 FNR 的问题。
NR :全局行数(第二个文件的第一行接着第一个文件尾行数顺序计数)
FNR:当前文件自身的行数(不考虑前几个输入文件的自身行数及总数)
例如:data1.txt 中有40 行,data2.txt 中有 50 行,那么 awk ‘{}’ data1.txt data2.txt
NR   的值依次为:1,2……40,41,42……90
FNR 的值依次为:1,2……40, 1, 2……50
8.重定向输出和特别函数 getline 实例
a.awk ‘{print FILENAME,$0}’ data1.txt data2.txt >data_all.txt
把第一个文件和第二个文件合并到 data_all.txt 中,新文件第一列为原始文件名,后
面列为原始文件内容。
b.awk ‘$1!=fd{close(fd);fd=$1} {print substr($0,index($0,“ ”)+1)>$1}’ data_all.txt
把合并后的新文件 data.txt 重新拆开成原来的两个子文件,依照新文件的第一列
来产生新文件名。生成一个完整子文件后,关闭之;再生成下一个子文件。
A.getline 从整体上来说,应这么理解它的用法:
当其左右无重定向符 |  或 <  时,getline 作用于当前文件,读入当前文件的第一行给
其后跟的变量 var  或$0(无变量) ;应该注意到,由于 awk 在处理 getline
之前已经读入了一行,所以 getline得到的返回结果是隔行的。
当其左右有重定向符 |  或 <  时,getline 则作用于定向输入文件,由于该文件是刚打
开,并没有被 awk 读入一行,只是 getline 读入,那么 getline返回的是该文
件的第一行,而不是隔行。
B.getline 用法大致可分为三大类(每大类又分两小类) ,即总共有 6 种用法。代码如下:
nawk ‘BEGIN{“cat data.txt”|getline d; print d}’ data2.txt
nawk ‘BEGIN{“cat data.txt”|getline; print $0}’ data2.txt
nawk ‘BEGIN{getline d < “data.txt”; print d}’ data2.txt
nawk ‘BEGIN{getline < “data.txt”; print $0}’ data2.txt
以上四行代码均实现“只打印 data.txt文件的第一行” (若打印全部行,用循环)
eg. nawk ‘BEGIN{FS=”:”;while(getline<”/etc/passwd”>0){print $1}}’ data.txt
nawk ‘{getline d; print d”#”$3}’ data.txt
awk首先读入第一行,接着处理getline函数,然后把下一行指定给变量d,再先打印
d,由于d后面有换行符,所以后面紧跟的#会覆盖d,后面的$3同样也会覆盖d。
nawk ‘{getline; print $0”#”$3}’ data.txt
awk 首先读入第一行接着处理 getline 函数,然后把下一行指定给$0,现在的$0 已经
是下一行内容,后面的#和$3(从$0中取)会覆盖$0的内容。
c.nawk ‘BEGIN{system(“echo /”input your name:/” ”);getline var; print “/nYour name  is”,d,”/n”}’
系统提示输入名字,然后将输入的名字打印出来。特别注意:该 awk 语句后没
有输入文件名,而是利用键盘输入作为文件名。
4

经  典  实  例

1.问题描述
有如下银行帐单部分文本,
200000000000007|shi yan city qi pei bu
202111320000018|hospital
200000000000007|shiyan city renmen road qi bei bu
201602520002941|middle school
200000000000007|mingfeng road qi pei
201602120000113|zhuanghuang factory
201602320000115|liangyou factory
要求:将第一列中重复的合并为一行,其第二列填入最长地址的那列
得到的结果应为:
200000000000007|shiyan city renmen road qi bei bu
202111320000018|hospital
201602520002941|middle school
201602120000113|zhuanghuang factory
201602320000115|liangyou factory
代码: (假设下面代码在文件 myawk..sh 中)

#!/usr/bin/nawk -f

BEGIN{FS=OFS=”|”; i=1;}
{  if(a[$1]==0){b[i]=$1;a[$1]=$2;i++}
if(length(a[$1])<length($2)){a[$1]=$2}
}
END{for(j=1;j<i;j++) print b[j],a[b[j]]
}
执行:myawk.sh data.txt

比较代码: (实现不全)

awk ‘BEGIN{FS=OFS=”|”} !(length(a[$1])>length($2)){a[$1]=$2}
END{for(i in a)print i,a[i]}’   data.txt

解释:此例中,用了两个数组,a 用来与$1 关联,b 用来顺序记录,使得在最后打印时
是完全按照$1 顺序打印。条件句首先判断数组元素是否是第一次写入,若非,则
比较当前$2值和以前储存的值长度。
功能不全代码不能顺序打印。当$1 有重复,而$2 长度第一次、第二次、第三次是
以递减的方式时,该代码应用得较好。但是,当$2 各次得到的长度不确定时,代
码不能实现上述功能。例如:本例中第 5 行的第二列若比第 3 行的第二列长度长
时,功能不全代码就不能实现要求。
5
2.问题描述:
有两个文件如下:

data1 文件内容:
1   0.5   100
10   15    36.5
data2 文件内容:
50   10    19
3.2   1    5
要求:得到一个新的文件,内容是 data1 和 data2 对应的列数字相加的和,新文件内容:
51  10.5   119
13.2  16    41.5
代码: (假设下面代码在文件 myawk..sh 中)

#!/usr/bin/nawk -f

{  for(i=1;i<=NF;i++) a[i]=$i;
getline < “data2.txt”
for(j=1;j<NF;j++) printf $j+a[j] “/t”
printf $NF+a[NF]“/n”
}
执行:myawk.sh data1.txt
解释:   上述代码用到了getline同时读入第二个文件的行内容并存入到$0中, 最后用printf
来实现相加后的打印。注意后面同时紧跟打印了/t 和/n,以用来列之间的分隔和
行之间的分隔。此外,也可以用 print来实现,但是 print 每执行完一次都要换行,
(当然可以用 OFS 来进一步处理) 。
实际上也可以用另外一种办法来实现,就是用 NR、FNR 比较,然后分别将两个
文件赋值给不同的数组,然后相加。当然代码就没有上述代码简练。

3.问题描述
有两个如下文件:

data2.txt  文件内容如下:
01 1111  AAA  WW001  $$$$  1000.00
02 2222  BBB  GG001  %%%%  2000.00
03 3333  CCC  JJ001  ****  3000.00
04 4444  DDD  FF002  &&&&  4000.00
05 5555  EEE  RR002  @@@@  5000.00
06 666   FFF  UU003  JJJJ  6000.00
07 777   III  II005  PPPP  7000.00
08 8888  TTT  TT008  TTTT  8000.00
data1.txt  文件内容如下:
AAA  001  1000.00
BBB  001  2000.00
DDD  002  4000.00
EEE  002  5000.00
FFF  003  6000.00
data1 的第 1列、最后一列和 data2 的第 3 列、最后一列是相同的,
data1 的第 2列和 data2 的第 4 列的后3 位是相同的。
要求:data2中第三列、第四列后 3位、第六列完全和 data1相同的取出来得到新文件如
下内容:
6
01 1111  AAA  WW001  $$$$  1000.00
02 2222  BBB  GG001  %%%%  2000.00
04 4444  DDD  FF002  &&&&  4000.00
05 5555  EEE  RR002  @@@@  5000.00
06 666   FFF  UU003  JJJJ  6000.00
代码:

nawk ‘NR<=FNR {a[$1]=$1″x”$2″x”$3}
NR>FNR  { b=substr($4,3);
c=$3″x”b”x”$6;
if(c==a[$3]) print}’ data1.txt   data2.txt
执行:直接执行上述代码
解释:本例巧妙地利用了组合字符串(用 x 来组合) ,然后用来比较。
当 NR<=FNR 时,处理第一个文件,当 NR>FNR 时,处理第二个文件。