Linux基础命令介绍八:文本分析awk

系统 Linux
awk是一种模式扫描和处理语言,在对数据进行分析处理时,是十分强大的工具。awk的工作过程是这样的:按行读取输入(标准输入或文件),对于符合模式pattern的行,执行action。当pattern省略时表示匹配任何字符串;当action省略时表示执行'{print}';它们不可以同时省略。

[[179646]] 

awk是一种模式扫描和处理语言,在对数据进行分析处理时,是十分强大的工具。

 

  1. awk [options] 'pattern {action}' file... 

awk的工作过程是这样的:按行读取输入(标准输入或文件),对于符合模式pattern的行,执行action。当pattern省略时表示匹配任何字符串;当action省略时表示执行'{print}';它们不可以同时省略。

每一行输入,对awk来说都是一条记录(record),awk使用$0来引用当前记录:

  1. [root@centos7 ~]# head -1 /etc/passwd | awk '{print $0}' 
  2. root:x:0:0:root:/root:/bin/bash 

 

例子中将命令head -1 /etc/passwd作为awk的输入,awk省略了pattern,action为print $0,意为打印当前记录。

对于每条记录,awk使用分隔符将其分割成列,***列用$1表示,第二列用$2表示...***一列用$NF表示

选项-F表示指定分隔符

如输出文件/etc/passwd***行***列(用户名)和***一列(登录shell):

  1. [root@centos7 ~]# head -1 /etc/passwd | awk -F: '{print $1,$NF}' 
  2. root /bin/bash 

 

当没有指定分隔符时,使用一到多个blank(空白字符,由空格键或TAB键产生)作为分隔符。输出的分隔符默认为空格。

如输出命令ls -l *的结果中,文件大小和文件名:

  1. [root@centos7 temp]# ls -l * | awk '{print $5,$NF}' 
  2. 13 b.txt 
  3. 58 c.txt 
  4. 12 d.txt 
  5. 0 e.txt 
  6. 0 f.txt 
  7. 24 test.sh 
  8. [root@centos7 temp]#  

 

还可以对任意列进行过滤:

  1. [root@centos7 temp]# ls -l *|awk '$5>20 && $NF ~ /txt$/' 
  2. -rw-r--r-- 1 nobody nobody 58 11月 16 16:34 c.txt 

 

其中$5>20表示第五列的值大于20;&&表示逻辑与;$NF ~ /txt$/中,~表示匹配,符号//内部是正则表达式。这里省略了action,整条awk语句表示打印文件大小大于20字节并且文件名以txt结尾的行。

awk用NR表示行号

  1. [root@centos7 temp]# awk '/^root/ || NR==2' /etc/passwd 
  2. root:x:0:0:root:/root:/bin/bash 
  3. bin:x:1:1:bin:/bin:/sbin/nologin 
  4. [root@centos7 temp]# 

 

例子中||表示逻辑或,语句表示:输出文件/etc/passwd中以root开头的行或者第二行。

在一些情况下,使用awk过滤甚至比使用grep更灵活

如获得ifconfig的输出中网卡名及其对应的mtu值

  1. [root@idc-v-71253 ~]# ifconfig|awk '/^\S/{print $1"\t"$NF}' 
  2. ens32:  1500 
  3. ens33:  1500 
  4. lo:     65536 
  5. [root@idc-v-71253 ~]#  
  6. #这里的正则表示不以空白字符开头的行,输出内容中使用\t进行了格式化。 

 

#这里的正则表示不以空白字符开头的行,输出内容中使用\t进行了格式化。

以上所说的NR、NF等都是awk的内建变量,下面列出部分常用内置变量

  1. $0          当前记录(这个变量中存放着整个行的内容) 
  2. $1~$n       当前记录的第n个字段,字段间由FS分隔 
  3. FS          输入字段分隔符 默认是空格或Tab 
  4. NF          当前记录中的字段个数,就是有多少列 
  5. NR          行号,从1开始,如果有多个文件话,这个值也不断累加。 
  6. FNR         输入文件行号 
  7. RS          输入的记录分隔符, 默认为换行符 
  8. OFS         输出字段分隔符, 默认也是空格 
  9. ORS         输出的记录分隔符,默认为换行符 
  10. FILENAME    当前输入文件的名字 

 

awk中还可以使用自定义变量,如将网卡名赋值给变量a,然后输出网卡名及其对应的RX bytes的值(注意不同模式匹配及其action的写法):

  1. [root@idc-v-71253 ~]# ifconfig|awk '/^\S/{a=$1}/RX p/{print a,$5}' 
  2. ens32: 999477100 
  3. ens33: 1663197120 
  4. lo: 0 

 

awk中有两个特殊的pattern:BEGIN和END;它们不会对输入文本进行匹配,BEGIN对应的action部分组合成一个代码块,在任何输入开始之前执行;END对应的action部分组合成一个代码块,在所有输入处理完成之后执行。

  1. #注意类似于C语言的赋值及print函数用法 
  2. [root@centos7 temp]# ls -l *|awk 'BEGIN{print "size name\n---------"}$5>20{x+=$5;print $5,$NF}END{print "---------\ntotal",x}' 
  3. size name 
  4. --------- 
  5. 58 c.txt 
  6. 24 test.sh 
  7. --------- 
  8. total 82 
  9. [root@centos7 temp]# 

 

awk还支持数组,数组的索引都被视为字符串(即关联数组),可以使用for循环遍历数组元素

如输出文件/etc/passwd中各种登录shell及其总数量

  1. #注意数组赋值及for循环遍历数组的写法 
  2. [root@centos7 temp]# awk -F ':' '{a[$NF]++}END{for(i in a) print i,a[i]}' /etc/passwd 
  3. /bin/sync 1 
  4. /bin/bash 2 
  5. /sbin/nologin 19 
  6. /sbin/halt 1 
  7. /sbin/shutdown 1 
  8. [root@centos7 temp]#  

 

当然也有if分支语句

  1. #注意大括号是如何界定action块的 
  2. [root@centos7 temp]# netstat -antp|awk '{if($6=="LISTEN"){x++}else{y++}}END{print x,y}' 
  3. 6 3 
  4. [root@centos7 temp]#  

 

pattern之间可以用逗号分隔,表示从匹配***个模式开始直到匹配第二个模式

  1. [root@centos7 ~]# awk '/^root/,/^adm/' /etc/passwd        
  2. root:x:0:0:root:/root:/bin/bash 
  3. bin:x:1:1:bin:/bin:/sbin/nologin 
  4. daemon:x:2:2:daemon:/sbin:/sbin/nologin 
  5. adm:x:3:4:adm:/var/adm:/sbin/nologin 

 

还支持三目操作符pattern1 ? pattern2 : pattern3,表示判断pattern1是否匹配,true则匹配pattern2,false则匹配pattern3,pattern也可以是类似C语言的表达式。

如判断文件/etc/passwd中UID大于500的登录shell是否为/bin/bash,是则输出整行,否则输出UID为0的行:

  1. #注意为避免混淆对目录分隔符进行了转义 
  2. [root@centos7 ~]# awk -F: '$3>500?/\/bin\/bash$/:$3==0 {print $0}' /etc/passwd          
  3. root:x:0:0:root:/root:/bin/bash 
  4. learner:x:1000:1000::/home/learner:/bin/bash 
  5. #三目运算符也可以嵌套,例子略 

 

选项-f file表示从file中读取awk指令

  1. #打印斐波那契数列前十项 
  2. [root@centos7 temp]# cat test.awk  
  3. BEGIN
  4.     $1=1 
  5.     $2=1 
  6.     OFS="," 
  7.     for(i=3;i<=10;i++) 
  8.     { 
  9.         $i=$(i-2)+$(i-1) 
  10.     } 
  11.     print 
  12. [root@centos7 temp]# awk -f test.awk  
  13. 1,1,2,3,5,8,13,21,34,55 
  14. [root@centos7 temp]#  

 

选项-F指定列分隔符

 

  1. #多个字符作为分隔符时 
  2. [root@centos7 temp]# echo 1.2,3:4 5|awk -F '[., :]' '{print $2,$NF}' 
  3. 2 5 
  4. [root@centos7 temp]# 
  5. #这里-F后单引号中的内容也是正则表达式 

 

选项-v var=val设定变量

  1. #这里printf函数用法类似C语言同名函数 
  2. [root@centos7 ~]# awk -v n=5 'BEGIN{for(i=0;i<n;i++) printf "%02d\n",i}'   
  3. 00 
  4. 01 
  5. 02 
  6. 03 
  7. 04 
  8. [root@centos7 ~]#  

 

print等函数还支持使用重定向符>和>>将输出保存至文件

  1. #如按***列(IP)分类拆分文件access.log,并保存至ip.txt文件中 
  2. [root@centos7 temp]# awk '{print > $1".txt"}' access.log  
  3. [root@centos7 temp]# ls -l 172.20.71.* 
  4. -rw-r--r-- 1 root root 5297 11月 22 21:33 172.20.71.38.txt 
  5. -rw-r--r-- 1 root root 1236 11月 22 21:33 172.20.71.39.txt 
  6. -rw-r--r-- 1 root root 4533 11月 22 21:33 172.20.71.84.txt 
  7. -rw-r--r-- 1 root root 2328 11月 22 21:33 172.20.71.85.txt 

 

内建函数

length()获得字符串长度

 

  1. [root@centos7 temp]# awk -F: '{if(length($1)>=16)print}' /etc/passwd  
  2. systemd-bus-proxy:x:999:997:systemd Bus Proxy:/:/sbin/nologin 
  3. [root@centos7 temp]# 

 

split()将字符串按分隔符分隔,并保存至数组

  1. [root@centos7 temp]# head -1 /etc/passwd|awk '{split($0,arr,/:/);for(i=1;i<=length(arr);i++) print arr[i]}' 
  2. root 
  3. root 
  4. /root 
  5. /bin/bash 
  6. [root@centos7 temp]#  

 

getline从输入(可以是管道、另一个文件或当前文件的下一行)中获得记录,赋值给变量或重置某些环境变量

  1. #从shell命令date中通过管道获得当前的小时数 
  2. [root@centos7 temp]# awk 'BEGIN{"date"|getline;split($5,arr,/:/);print arr[1]}' 
  3. 09 
  4. #从文件中获取,此时会覆盖当前的$0。(注意逐行处理b.txt的同时也在逐行从c.txt中获得记录并覆盖$0,当getline先遇到eof时<即c.txt文件行数较少>将输出空行) 
  5. [root@centos7 temp]# awk '{getline <"c.txt";print $4}' b.txt  
  6. "https://segmentfault.com/blog/learnning" 
  7. [root@centos7 temp]#  
  8. #赋值给变量 
  9. [root@centos7 temp]# awk '{getline blog <"c.txt";print $0"\n"blog}' b.txt  
  10. aasdasdadsad 
  11. BLOG ADDRESS IS "https://segmentfault.com/blog/learnning" 
  12. [root@centos7 temp]#  
  13. #读取下一行(也会覆盖当前$0) 
  14. [root@centos7 temp]# cat file 
  15. anny 
  16. 100 
  17. bob 
  18. 150 
  19. cindy 
  20. 120 
  21. [root@centos7 temp]# awk '{getline;total+=$0}END{print total}' file 
  22. 370 
  23. #此时表示只对偶数行进行处理 

 

next作用和getline类似,也是读取下一行并覆盖$0,区别是next执行后,其后的命令不再执行,而是读取下一行从头再执行。

  1. #跳过以a-s开头的行,统计行数,打印最终结果 
  2. [root@centos7 temp]# awk '/^[a-s]/{next}{count++}END{print count}' /etc/passwd 
  3. [root@centos7 temp]#  
  4. #又如合并相同列的两个文件 
  5. [root@centos7 temp]# cat f.txt  
  6. 学号 分值 
  7. 00001 80 
  8. 00002 75 
  9. 00003 90 
  10. [root@centos7 temp]# cat e.txt  
  11. 姓名 学号 
  12. 张三 00001 
  13. 李四 00002 
  14. 王五 00003 
  15. [root@centos7 temp]# awk 'NR==FNR{a[$1]=$2;next}{print $0,a[$2]}' f.txt e.txt    
  16. 姓名 学号 分值 
  17. 张三 00001 80 
  18. 李四 00002 75 
  19. 王五 00003 90 
  20. #这里当读***个文件时NR==FNR成立,执行a[$1]=$2,然后next忽略后面的。读取第二个文件时,NR==FNR不成立,执行后面的打印命令 

 

sub(regex,substr,string)替换字符串string(省略时为$0)中***出现匹配正则regex的子串substr

  1. [root@centos7 temp]# echo 178278 world|awk 'sub(/[0-9]+/,"hello")' 
  2. hello world 
  3. [root@centos7 temp]# 

 

gsub(regex,substr,string)与sub()类似,但不止替换***个,而是全局替换

  1. [root@centos7 temp]# head -n5 /etc/passwd|awk '{gsub(/[0-9]+/,"----");print $0}'      
  2. root:x:----:----:root:/root:/bin/bash 
  3. bin:x:----:----:bin:/bin:/sbin/nologin 
  4. daemon:x:----:----:daemon:/sbin:/sbin/nologin 
  5. adm:x:----:----:adm:/var/adm:/sbin/nologin 
  6. lp:x:----:----:lp:/var/spool/lpd:/sbin/nologin 

 

substr(str,n,m)切割字符串str,从第n个字符开始,切割m个。如果m省略,则到结尾

  1. [root@centos7 temp]# echo "hello,世界!"|awk '{print substr($0,8,1)}' 
  2. 界 
  3. [root@centos7 temp]# 

 

tolower(str)和toupper(str)表示大小写转换

  1. [root@centos7 temp]# echo "hello,世界!"|awk '{A=toupper($0);print A}' 
  2. HELLO,世界! 
  3. [root@centos7 temp]# 

 

system(cmd)执行shell命令cmd,返回执行结果,执行成功为0,失败为非0

  1. #此处if语句判断和C语言一致,0为false,非0为true 
  2. [root@centos7 temp]# awk 'BEGIN{if(!system("date>/dev/null"))print "success"}' 
  3. success 
  4. [root@centos7 temp]#  

 

match(str,regex)返回字符串str中匹配正则regex的位置

  1. [root@centos7 temp]# awk 'BEGIN{A=match("abc.f.11.12.1.98",/[0-9]{1,3}\./);print A}' 
  2. [root@centos7 temp]#  

 

awk作为一个编程语言可以处理各种各样的问题,甚至于编写应用软件,但它更常用的地方是命令行下的文本分析,生成报表等,这些场景下awk工作的很好。工作中如经常有文本分析的需求,那么掌握这个命令的用法将为你节省大量的时间。

责任编辑:庞桂玉 来源: segmentfault
相关推荐

2019-03-21 14:30:15

Linux文本分析命令

2019-11-06 16:40:31

awkLinux文本分析工具

2021-03-06 07:00:00

awk文本分析工具Linux

2016-12-07 18:22:23

shelllinuxgrep

2016-11-15 15:50:22

linux基础命令vim

2016-12-23 13:07:11

shelllinuxsed

2016-12-08 22:26:28

2010-03-05 13:19:23

2020-07-07 10:50:19

Python丄则表达文本

2016-12-27 19:10:38

Linux命令启动流程

2016-12-29 11:13:30

shellbashlinux

2017-04-27 08:54:54

Python文本分析网络

2010-01-05 16:55:44

JSON 文本

2016-12-23 12:46:41

Linux命令进程与内存

2017-08-04 14:00:32

Linuxawk变量

2023-06-28 11:49:56

Linux命令

2016-12-27 19:29:14

Linux命令定时任务

2022-10-09 08:00:00

机器学习文本分类算法

2023-11-28 15:18:24

Python

2016-12-14 19:24:41

点赞
收藏

51CTO技术栈公众号