shell脚本三剑客之awk

shell脚本三剑客之awk

前言

awk是一个非常棒的数据处理工具，相较于sed常常作用于一整行的处理，awk则比较倾向于一行当中分成数个字段来处理，因此，awk相当适合处理小型的文本数据。

一、awk工具介绍

1）AWK 是一种处理文本文件的语言，是一个强大的文本分析工具。

2）它是专门为文本处理设计的编程语言，也是行处理软件，通常用于扫描、过滤、统计汇总工作

3）数据可以来自标准输入也可以是管道或文件

4）之所以叫 AWK 是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。

1.1、基本格式

awk [选项参数] 'script' var=value file(s)或awk [选项参数] -f scriptfile var=value file(s)

1.2、工作原理

当读到第一行时，匹配条件，然后执行指定动作，再接着读取第二行数据处理，不会默认输出

如果没有定义匹配条件默认是匹配所有数据行，awk隐含循环，条件匹配多少次动作就会执行多少次

逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。

sed命令常用于一整行的处理，而awk比较、倾向于将一行分成多个""字段"然后再进行处理。awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。在使用awk命令的过程中,可以使用逻辑操作符" &&"表示"与"、"||表示"或"、"!"表示非";还可以进行简单的数学运算，如+、一、*、/、%、^分别表示加、减、乘、除、取余和乘方。

1.3、awk的内置变量

二、用法示例：

为了可以跟好的做实验这边从/etc/passwd里面的数据调取了前10行打印了出来

第二种的查看方式：

2.1、打印文本内容

2.1.1、awk默认把这一行当做一列，因为没有被空格分隔，awk默认以空格或tab键分隔

2.1.2、冒号为分隔符显示分隔之后的第五列

2.1.3、用x作为分隔符

2.1.4、以冒号为分隔符打印第一和第五列，逗号有空格效果

2.1.5、用制表符作为分隔符输出

2.1.6、定义多个分隔符，只要看到其中一个都算作分隔符

2.1.7、awk的组合用法打印磁盘使用情况（用“|”管道符号）

2.2、awk常用内置变量

2.2.1、打印包含root的整行内容（“/root/”中两个/ /代表包含）

2.2.2、打印包含root的行的第一列和第六列

2.2.3、显示root那一行的总列数

2.2.4、打印每一行的列数

2.2.5、打印出以冒号分割的整行和行号

2.2.6、打印第二行，不加print也一样，默认就是打印

2.2.7、打印第二行的第一列

2.2.8、打印总行数

END一般用来做汇总操作，仅在读取完数据记录之后执行一次

2.2.9、第几行有几列

2.2.10、扩展生产：网卡的ip、流量

ip

字节流量

根分区的可用量

2.3、awk的运算

2.3.1、如果不用引号awk就当作一个变量来输出了，所以不需要加$了

BEGIN一般用来做初始化操作，仅在读取数据记录之前执行一次

2.3.2、^和**都是幂运算（x平方）

2.3.3、乘法和除法运算

2.3.4、模糊匹配，只要有ro就匹配上

2.4、数值与字符串的比较

比较符合包括比较符号：== != <= >= < >

2.4.1、第五行打印出来

2.4.2、第三列数大于等于1000的打印出来

2.4.3、精确匹配一定是root

2.4.4、第三列大于等于1000的打印出来

2.5、逻辑运算 &&  ||

2.5.1、$3小于10或大于等于1000的打印出来

2.5.2、行号大于4且行号小于12（范围5-11） 的打印出来

2.5.3、7整除的数且包含7的打印出来

三、其他内置变量

3.1.1、分割字段：来打印一列

3.1.2、分割，输出的字段分隔符用-------代替，打印第一和第二列

3.1.3、以点分割打印一行，进行换行打印

3.1.4、空格分割 打印一整行

3.2、awk高级用法

[root@KY19 ~]# a=200[root@KY19 ~]# awk -v b="$a" 'BEGIN{print b}' //将系统的变量a，在awk里赋值为变量b，然后调用变量b200[root@KY19 ~]# awk 'BEGIN{print "'$a'"}' //直接调用的话需要先用双引号再用单引号200

3.2.1、调用函数getline，读取一行数据的时候并不是得到当前行而是当前行的下一行

3.2.2、 显示偶数行

3.2.3、显示奇数行

四、if语句：awk的if语句也分为单分支、双分支和多分支

单分支为if(){}双分支为if(){}else{}多分支为if(){}else if(){}else{}

第三列小于10的全部打印，第三列不在范围的则打印第一列

生产环境用到的小秘密：

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。