Linux Shell三剑客之awk，功能强大的文本处理工具

awk命令初学时没有主要思路，不清楚具体功能，很容易沉迷在指令参数的海洋里，而且，awk还支持循环、判断，相当于学习一门小型编程语言，学习难度比较高。

对于大多数人来说，理解能力都差不多，按照本文案例流程，在自己的linux上敲一遍，和结果对比，检查是否一致，就很容易理解了。

用手学Linux

不求面面俱到，只求初步掌握，熟练后再搭配其他指令灵活运用。

awk简介

awk是Linux Shell中一种非常强大的文本处理工具，数据可以来自标准输入或者管道；

awk不仅仅是一个命令，更是一门编程语言，支持选择结构、循环结构、以及丰富的逻辑运算符，便于进行复杂的文本处理；

 

awk按照行处理文本，逐行扫描，默认从第一行到最后一行，找到匹配到特定行，并进行相关操作；

awk分别代表其作者姓氏的第一个字母。因为它的作者是三个人，分别是Alfred Aho、Brian Kernighan、Peter Weinberger。

语法格式：

awk 选项 'commands' 文件名常用选项：-F 定义字段分割符号，默认的分隔符是空格-v 定义变量并赋值

 

-F: 是以:将源文件分隔

/root/匹配源文件中包括root的行，打印出文件名，如果不进行匹配，则源文件有多少行就打印出多少行文件名

$0打印出匹配到行的全部内容

awk内置变量

变量

变量说明

$0

当前处理行的所有记录

1,1,2,3...3...n

文件中每行以间隔符号分割的不同字段

NF

当前记录的字段数（列数）

$NF

最后一列

NR

行号

FS

定义间隔符

OFS

定义输出字段分隔符，默认空格

RS

输入记录分割符，默认换行

ORS

输出记录分割符，默认换行

FILENAME

当前输入的文件名

 

打印列数、最后一列、第1列、第2列、倒数第二列。

 

打印第1行到第5行。

 

用分号;分隔开两部分匹配规则，可以理解为或的关系，前面是匹配1-5行，后面是匹配以root开头的行，是前3行。一共输出8行。

格式化输入printf

 

%s字符串类型占位符，默认右对齐，前面加负号-左对齐。

awk中BEGIN...END使用

BEGIN：表示在程序开始前执行

END：表示所有文件处理完后执行

用法：'BEGIN{开始处理之前};{处理中};END{处理结束后}'

 

awk -F: 'BEGIN{print "NAMEtDIRtSHELLn***************************************"}{printf "%-10s %-10s %-10sn",$1,$(NF-1),$NF}END{print "****************************************"}' input.txt间隔符

 

BEGIN{FS=":"}相当于使用选项-F:

 

OFS输出间隔为两个制表符t。

 

输入内容以@分隔。

 

输出内容指定以"++++"分隔。

awk工作原理

1. awk使用一行作为输入，并将这一行赋给内部变量$0，每一行也可称为一个记录，以换行符(RS)结束
2. 每行被间隔符(默认为空格或制表符)分解成字段，每个字段存储在已编号的变量中，从$1开始
3. 问：awk如何知道用空格来分隔字段的呢？
4. 答：因为有一个内部变量FS来确定字段分隔符。初始时，FS赋为空格。
5. awk使用print函数打印字段，打印出来的字段会以空格分隔，比如1,1,3之间有一个逗号，但是逗号比较特殊，它映射为另一个内部变量，称为输出字段分隔符OFS，OFS默认为空格。
6. awk处理完一行后，将从文件中获取另一行，并将其存储在$0中，覆盖原来的内容，然后将新的字符串分隔成字段并进行处理，该过程将持续到所有行处理完毕。

awk变量定义

 

 

调用awk中变量不需要加$。

逻辑运算符

 

使用或||运算符打印第1行和第4行。

 

匹配1-4行或者以hioiei开头的行。

流程控制

awk的流程控制和一般编程语言中的逻辑一样，包括选择结构和循环结构，用于处理复杂的命令逻辑。

if条件判断单分支结构：{if(表达式){语句1;语句2;...}}

 

双分支结构：{if(表达式)｛语句;语句;...｝else｛语句;语句;...}}

 

多分支结构：{ if(表达式1)｛语句;语句；...｝else if(表达式2)｛语句;语句；...｝else if(表达式3)｛语句;语句；...｝else｛语句;语句；...｝}

 

循环结构

 

while循环打印1-10

 

for循环打印1-10并求和，结果55。

 

break跳出整个循环，continue跳出本次循环，继续进入下一次循环，由于本次结束后，i并没有加1，因此程序一直卡住。

思考，如何调整循环体的顺序？使得跳出本次循环后，进入下一次循环。

算术运算

 

awk按照浮点数进行数学运算。

脚本运行

 

#!/usr/bin/awk -fBEGIN{FS=":"}NR=1,NR=3{print $1"t"$NF}

运行：

1.awk -f awk.sh input.txt2.awk -f awk.sh input.txt

 

• 什么是Linux系统？我们是否要用Linux
• 学习Linux命令行，用手就行！
• Linux神之编辑器VIM，史上最强编辑器！
• Linux系统虚拟机和云服务配置，快速搭建学习环境
• Linux系统虚拟机和云服务配置，快速搭建学习环境
• Linux tmux终端复用器，远程指令再也不会中断了！
• 远程登录Linux服务器，SSH加密传输协议，一种更安全的协议
• Linux如何新建用户，支持多用户共同使用的操作系统
• 什么是C++编程，经久不衰的老牌编程语言
• 什么是C++变量，就是存储数据的盒子