Linux三剑客之awk命令

awk其名称得自于它的创始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首个字母。实际上 AWK 的确拥有自己的语言: AWK 程序设计语言 , 三位创建者已将它正式定义为“样式扫描和处理语言”。它允许您创建简短的程序,这些程序读取输入文件、为数据排序、处理数据、对输入执行计算以及生成报表,还有无数其他的功能。

awk 是一种很棒的语言,它适合文本处理和报表生成,其语法较为常见,借鉴了某些语言的一些精华,如 C 语言等。在 linux 系统日常处理工作中,发挥很重要的作用,掌握了 awk将会使你的工作变的高大上。 awk 是三剑客的老大,利剑出鞘,必会不同凡响。

尽管操作可能会很复杂,但语法总是这样,其中 pattern 表示 AWK 在数据中查找的内容,而 action 是在找到匹配内容时所执行的一系列命令。花括号({})不需要在程序中始终出现,但它们用于根据特定的模式对一系列指令进行分组。 pattern就是要表示的正则表达式,用斜杠括起来。

awk语言的最基本功能是在文件或者字符串中基于指定规则浏览和抽取信息,awk抽取信息后,才能进行其他文本操作。完整的awk脚本通常用来格式化文本文件中的信息。

通常,awk是以文件的一行为处理单位的。awk每接收文件的一行,然后执行相应的命令,来处理文本。

通过一个简短的命令,我们来了解其工作原理。

你将会见到/etc/passwd 文件的内容出现在眼前。现在,解释 awk 做了些什么。调用 awk时,我们指定/etc/passwd 作为输入文件。执行 awk 时,它依次对/etc/passwd 中的每一行执行 print 命令。

所有输出都发送到 stdout,所得到的结果与执行 cat /etc/passwd 完全相同。
现在,解释{ print }代码块。在 awk 中,花括号用于将几块代码组合到一起,这一点类似于 C 语言。在代码块中只有一条 print 命令。在 awk 中,如果只出现 print 命令,那么将打印当前行的全部内容。
再次说明, awk 对输入文件中的每一行都执行这个脚本。

-F参数:指定分隔符,可指定一个或多个

print 后面做字符串的拼接

下面通过几实例来了解下awk的工作原理:

 

 

请从该文件中过滤出’Poe’字符串与33794712,最后输出的结果为:Poe 33794712

通常,对于每个输入行, awk 都会执行每个脚本代码块一次。然而,在许多编程情况中,可能需要在 awk 开始处理输入文件中的文本之前执行初始化代码。对于这种情况, awk 允许您定义一个 BEGIN 块。

因为 awk 在开始处理输入文件之前会执行 BEGIN 块,因此它是初始化 FS(字段分隔符)变量、打印页眉或初始化其它在程序中以后会引用的全局变量的极佳位置。
awk 还提供了另一个特殊块,叫作 END 块。 awk 在处理了输入文件中的所有行之后执行这个块。通常, END 块用于执行最终计算或打印应该出现在输出流结尾的摘要信息。

count是自定义变量。之前的action{}里都是只有一个print,其实print只是一个语句,而action{}可以有多个语句,以;号隔开。这里没有初始化count,虽然默认是0,但是妥当的做法还是初始化为0:

如果以M为单位显示:

 

判断表达式 a>2&&b>1为真还是为假,后面的表达式同理

如: > < 可以作为字符串比较,也可以用作数值比较,关键看操作数如果是字符串就会转换为字符串比较。两个都为数字 才转为数值比较。字符串比较:按照ascii码顺序比较

说明,所有用作算术运算符进行操作,操作数自动转为数值,所有非数值都变为0

这里的a++ , ++a与javascript语言一样:a++是先赋值加++;++a是先++再赋值

 注:内置变量很多,参阅相关资料

FS=”\t” 一个或多个 Tab 分隔

FS=”[[:space:]+]” 一个或多个空白空格,默认的

FS=”[” “:]+” 以一个或多个空格或:分隔

字段数量 NF

记录数量 NR

RS 记录分隔符变量
FS 设置成“\n”告诉 awk 每个字段都占据一行。通过将 RS 设置成“”,还会告诉 awk每个地址记录都由空白行分隔

OFS 输出字段分隔符

ORS 输出记录分隔符

规则表达式

awk ‘/REG/{action} ‘ file,/REG/为正则表达式,可以将$0 中,满足条件的记录送入到:action 进行处理

布尔表达式
awk ‘布尔表达式{action}’ file 仅当对前面的布尔表达式求值为真时awk 才执行代码块。

awk 提供了非常好的类似于 C 语言的 if 语句。

使用 if 语句还可以将代码:

转换成:

我们已经看到了 awk while 循环结构,它等同于相应的 C 语言 while 循环。 awk 还有“do…while”循环,它在代码块结尾处对条件求值,而不像标准 while 循环那样在开始处求值。

它类似于其它语言中的“repeat…until”循环。以下是一个示例:
do…while 示例

与一般的 while 循环不同,由于在代码块之后对条件求值, “do…while”循环永远都至少执行一次。换句话说,当第一次遇到普通 while 循环时,如果条件为假,将永远不执行该循环。

awk 允许创建 for 循环,它就象 while 循环,也等同于 C 语言的 for 循环:

以下是一个简短示例:

此段代码将打印:

此外,如同 C 语言一样, awk 提供了 break continue 语句。使用这些语句可以更好地控制 awk 的循环结构。以下是迫切需要 break 语句的代码片断:

以下是一个只执行十次的循环:

这里, break 语句用于“逃出”最深层的循环。 “break”使循环立即终止,并继续执行循环代码块后面的语句。
continue 语句补充了 break,其作用如下:

这段代码打印“iteration1”“iteration21”“iteration4”除外。如果迭代等于 4,则增加 x并调用 continue 语句,该语句立即使 awk 开始执行下一个循环迭代,而不执行代码块的其余部分。如同 break 一样,

continue 语句适合各种 awk 迭代循环。在 for 循环主体中使用时, continue 将使循环控制变量自动增加。以下是一个等价循环:

while 循环中时,在调用 continue 之前没有必要增加 x,因为 for 循环会自动增加 x

AWK 中的数组都是关联数组,数字索引也会转变为字符串索引

for…in 输出,因为数组是关联数组,默认是无序的。所以通过 for…in 得到是无序的数组。如果需要得到有序数组,需要通过下标获得。

awk 中查看服务器连接状态并汇总

统计 web 日志访问流量,要求输出访问次数,请求页面或图片,每个请求的总大小,总访问流量的大小汇总

替换

查找

匹配查找

截取

分割

 

原文链接:https://www.cnblogs.com/ginvip/p/6352157.html

原创文章,作者:优速盾-小U,如若转载,请注明出处:https://www.cdnb.net/bbs/archives/33455

(0)
优速盾-小U的头像优速盾-小U
上一篇 2025年9月19日 09:00
下一篇 2025年9月20日 09:13

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

优速盾注册领取大礼包www.cdnb.net
/sitemap.xml