awk简介

编程
目录
  1. awk程序结构
    1. awk编程
  2. awk中使用shell命令

于sed工具类似，awk是一种优秀的行文本处理工具。其具有内置的变量和函数，可以进行正则表达式的匹配，流程控制，数学运算。事实上，可以说awk是一种编程语言。

awk程序结构

任何awk语句都由模式(pattern)及动作(action)组成。其中模式是一组用于测试输入行是否需要执行动作的规则，动作则是找到匹配内容后的执行动作（包含语句、函数和表达式的执行过程）。调用方式
awk [-F field-separator] ‘pattern{action}’ filename
其中，pattern和action都可以省略不写。无pattern默认匹配全部的记录；而无action则是打印原始记录。简单的AWK表达式之外，pattern可以是BEGIN或END；这两种条件对应的action分别是读取所有的记录之前和之后。 filename可以用｜输入替代。

几个概念

  1. BEGIN 及 END 语句
    awk定义了两个特殊字段BEGIN和END，分别在程序开始前和结束前执行，相当于类的构造及析构函数。
    awk的执行过程： 执行BEGIN语句，然后按行处理输入文本，最后执行END语句。
  2. 记录和域
    awk 认为纪录是结构化的，awk将输入文件按行处理，行中每个字符串定义为域，域中用分隔符分隔(通常以空格或, :等分隔)，如： 
1
2
lrwxr-xr-x     1 root         wheel      8 Jun 26  2016 bin
lrwxr-xr-x     1 root         wheel      8 Jun 26  2016 include

上面的输入有2行，每行有9个域
域在awk中用$N表示，其中N＝1、2…, $0表示整条纪录

awk编程

  • awk 内置变量
    AWK的内建变量包括域变量，例如$1, $2, $3，以及$0。这些变量给出了记录中域的内容。 内建变量也包括一些其他变量：
1
2
3
4
5
6
7
8
- NR：已输入记录的条数。
- NF：当前记录中域的个数。记录中最后一个域可以以$NF的方式引用。
- FILENAME：当前输入文件的文件名。
- FS：“域分隔符”，用于将输入记录分割成域。其默认值为“空白字符”，即空格和制表符。FS可以替换为其它字符，从而改变域分隔符。
- RS：当前的“记录分隔符”。默认状态下，输入的每行都被作为一个记录，因此默认记录分隔符是换行符。
- OFS：“输出域分隔符”，即分隔print命令的参数的符号。其默认值为空格。
- ORS：“输出记录分隔符”，即每个print命令之间的符号。其默认值为换行符。
- OFMT：“输出数字格式”（Format for numeric output），其默认值为"%.6g"。
  • 函数
    awk内置和很多函数，当然也可以自定义函数，示例如下：
1
2
3
4
5
6
awk '
function add_three (number) {
  return number + 3
}
BEGIN {result=add_three(1); print result}
'

上面的例子输出4.

  • awk脚本
    可以使用awk脚本的方式来执行awk命令，awk脚本模版如下，与命令行方式类似： 
1
2
3
4
#! /bin/awk -f
BEGIN{}
{}
END{}
  • 匹配
    可以使用 
1
awk 'BEGIN {FS=","} {if($1~/xxx/) print $2 >>data.txt}' filename

来提取匹配的域，其中xxx为匹配的正则表达式

  • 格式化
    可以使用printf来代替print，输出格式化的文本。格式符和c语言类似，常用的为％d，％s，

  • 循环及条件语句
    awk中的循环语句同样借鉴于C语言，支持while、do/while、for、break、continue，这些关键字的语义和C语言中的语义完全相同。

条件语句为if/else，与C语言也相同

awk中使用shell命令

  1. 通过getline函数，获取命令执行结果

通过在awk内使用管道,可以把shell命令的输出传送给awk

1
2
$ awk 'BEGIN{ "date" | getline date; print date; }'
Sat Jul  8 22:04:20 HKT 2017

如果不使用管道，则getline默认从标准输入读取输入字符，这时不能当命令执行；
可以使用<，让getline从文件中读取内容

  1. 使用awk内置system函数
1
awk 'BEGIN{system("ls -l")}'

执行结果如下：

1
2
3
4
5
6
total 16
lrwxr-xr-x     1 root         wheel      8 Jun 26  2016 X11 -> /opt/X11
lrwxr-xr-x     1 root         wheel      8 Jun 26  2016 X11R6 -> /opt/X11
drwxr-xr-x     3 root         wheel    102 Feb 27  2016 adic
drwxr-xr-x  1055 root         wheel  35870 Jun 19  2016 bin
...

搭配getline使用，则为：

1
awk 'BEGIN{while(system("ls -l") | getline line) {print line}}'

  1. 使用awk print出要执行的命令，然后交给/bin/bash处理
1
awk 'BEGIN{print "ls -l"|"bash"}'

以下是一篇比较好的文章，可供参考：
linux awk命令详解
awk官方文档

注意：
可以将awk命令写在文件中，然后用awk -f awk-script-file filename 方式执行，其中脚本中的#!/bin/sh改为#!/bin/awk
当变量不从管道输入awk时，awk无法引用已经定义的变量

本站总访问量次