AWK

awk:报告生成器,格式化文本输出

        处理方式:文件里有多行,awk处理时,先将第一行放到内存里面,然后将该行分割成列(字段),第一个字段叫$1,第二个字段$2,以此类推,$0代表整行。

        基本用法:

                awk [option] 'program' var=value file…..

                awk [option] -f programfile var=value file……

                awk [option] 'BEGIN{action;….} parttern{action;…..}END{action;……}' file

                                语句之间要用“”;”分号分割

                awk 程序通常由:BEGIN语句块、能够使用模式匹配的通用语句块、END语句块,共3部分组成

         option:

                    -F :指明输入时用到的字符分隔符(不指明系统默认空白或tab为分隔符)

                    -v: var=value 自定义变量

        

             1、print item1,item2….

                            不同item之间要用“”,“”逗号作为分隔符,且输出显示时用空格隔开

                            如果此处省略item,则相当于print $0,文件有多少行,则打印多少个行

                            输出的item可以是字符串,也可以是数值,当前记录的字段,变量或awk的表达式

            

             2、变量

                            内置变量:

                                    FS:input field seperator 输入字段分隔符,默认为空白符

        awk -v FS=":" '{print $1,$3}' /etc/passwd  等同于 awk -F: '{print $1,$3}' /etc/passwd

                                    OFS:output field seperator 输出字段分隔符,默认空白符

        awk -F: -v OFS="----" '{print $1,$3}' /etc/passwd        
        xixi----3015
        aa----3016
        apache----48

                                    RS:input record seperator 输入时的换行符

                                    ORS:output record seperator 输出时的换行符

                                    NF:number of field,字段数量

                                                print NF:打印字段数量   print $NF:打印最后一个字段

        awk -F: '{print NF}' /etc/passwd        
        7
        ...
        7
        awk -F: '{print $NF}' /etc/passwd
        /bin/bash
        ....
        /sbin/nologin

                                    NR:number of record 行号

            root@centos7.2  ~ # awk -F: '{print NR,$0}' /etc/fstab /etc/issue            
            1 
            .......
            11 UUID=fca23b64-0367-45b2-ab0e-b391bbba6ec8 swap   swap    defaults   0 0
            12 \S
            ..........
            17 \n
            18 \t

                                    FNR:每个文件进行单独记录行号

            root@centos7.2  ~ # awk -F: '{print FNR,$0}' /etc/fstab /etc/issue            
            1 
            ......
            10 UUID=068d63ab-d4b7-4e1f-b00b-c182785fa85d /boot   xfs   defaults   0 0
            11 UUID=fca23b64-0367-45b2-ab0e-b391bbba6ec8 swap   swap    defaults        0 0
            1 \S
            ......
            6 \n
            7 \t

                                    FILENAME:显示文件名

            root@centos7.2  ~ # awk '{print FILENAME,$0}' /etc/issue            
            /etc/issue \S
            ........
            /etc/issue \n
            /etc/issue \t

                                    ARGC:命令行参数的个数

            root@centos7.2  ~ # awk '{print ARGC}' /etc/issue            
            2
            2
            2

                                    ARGV:数组,保存命令行中的各个参数,ARGV[0]

            root@centos7.2  ~ # awk '{print ARGV[0]}' /etc/issue            
            awk
            。。。。
            awk

                            自定义变量:

                                 a、-v var=value  注意变量名区分大小写

            root@centos7.2  ~ # awk -v a="superman" 'BEGIN{print a}{print a,$0}' /etc/issue            
            superman
            superman \S
            superman Kernel \r on an \m
            ........
            superman \t

                                b、在program直接定义

            root@centos7.2  ~ # awk 'BEGIN{a="superman";print a}'             
            superman

        

             3、printf命令:

                            格式化输出:printf format,item1,item2…….

                                 注意:format必须要给出

                                            不会自动换行,需要给出换行符"\n"

                                            format 中需要分别为后面的每个item指定一个格式化符号;

                                    格式符:

                                            %c:显示字符的ASCII码

                                            %d:显示十进制整数

                                            %f:显示为浮点数

                                            %e,%E:科学计数法数值显示

                                            %g,%G:以科学计数法或浮点形式显示数值

                                            %s:显示字符串

                                            %u:无符号整数

                                            %%:显示% 自身

                                    修饰符:

                                            #[.#]:第一个#数字用来控制显示的宽度,第二个#表示小数点后的精度

                                                       %3.1:右对齐          %-3.1:左对齐            %+3.1:显示数值的符号

            root@centos7.2  ~ # awk -F: '{printf "UserName:%-16s,Uid:%10d\n",$1,$3}' /etc/passwd
            UserName:root            ,Uid:         0
            UserName:bin             ,Uid:         1
            UserName:daemon          ,Uid:         2
            UserName:adm             ,Uid:         3

             4、操作符

                            算数操作符:  x+y,x-y,x*y,x/y,x^y,-x,+x:转换为数值

            root@centos7.2  ~ # awk 'BEGIN{print 4*5}'            
            20

                            字符串操作符:没有符号的操作符

                            赋值操作符: =,+=,-=,*=,/=,%=,^= ,++,–

            awk 'BEGIN{i+=5;print i}'

                            比较操作符:>,>=,<,<=,!=,==

                            模式匹配符:

                                                ~:是否匹配
                                                !~:左侧的字符串是否不能够被右侧的字符串匹配

            root@centos7.2  ~ # awk -F: '$0~/root/' /etc/passwd            
            root:x:0:0:root:/root:/bin/bash
            operator:x:11:0:operator:/root:/sbin/nologin
            root@centos7.2  ~ # awk -F: '$0~/^root/' /etc/passwd
            root:x:0:0:root:/root:/bin/bash
            root@centos7.2  ~ # awk -F: '$0~"root"' /etc/passwd
            root:x:0:0:root:/root:/bin/bash
            operator:x:11:0:operator:/root:/sbin/nologin
            root@centos7.2  ~ #
            root@centos7.2  ~ # awk -F: '$1=="root"' /etc/passwd
                        root:x:0:0:root:/root:/bin/bash

                            逻辑操作符:&&,||,!

            root@centos7.2  ~ # awk -F: '$3>=0 && $3<=1000 {print $1}' /etc/passwd
            root
            bin
            .......
            root@centos7.2  ~ # awk -F: '$3 ==0 || $3>=1000 {print $1}' /etc/passwd
            root
            nfsnobody
            .....
            root@centos7.2  ~ # awk -F: '!($3>=500) {print $3}' /etc/passwd
            0
            1
            2

                            函数调用:function_name(argu1,argu2,。。。)

                            条件表达式:

                                            selector?if-true-experssion:if-false-expression  注意第二个if前面是“”:“”冒号

            如果UID大于1000就显示为普通用户,否则显示为系统用户,并打印出用户名和uid            
            awk -F: '{$3>=1000?user="common user":user="system user";print user":"$1":"$3}' /etc/passwd

                     

             5、Pattern

                            1)empty:处理文本的每一行

                            2)/regular expression/:仅能够处理被此模式匹配到的行

            root@centos7.2  ~ # awk '/^UUID/{print $1}' /etc/fstab             
            UUID=5f2cc971-2611-46f5-a14c-9e730cd33aa0
            UUID=068d63ab-d4b7-4e1f-b00b-c182785fa85d
            UUID=fca23b64-0367-45b2-ab0e-b391bbba6ec8

                            3)relational expression:关系表达式:结果有真有假,如果为真才会处理,真表示结果为非0值,非空位真

            awk -F: '$3>=1000{print $3}' /etc/passwd
            awk -F: '$NF=="/bin/bash"{print $1,$NF}' /etc/passwd
            awk -F: '{if($NF=="/bin/bash")print $1}' /etc/passwd     ###if判断要放到{}里面
            awk -F: '$NF~/bash$/{print $1,$NF}' /etc/passwd

                            4)relational expression: 关系表达式;结果有“真”有“假”;结果为“真”才会被处理;
                                            真:结果为非0值,非空字符串
                                            假:结果为空字符串

            awk 'j=1{print $0};i=0{print i,j}' /etc/passwd   ###j=1的print动作会执行
            awk ‘!arr[$0]++’file 去除文件中的重复行
            root@centos7.2  ~ # seq 10 | awk 'i=!i'  ###打印基数行  awk !(i=!i) 打印偶数行
            1
            3
            5
            7
            9

                            4)地址定界:行范围

                                        startline,endline:/part1/,/part2/

         awk -F: '/^root/,/^naruto/{print $1,$NF}' /etc/passwd  注意不支持直接给出数字的格式
         awk -F: '(NR>=2&&NR<=10){print $1}' /etc/passwd 打印2-10行   ### 不带if的在{}外面判断
         上述表达式等同于awk -F: '{if(NR>=2&&NR<=10)print $1}' /etc/passwd

                            5)BEGIN/END模式

                                        BEGIN{}:仅在开始处理文件之前执行一次的程序

                                        END{}:仅在文件处理之后执行一次

awk -F: 'BEGIN{print " username  uid \n--"}{printf "%-10s  %s\n",$1,$3}END{print "---\nend"}' /etc/passwd

    

             6、常用的action

                            1)experssions 表达式
                            2)Control statements,if,while等
                            3) compund statements:组合语句;
                            4)input statements
                            5)output statement 输出语句

             7、控制语句

                            if(condition){statements}
                            if (condition){statements} else {statements}
                            while (condition){statments}
                            do {statements} while(condition)
                            for (expr1;expr2;expr3){statements}
                            break
                            continue
                            delete array [index]
                            delete array
                            exit

                    7.1 if-else

                            语法:if (condition)statement [else statement]

                            使用的场景:对awk取得的整行或某个字段做条件判断

            awk -F: '{if(NR>=2&&NR<=10)print $1}' /etc/passwd   ###if判断在{}里面
            awk -F: '{if($3>=1000) {printf "ComUser:%s\n",$1} else {printf "rootUser: %s\n",$1}}' /etc/passw
            
            awk -F: '{if($NF=="/bin/bash")print $1}' /etc/passwd
            awk -F: '{if(NF>5)print $0}' /etc/passwd 

            df | awk -F"%" '/^\/dev/{print $1}' | tr -d %|awk '{if($NF>=20)print $1}'

                                    注意:如有else 其两边都要加{}

                    7.2 while循环

                            语法:while(condition) statement,条件真进入循环,条件假退出

                            使用场景:对一行内的多个字段逐一类似处理时使用,对数组中的各个元素逐一处理时使用

            awk '/^[[:space:]]*linux16/{i=1;while(i<=NF) {print $i,length($i);i++}}' /etc/grub2.cfg
            awk '/^[[:space:]]*linux16/{i=1;while(i<=NF) {if(length($i)>=7)print $i,length($i);i++}}' /etc/grub2.cfg

                    7.3 do-while循环

                            语法:do statement while(condition)
                            意义:至少执行一次循环体

                    7.4 for循环

                            语法:for(expr1;expr2;expr3)statement

            awk '/^[[:space:]]*linux16/{for(i=1;i<=NF;i++) {print $i,length($i)}}' /etc/grub2.cfg

        

                    7.5 switch语法
                            语法:switch(expression) {case Value1 or /regexp/:statement;case\ value2 or /regexp2/:statement;….default:statement}

                    7.6 break和continue 用法同bash
                            break [n]

            root@centos7.2  ~ # awk 'BEGIN{sum=0;for(i=1;i<=100;i++){if(i==11){break}sum+=i}print sum}'            
            55

                            continue

            root@centos7.2  ~ # awk 'BEGIN{sum=0;for(i=1;i<=100;i++){if(i%2==0){continue}sum+=i}print sum}'            
            2500

                    7.7 next  能提前结束本行的处理,进入下一行

            awk -F: '{if($3%2!=0) next;print $1,$3}' /etc/passwd

                    7.8 性能比较  time(command)

            root@centos7.2  ~ # time (awk 'BEGIN{sum=0;for(i=1;i<=100000;i++){sum+=i};print sum}')            
            5000050000
            real    0m0.046s
            user    0m0.032s
            sys    0m0.014s

            root@centos7.2  ~ # time (sum=0;for((i=1;i<=100000;i++));do let sum=$[sum+i];done;echo $sum)
            5000050000
            real    0m1.085s
            user    0m1.042s
            sys    0m0.044s

    

            root@centos7.2  ~ # awk 'BEGIN{sum=0;for(i=1;i<=10000;i++){sum+=i}}{print }END{print sum}'            
            ##没有任何输出结果,等待输入,因为没有文本传入,且END是等待处理问文本之后才输出,所以在此处处于等待状态
            
            root@centos7.2  ~ # awk 'BEGIN{sum=0;for(i=1;i<=10000;i++){sum+=i}}{print }END{print sum}' /etc/passwd
            root:x:0:0:root:/root:/bin/bash
            .......
            apache:x:48:48:Apache:/usr/share/httpd:/sbin/nologin
            50005000

             8、array数组

                        关联数组:array[index-expression]
                                1)可以使用任意字符串;字符串要加双引号
                                2)如果某数组元素事先不存在,在引用时,awk自动创建此元素,并将其值初始化为“空串”

            root@centos7.2  ~ # awk 'BEGIN{weekdays["mon"]="monday";weekdays["tue"]="tuesday";print weekdays["tue"]}'
            tuesday

                        要遍历数组中的每个元素,要使用for循环,注意:var会遍历array的每个索引

                                    for(var in array )

            root@centos7.2  ~ # awk 'BEGIN{weekdays["mon"]="monday";weekdays["tue"]="tuesday";for(i in weekdays)print weekdays[i]}'            
            tuesday
            monday
            root@centos7.2  ~ # netstat -tan | awk '/^tcp\>/{state[$NF]++}END{for(i in state){print i,state[i]}}'
            LISTEN 4
            ESTABLISHED
            root@centos7.2  ~ # awk '{ip[$1]++}END{for(i in ip){print i,ip[i]}}' /var/log/httpd/access_log            
            192.168.1.101 56
            192.168.1.103 14
            ::1 10
            统计/etc/fstab文件中每个文件系统类型出现的次数
            awk '/^UUID/{fs[$3]++}END{for(i in fs){print i,fs[i]}}' /etc/fstab
            统计指定文件中每个单词出现的次数
            awk '{for(i=1;i<=NF;i++){count[$i]++}}END{for(i in count){print i,count[i]}}' /etc/fstab

             9、函数

                        内置函数
                                数值处理:
                                        rand():返回0和1 之间一个随机数,小数

            awk 'BEGIN{print rand()}' ### 第一次取随机的,之后再取,同上次一样
             awk 'BEGIN{srand();print rand()}'   ###如需每次取值都不一样需要调用srand()函数

                        字符串处理:
                                        length([s]):返回指定字符串的长度
                                        sub(r,s,[t]):以r表示的模式查找t所表示的字符串中的匹配的内容,并将其第一次出现替换为s所表示的内容
     

            root@centos7.2  ~ # echo "2008:08:08 08:08:08" | awk 'sub(/:/,"",$1)'
                        200808:08 08:08:08

            awk -F: '{print sub(o,O,$1)}' /etc/passwd

                                        gsub:表示全局替换
                                        split(s,a[,r]):以r为分隔符切割字符,并将切割后的结果保存在a所表示的数组中;

            netstat -tan | awk '/^tcp\>/{split($5,ip,":");count[ip[1]++]}END{for(i in count) {print i,count[i]}}'

                            

                        自定义函数

                                   格式:

                                        function name(parameter,parameter,……){

                                                 statements

                                                 return expression

                                        }

                                    示例:

            #cat fun.awk            
            function max(v1,v2) {
            v1>v2?var=v1:var=v2
            return var
            }
            END{a=3;b=2;print max(a,b)
            root@centos7.2  ~ # awk -f fun.awk
            3
            #!/bin/awk -f
             # 内容要写awk的语法,-f指定要读取文件内容
            function max(v1,v2) {
                 v1>v2?var=v1:var=v2
                 return var
            }
            BEGIN{a=3;b=2;print max(a,b);}
            root@centos7.2  ~ # ./fun.awk
            3
                        #!/bin/awk -f
                         # 内容要写awk的语法,-f指定要读取文件内容
                        function max(v1,v2) {
                             v1>v2?var=v1:var=v2
                             return var
                        }
                        BEGIN{print max(a,b);}
                        root@centos7.2  ~ # ./fun.awk -v a=100 -v b=200
                        200

               

                        awk中调用shell命令:

                                    system命令:

                                             空格是awk中的字符串连接符,如果system中需要使用awk中的变量可以使用空格分隔,或者说除了awk的变量外其他一律用""引用起来。

            awk 'BEGIN{system("hostname") }'            
            awk 'BEGIN{a=12; system("echo " a) }'

原创文章,作者:Naruto,如若转载,请注明出处:/47628

评论列表(1条)

  • 马哥教育
    马哥教育 2016-09-26 11:12

    awk是一个很方便的文本格式化工具,这也是以后面试题必会遇到的面试题,希望下来多加练习,熟练掌握.

联系我们

400-080-6560

在线咨询:点击这里给我发消息

邮件:1660809109@qq.com

工作时间:周一至周五,9:30-18:30,节假日同时也值班

友情链接:万达招商  万达娱乐招商QQ  guoqibee.com  万达娱乐主管  万达注册  测试  万达直属  万达娱乐直属  万达直属  万达主管