Linux學習方法攻略：shell中色彩處理和awk使用技巧

第二十四章 shell中色彩處理和awk使用技巧

本節所講內容：

24。1 shell中的色彩處理

24。2 awk基本應用

24。3 awk高階應用

24。1 Shell中的色彩處理

shell指令碼中echo顯示內容帶顏色顯示，echo顯示帶顏色，需要使用引數-e

格式1： echo -e “\033［背景顏色；文字顏色m 要輸出的字元 \033［0m”

格式2：echo -e “\e［背景顏色；文字顏色m要輸出的字元\e［0m”

例：綠底藍字

如圖：

注：其中42的位置代表底色，34的位置代表的是字的顏色，0m是關閉屬性

1、字背景顏色和文字顏色之間是英文的分號“；”

2、文字顏色後面有個m

3、字串前後可以沒有空格，如果有的話，輸出也是同樣有空格

4、echo顯示帶顏色，需要使用引數-e ，-e 允許對下面列出的加反斜線轉義的字元進行解釋。

控制選項：

\033［0m 關閉所有屬性

\033［1m 設定高亮度，加粗

\033［5m 閃爍

［root@xuegod63 ~］# echo -e “\e［42；34m hello world\e［5m” #執行後，發現後期所有輸出都閃爍狀態，如何關閉？

［root@xuegod63 ~］# echo -e “ \e［0m” #可以使用\e［0m 關閉所有屬性

［root@xuegod63 ~］# echo -e “ \033［0m” #可以使用\033［0m 關閉所有屬性

常見shell輸入帶顏色文字： 3x代表字的顏色，4x代表背景色

echo -e “\033［30m 黑色字 \033［0m”

echo -e “\033［31m 紅色字 \033［0m”

echo -e “\033［32m 綠色字 \033［0m”

echo -e “\033［33m 黃色字 \033［0m”

echo -e “\033［34m 藍色字 \033［0m”

echo -e “\033［35m 紫色字 \033［0m”

echo -e “\033［36m 天藍字 \033［0m”

echo -e “\033［37m 白色字 \033［0m”

echo -e “\033［40；37m 黑底白字 \033［0m”

echo -e “\033［41；37m 紅底白字 \033［0m”

echo -e “\033［42；37m 綠底白字 \033［0m”

echo -e “\033［43；37m 黃底白字 \033［0m”

echo -e “\033［44；37m 藍底白字 \033［0m”

echo -e “\033［45；37m 紫底白字 \033［0m”

echo -e “\033［46；37m 天藍底白字 \033［0m”

echo -e “\033［47；30m 白底黑字 \033［0m”

shell色彩應用實戰：

［root@xuegod63 ~］# echo -e “\033［31m 2。 部署apache環境 \033［0m” \

&& yum -y install httpd &> /dev/null \

&& systemctl start httpd \

&& echo -e “\033［42m apache啟動成功 \033［0m” || echo -e “\033［41m 啟動失敗！ \033［0m”

#安裝服務，部署開始時輸出紅色字型。部署成功並啟動服務後輸出綠底start字樣，失敗則輸出紅底error字樣。

24。2 awk基本應用

grep和egrep：文字過濾的

sed：流編輯器，實現編輯的

awk：文字報告生成器，實現格式化文字輸出

24。2。1 AWK基本概念

AWK是一種優良的文字處理工具，Linux及Unix環境中現有的功能最強大的資料處理引擎之一。這種程式設計及資料操作語言的最大功能取決於一個人所擁有的知識。awk命名：Alfred Aho Peter （阿爾弗雷德·霍彼得）、Weinberger（溫伯格）和brian kernighan（布萊恩·柯林漢）三個人的姓的縮寫。

awk——>gawk 即： gun awk

在linux上常用的是gawk，awk是gawk的連結檔案

man gawk——》pattern scanning and processing language 模式掃描和處理語言。

任何awk語句都是由模式和動作組成，一個awk指令碼可以有多個語句。模式決定動作語句的觸發條件和觸發時間。

模式：

正則表示式 ： /root/ 匹配含有root的行 /*。root/

關係表示式： < > && || + *

匹配表示式： ~ ！~

動作：

變數 命令 內建函式 流控制語句

它的語法結構如下：

awk ［options］ ‘BEGIN{ print “start” } ‘pattern{ commands }’ END{ print “end” }’ file

其中：BEGIN END是AWK的關鍵字部，因此必須大寫；這兩個部分開始塊和結束塊是可選的

特殊模組：

BEGIN語句設定計數和列印頭部資訊，在任何動作之前進行

END語句輸出統計結果，在完成動作之後執行

透過上面我們可以知道；AWK它工作透過三個步驟

1、讀：從檔案、管道或標準輸入中讀入一行然後把它存放到記憶體中

2、執行：對每一行資料，根據AWK命令按順序執行。預設情況是處理每一行資料，也可以指定模式

3、重複：一直重複上述兩個過程直到檔案結束

AWK支援兩種不同型別的變數：內建變數，自定義變數

awk內建變數：

$n 當前記錄的第n個欄位，比如： $1表示第一個欄位，$2表示第二個欄位

$0 這個變數包含執行過程中當前行的文字內容

FILENAME 當前輸入的檔名

FS 欄位分隔符（預設是空格）

NF 表示欄位數，在執行過程中對應於當前的欄位數，NF：列的個數

FNR 各檔案分別計數的行號

NR 表示記錄數，在執行過程中對應於當前的行號 ， NR ：行號

OFS 輸出欄位分隔符（預設值是一個空格）

ORS 輸出記錄分隔符（預設值是一個換行符）

RS 記錄分隔符（預設是一個換行符）

24。2。2 例項演示

常用的命令選項：

-F fs指定分隔符

-v 賦值一個使用者自定義變數

-f 指定指令碼檔案，從指令碼中讀取awk命令

（1）分隔符的使用

用法：-Ffs 其中fs是指定輸入分隔符，fs可以是字串或正則表示式；分隔符預設是空格

常見寫法：-F： -F， -F［Aa］

例1：

［root@xuegod63 ~］# echo “AA BB CC DD”|awk ‘{print $2}’

BB

［root@xuegod63 ~］# echo “AA|BB|CC|DD”|awk -F“|” ‘{print $2}’

BB

［root@xuegod63 ~］# echo “AA，BB，CC，DD”|awk -F“，” ‘{print $2}’

BB

［root@xuegod63 ~］# echo “AA，BB，CC，DD”|awk -F， ‘{print $2}’

BB

［root@xuegod63 ~］# awk -F： ‘{print $1}’ /etc/passwd #以：分隔，列印第1列使用者名稱

［root@xuegod63 ~］# cut -d： -f1 /etc/passwd

例2：指定多個分隔符

［root@xuegod63 ~］# echo “12AxAbADXaAD52” | awk -F“［aA］” ‘{print $1}’

12

例3：使用FS指定分隔符

［root@xuegod63 ~］# echo “12AxAbADXaAD52” | awk ‘BEGIN {FS=“aA”} {print $2}’

D52

例4：過濾出本系統的IP地址

［root@xuegod63 ~］# ifconfig ens33 | grep netmask

inet 192。168。1。63 netmask 255。255。255。0 broadcast 192。168。1。255

［root@xuegod63 ~］# ifconfig ens33 | grep netmask | awk ‘{print $2}’

192。168。1。63

（2）關係運算符的使用

例1：

［root@xuegod63 ~］# echo “3 2 3 4 5” > a。txt

［root@xuegod63 ~］# awk ‘{print $1+10}’ a。txt

13

例2：

［root@xuegod63 ~］# echo “one two three four” | awk ‘{print $4}’

four

［root@xuegod63 ~］# echo “one two three four” | awk ‘{print $NF}’

four

［root@xuegod63 ~］# echo “one two three four” | awk ‘{print $（NF-2）}’ #列印倒數第3列

two

［root@xuegod63 ~］# echo “one two three four” | awk ‘{print $（NF/2-1）}’

one

例2：打印出passwd檔案中使用者UID小於10的使用者名稱和它登入使用的shell

引數： $NF 最後一列

［root@xuegod63 ~］# awk -F： ‘$3<10{print $1 $NF}’ /etc/passwd #直接輸出格式太亂

root/bin/bash

bin/sbin/nologin

daemon/sbin/nologin

adm/sbin/nologin

lp/sbin/nologin

sync/bin/sync

shutdown/sbin/shutdown

halt/sbin/halt

mail/sbin/nologin

［root@xuegod63 ~］# awk -F： ‘$3<10{print $1 “<======>” $NF}’ /etc/passwd

#awk格式化輸出

root<======>/bin/bash

bin<======>/sbin/nologin

daemon<======>/sbin/nologin

在$1和$NF之間加一下\t tab

［root@xuegod63 ~］# awk -F： ‘$3<10{print $1“\t”$NF}’ /etc/passwd

注：awk 最外面使用了單引號‘’ ，裡面都使用雙引號“”

輸出多個列時，可以加，分隔一下。

［root@xuegod63 ~］# awk -F： ‘$3<10{print $1，$NF}’ /etc/passwd

例2：打印出系統中UID大於1000且登入shell是/bin/bash的使用者

［root@xuegod63 ~］# awk -F： ‘$3>=1000 && $NF==“/bin/bash”{print $1“\t”$NF}’ /etc/passwd

mk /bin/bash

（3）在指令碼中的一些應用

例：統計當前記憶體的使用率

［root@xuegod63 ~］#

［root@xuegod63 ~］# vim user_cache。sh

#！/bin/bash

echo “當前系統記憶體使用百分比為：”

USEFREE=`free -m | grep -i mem | awk ‘{print $3/$2*100“%”}’`

echo -e “記憶體使用百分比： \e［31m${USEFREE}\e［0m”

［root@xuegod63 ~］# bash user_cache。sh

24。3 awk高階應用

命令格式：

awk ［-F | -f | -v ］ ‘BEGIN {} / / {command1；command2} END {}’ filename

-F 指定分隔符

-f 呼叫指令碼

-v 定義變數

‘{}’ 引用程式碼塊

{…} 命令程式碼塊，包含一條或多條命令

BEGIN 初始化程式碼塊

/ str / 匹配程式碼塊，可以是字串或正則表示式

{print A；print B} 多條命令使用分號分隔

END 結尾程式碼塊

在awk中，pattern有以下幾種：

empty空模式，這個也是我們常用的

/regular expression/ 僅處理能夠被這個模式匹配到的行

例：列印以root開頭的行

［root@xuegod63 ~］# awk -F： ‘/^root/{print $0}’ /etc/passwd

root：x：0：0：root：/root：/bin/bash

3） 行範圍匹配 startline，endline

例1：輸出行號大於等於3且行號小於等於6的行

［root@xuegod63 ~］# awk -F： ‘（NR>=3&&NR<=6）{print NR，$0}’ /etc/passwd

3 daemon：x：2：2：daemon：/sbin：/sbin/nologin

4 adm：x：3：4：adm：/var/adm：/sbin/nologin

5 lp：x：4：7：lp：/var/spool/lpd：/sbin/nologin

6 sync：x：5：0：sync：/sbin：/bin/sync

內建變數的特殊用法：

$0 表示整個當前行

NF 欄位數量 NF（Number 數量 ； field 欄位） ；NF：列的個數

NR 每行的記錄號，多檔案記錄遞增 Record ［rek：d］ NR ：行號

\t 製表符

\n 換行符

~ 匹配

！~ 不匹配

-F‘［：#/］+’ 定義三個分隔符

例1：使用NR行號來定位，然後提取IP地址

注：這個思路很好，之前都是透過 過濾關鍵字來定位，這次是透過行號，多了一種思路

［root@xuegod63 ~］# ifconfig ens33 | awk ‘NR==2{print $2}’

192。168。1。63

注：NR==2 表示行號為第2行

例2：NR與FNR的區別

［root@xuegod63 ~］# awk ‘{print NR“\t” $0}’ /etc/hosts /etc/hostname

1 127。0。0。1 localhost localhost。localdomain localhost4 localhost4。localdomain4

2 ：：1 localhost localhost。localdomain localhost6 localhost6。localdomain6

3 192。168。1。63 xuegod63。cn

4 192。168。1。64 xuegod64。cn

5 192。168。1。64 xuegod62。cn

6

7 xuegod63。cn

［root@xuegod63 ~］# awk ‘{print FNR“\t” $0}’ /etc/hosts /etc/hostname

1 127。0。0。1 localhost localhost。localdomain localhost4 localhost4。localdomain4

2 ：：1 localhost localhost。localdomain localhost6 localhost6。localdomain6

3 192。168。1。63 xuegod63。cn

4 192。168。1。64 xuegod64。cn

5 192。168。1。64 xuegod62。cn

6

1 xuegod63。cn

注：對於NR來說，在讀取不同的檔案時，NR是一直加的 ；

對於FNR來說，在讀取不同的檔案時，它讀取下一個檔案時，FNR會從1開始重新計算的

例3：使用3種方法去除首行

方法1：［root@xuegod63 ~］# route -n | grep -v Kernel

Destination Gateway Genmask Flags Metric Ref Use Iface

0。0。0。0 192。168。1。1 0。0。0。0 UG 100 0 0 ens33

192。168。1。0 0。0。0。0 255。255。255。0 U 100 0 0 ens33

192。168。122。0 0。0。0。0 255。255。255。0 U 0 0 0 virbr0

方法2：sed 1d #刪除第1行的內容

［root@xuegod63 ~］# route -n | sed 1d

方法3： awk

［root@xuegod63 ~］# route -n | awk ‘NR！=1 {print $0}’

例4：匹配，使用awk查出以包括root字元的行 ， 有以下3種方法

［root@xuegod63 ~］# awk -F： ‘/root/{print}’ /etc/passwd

［root@xuegod63 ~］# awk -F： ‘/root/’ /etc/passwd

［root@xuegod63 ~］# awk -F： ‘/root/{print $0}’ /etc/passwd

做一個不匹配root行：

［root@xuegod63 ~］# awk -F： ‘！/root/{print $0}’ /etc/passwd

以root開頭的行：

［root@xuegod63 ~］# awk -F： ‘/^root/{print $0}’ /etc/passwd

以bash結尾的行：

［root@xuegod63 ~］# awk -F： ‘/bash$/{print $0}’ /etc/passwd

root：x：0：0：root：/root：/bin/bash

mk：x：1000：1000：mk：/home/mk：/bin/bash

=====以下知識，大家瞭解一下======

例5：條件表示式

表示式？if-true：if-false 問號前面是條件，如果條件為真執行if-true，為假執行if-false

例1：如果passwd中UID小於10，則給變數USER賦值成aaa，否則賦值成bbb

［root@xuegod63 ~］# awk -F： ‘{$3<10？ USER=“aaa”：USER=“bbb”；print $1，USER}’ /etc/passwd

root aaa

bin aaa

daemon aaa

adm aaa

lp aaa

sync aaa

shutdown aaa

halt aaa

mail aaa

operator bbb

。。。

用if（條件）{命令1；命令2}elif（條件）{命令；}else{命令}中，在比較條件中用（ ）擴起來，在AWK中，如果條件為1為真，0為假

例：如果UID小於10 ，則輸出user=>使用者名稱，否則輸出pass=>使用者名稱

［root@xuegod63 ~］# awk -F： ‘{if（$3<10）{print “user=>”$1}else{print “pass=>”$1}}’ /etc/passwd

user=>root

user=>bin

user=>daemon

user=>adm

user=>lp

user=>sync

user=>shutdown

user=>halt

user=>mail

pass=>operator

~ 匹配

！~ 不匹配

例：查出UID小於等於5且包括bin/bash的行

［root@xuegod63 ~］# awk -F： ‘{if（$3<=5 && $NF ~ “bin/bash”）{print $1，$NF}}’ /etc/passwd

root /bin/bash

例6：變數

（1）用-v指定 var=value 變數名區分大小寫

（2）在程式中直接定義

（3）在awk裡，使用 -v 定義的變數可以不用加$符號

［root@xuegod63 ~］# var=“test”

［root@xuegod63 ~］# awk ‘BEGIN{print “’$var‘”}’ #引用變數時，使用雙引號+單引號括起來

test

［root@xuegod63 ~］# awk -v myvar=$var ‘BEGIN{print myvar}’

test

［root@xuegod63 ~］# vim log。txt

1

2

3

4

［root@xuegod63 ~］# awk -v a=1 -v b=2 ‘{print $1，$1+a，$1b}’ log。txt

1 2 12

2 3 22

3 4 32

4 5 42

［root@xuegod63 ~］# vim log。txt

a

b

c

d

［root@xuegod63 ~］# awk -v a=1 -v b=2 ‘{print $1，$1+a，$1b}’ log。txt

a 1 a2

b 1 b2

c 1 c2

d 1 d2

例7：格式化輸出

printf命令：格式化輸出 printf “FORMAT”，item1，item2……。

format使用注意事項：

1、其與print命令的最大不同是，printf需要指定format樣式

2、format用於指定後面的每個item的輸出格式

3、printf語句不會自動列印換行符；\n

4、format格式的指示符都以%開頭，後跟一個字元；如下：

%c： 顯示字元的ASCII碼

%d， %i：十進位制整數

%e， %E：科學計數法顯示數值

%f： 顯示浮點數

%g， %G： 以科學計數法的格式或浮點數的格式顯示數值；

%s： 顯示字串

%u： 無符號整數

%%： 顯示%自身

例1：輸入passwd檔案中的第1列內容，輸出時不會換行

［root@xuegod63 ~］# awk -F： ‘{printf “%s”，$1}’ /etc/passwd ##不會自動換行

rootrootbindaemonadmlpsyncshutdownhaltmailoperatorgamesftpnobodysystemd-networkdbuspolkitdabrtlibstoragemgmtrpccolordsaslauthrtkitchronyqemutssusbmuxdgeocluerpcusernfsnobodyradvdsetroubleshootpulsegdmgnome-initial-setupsshdavahipostfixntptcpdumpmk［root@xuegod63 ~］#

例2：換行輸出

［root@xuegod63 ~］# awk -F： ‘{printf “%s\n”，$1}’ /etc/passwd

例3：在輸出的字母前面新增自定義字串USERNAME：

［root@xuegod63 ~］# awk -F： ‘{printf “USERNAME： %s\n”，$1}’ /etc/passwd

USERNAME： root

USERNAME： bin

USERNAME： daemon

USERNAME： adm

例4：對$1和$NF都做格式化輸出

［root@xuegod63 ~］# awk -F： ‘{printf “USERNAME： %s %s\n”，$1，$NF}’ /etc/passwd

USERNAME： root /bin/bash

USERNAME： bin /sbin/nologin

USERNAME： daemon /sbin/nologin

例5：對$1和$NF都做格式化輸出，在$1和$NF兩者之間新增一串====字元進行輸入

［root@xuegod63 ~］# awk -F： ‘{printf “USERNAME： %s=========%s\n”，$1，$NF}’ /etc/passwd

USERNAME： root=========/bin/bash

USERNAME： bin=========/sbin/nologin

awk修飾符：

N： 顯示寬度；

-： 左對齊；

例1：顯示時用10（N）個字串右對齊顯示。如果要顯示的字串不夠10個寬度，以字串的左邊自動新增。一個字母佔一個寬度。預設是右對齊

［root@xuegod63 ~］# awk -F“：” ‘{printf “%10s\n”，$1}’ /etc/passwd

例2：使用10個寬度，左對齊顯示

［root@xuegod63 ~］# awk -F“：” ‘{printf “%-10s\n”，$1}’ /etc/passwd

root

bin

daemon

adm

lp

例3：第1列使用15個字元寬度左對齊輸出，最後一列使用15個字元寬度右對齊輸出

［root@xuegod63 ~］# awk -F： ‘{printf “USERNAME： %-15s %15s\n”，$1，$NF}’ /etc/passwd

USERNAME： root /bin/bash

USERNAME： bin /sbin/nologin

例4：使用開始和結束模組來格式化輸出

［root@xuegod63 ~］# cat test。awk

BEGIN{

print “UserId\t\t\tShell”

print “————————————————-”

FS=“：”

}

$3>=500 && $NF==“/sbin/nologin”{

printf “%-20s %-20s\n”， $1，$NF

}

END{

print “————————————————”

}

［root@xuegod63 ~］# awk -f test。awk /etc/passwd

UserId Shell

————————————————-

polkitd /sbin/nologin

libstoragemgmt /sbin/nologin

colord /sbin/nologin

saslauth /sbin/nologin

chrony /sbin/nologin

geoclue /sbin/nologin

nfsnobody /sbin/nologin

setroubleshoot /sbin/nologin

gnome-initial-setup /sbin/nologin

————————————————

總結：

24。1 shell中的色彩處理

24。2 awk基本應用

24。3 awk高階應用