大数据技术AI Flink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料 98篇原创内容 -->

公众号

 

linux sed 命令是利用脚本来处理文本文件。

sed 可依照脚本的指令来处理、编辑文本文件。

Sed 主要用来自动编辑一个或多个文件、简化对文件的反复操作、编写转换程序等。

1 语法

 sed [-hnV][-e<script>][-f<script文件>][文本文件]

1.1 参数说明

• -e<script>或--expression=<script> 以选项中指定的script来处理输入的文本文件。
• -f<script文件>或--file=<script文件> 以选项中指定的script文件来处理输入的文本文件。
• -h或--help 显示帮助。
• -n或--quiet或--silent 仅显示script处理后的结果。
• -V或--version 显示版本信息。

1.2 动作说明

• a ：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～
• c ：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
• d ：删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
• i ：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
• p ：打印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行～
• s ：取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配正规表示法！例如 1,20s/old/new/g 就是啦！

2、以行为单位的新增/删除

2.1 将 passwd 复制一份， 并将他内容列出并且列印行号，同时，请将第 2~5 行删除！

 [root@hadoop01 root]$   nl passwd
      1 root:x:0:0:root:/root:/bin/bash
      2 bin:x:1:1:bin:/bin:/sbin/nologin
      3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
      4 halt:x:7:0:halt:/sbin:/sbin/halt
      5 mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
      6 ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
      7 nobody:x:99:99:Nobody:/:/sbin/nologin
      8 sssd:x:997:995:User for sssd:/:/sbin/nologin
      9 polkitd:x:996:994:User for polkitd:/:/sbin/nologin
    10 Apache:x:48:48:Apache:/usr/share/httpd:/sbin/nologin
    11 abrt:x:173:173::/etc/abrt:/sbin/nologin
    12 rpc:x:32:32:Rpcbind Daemon:/var/lib/rpcbind:/sbin/nologin
    13 unbound:x:994:992:Unbound DNS resolver:/etc/unbound:/sbin/nologin
    14 memcached:x:993:991:Memcached daemon:/run/memcached:/sbin/nologin
    15 rpcuser:x:29:29:RPC Service User:/var/lib/nfs:/sbin/nologin
 
 
 [root@hadoop01 root]$ nl passwd | sed '2,5 d'
      1 root:x:0:0:root:/root:/bin/bash
      6 ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
      7 nobody:x:99:99:Nobody:/:/sbin/nologin
      8 sssd:x:997:995:User for sssd:/:/sbin/nologin
      9 polkitd:x:996:994:User for polkitd:/:/sbin/nologin
    10 apache:x:48:48:Apache:/usr/share/httpd:/sbin/nologin
    11 abrt:x:173:173::/etc/abrt:/sbin/nologin
    12 rpc:x:32:32:Rpcbind Daemon:/var/lib/rpcbind:/sbin/nologin
    13 unbound:x:994:992:Unbound DNS resolver:/etc/unbound:/sbin/nologin
    14 memcached:x:993:991:Memcached daemon:/run/memcached:/sbin/nologin
    15 rpcuser:x:29:29:RPC Service User:/var/lib/nfs:/sbin/nologin

sed 的动作为 '2,5d' ，那个 d 就是删除！因为 2-5 行给他删除了，所以显示的数据就没有 2-5 行

另外，注意一下，原本应该是要下达 sed -e 才对，没有 -e 也行！同时也要注意的是， sed 后面接的动作，请务必以 '' 两个单引号括住喔！

2.2 只要删除第 2 行

 [root@hadoop01 root]$   nl passwd | sed '2d'
      1 root:x:0:0:root:/root:/bin/bash
      3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
      4 halt:x:7:0:halt:/sbin:/sbin/halt
      5 mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
      6 ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
      7 nobody:x:99:99:Nobody:/:/sbin/nologin
      8 sssd:x:997:995:User for sssd:/:/sbin/nologin
      9 polkitd:x:996:994:User for polkitd:/:/sbin/nologin
    10 apache:x:48:48:Apache:/usr/share/httpd:/sbin/nologin
    11 abrt:x:173:173::/etc/abrt:/sbin/nologin
    12 rpc:x:32:32:Rpcbind Daemon:/var/lib/rpcbind:/sbin/nologin
    13 unbound:x:994:992:Unbound DNS resolver:/etc/unbound:/sbin/nologin
    14 memcached:x:993:991:Memcached daemon:/run/memcached:/sbin/nologin
    15 rpcuser:x:29:29:RPC Service User:/var/lib/nfs:/sbin/nologin

2.3 在第二行后(亦即是加在第三行)加上『hadoop』字样！

 [root@hadoop01 root]$ nl passwd | sed '2a hadoop'
      1 root:x:0:0:root:/root:/bin/bash
      2 bin:x:1:1:bin:/bin:/sbin/nologin
 hadoop
      3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
 

2.4 在第二行前

 [root@hadoop01 root]$ nl passwd | sed '2i hadoop'
      1 root:x:0:0:root:/root:/bin/bash
 hadoop
      2 bin:x:1:1:bin:/bin:/sbin/nologin
      3 daemon:x:2:2:daemon:/sbin:/sbin/nologin

2.5 增加两行以上，在第二行后面加入两行字

 [root@hadoop01 root]$ nl passwd | sed '2a hadoop 
 > scala'
      1 root:x:0:0:root:/root:/bin/bash
      2 bin:x:1:1:bin:/bin:/sbin/nologin
 hadoop
 scala
      3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
 

每一行之间都必须要以反斜杠『 』来进行新行的添加喔！所以，上面的例子中，我们可以发现在第一行的最后面就有 存在。

3、以行为单位的替换与显示

3.1 将第2-5行的内容取代成为『hello world』

 
 [root@hadoop01 root]$ nl passwd | sed '2,5c hello world'
      1 root:x:0:0:root:/root:/bin/bash
 hello world
      6 ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
 

4、数据的搜寻并显示

4.1 root关键字的行

 [root@hadoop01 root]$ nl passwd | sed '/root/p'
      1 root:x:0:0:root:/root:/bin/bash
      1 root:x:0:0:root:/root:/bin/bash
      2 bin:x:1:1:bin:/bin:/sbin/nologin
      3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
      4 halt:x:7:0:halt:/sbin:/sbin/halt
      5 mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
      6 ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
      7 nobody:x:99:99:Nobody:/:/sbin/nologin
      8 sssd:x:997:995:User for sssd:/:/sbin/nologin
      9 polkitd:x:996:994:User for polkitd:/:/sbin/nologin
    10 apache:x:48:48:Apache:/usr/share/httpd:/sbin/nologin
    11 abrt:x:173:173::/etc/abrt:/sbin/nologin
    12 rpc:x:32:32:Rpcbind Daemon:/var/lib/rpcbind:/sbin/nologin
    13 unbound:x:994:992:Unbound DNS resolver:/etc/unbound:/sbin/nologin
    14 memcached:x:993:991:Memcached daemon:/run/memcached:/sbin/nologin
    15 rpcuser:x:29:29:RPC Service User:/var/lib/nfs:/sbin/nologin

如果root找到，除了输出所有行，还会输出匹配行。

使用-n的时候将只打印包含模板的行。

 [root@hadoop01 root]$ nl passwd | sed -n '/root/p'
      1 root:x:0:0:root:/root:/bin/bash

5、数据的搜寻并删除

5.1 删除/passwd所有包含root的行，其他行输出

 [root@hadoop01 root]$ nl passwd | sed '/root/d'
      2 bin:x:1:1:bin:/bin:/sbin/nologin

6、数据的搜寻并执行命令

6.1 搜索passwd,找到root对应的行，执行后面花括号中的一组命令，每个命令之间用分号分隔，这里把root替换为hadoop，再输出这行：

1. p:打印所有的；
2. q：打印匹配的

 [root@hadoop01 root]$ nl passwd | sed '/root/{s/root/hadoop/;p;q;}'
      1 hadoop:x:0:0:root:/root:/bin/bash
      1 hadoop:x:0:0:root:/root:/bin/bash

 [root@hadoop01 root]$ nl passwd | sed '/root/{s/root/hadoop/;p}'
      1 hadoop:x:0:0:root:/root:/bin/bash
      1 hadoop:x:0:0:root:/root:/bin/bash
      2 bin:x:1:1:bin:/bin:/sbin/nologin
      3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
      ...

7、数据的搜寻并替换

除了整行的处理模式之外， sed 还可以用行为单位进行部分数据的搜寻并取代。基本上 sed 的搜寻与替代的与 vi 相当的类似

 sed 's/要被取代的字串/新的字串/g'

7.0 只要第一行的数字部分

 [root@hadoop01 root]$ nl passwd | sed -n '/root/p'
      1 root:x:0:0:root:/root:/bin/bash

7.1 删除第一行，数字前半部分

 [root@hadoop01 root]$ nl passwd | sed -n '/root/p' | sed 's/^.*x://g'
 0:0:root:/root:/bin/bash

s/后面的字符串是包含的关系

7.2 删除第一行，数字后半部分

 [root@hadoop01 root]$ nl passwd | sed -n '/root/p' | sed 's/^.*x://g' | sed 's/:root.*$//g'
 0:0

8、多点编辑

8.1 一条sed命令，删除passwd第四行到末尾的数据，并把root替换为hadoop

 [root@hadoop01 root]$ nl passwd | sed -e '4,$d'
      1 root:x:0:0:root:/root:/bin/bash
      2 bin:x:1:1:bin:/bin:/sbin/nologin
      3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
 
 
 [root@hadoop01 root]$ nl passwd | sed -e '4,$d' -e 's/sbin/hadoop/g'
      1 root:x:0:0:root:/root:/bin/bash
      2 bin:x:1:1:bin:/bin:/hadoop/nologin
      3 daemon:x:2:2:daemon:/hadoop:/hadoop/nologin

-e表示多点编辑，第一个编辑命令删除passwd第三行到末尾的数据，第二条命令搜索root替换为hadoop

9、直接修改文件内容(危险动作)

9.1 sed 将 passwd 内每一行结尾若为 nologin 则换成 hadoop

 [root@hadoop01 root]$ sed -i 's/nologin$/hadoop/g' passwd
 [root@hadoop01 root]$ nl passwd
      1 root:x:0:0:root:/root:/bin/bash
      2 bin:x:1:1:bin:/bin:/sbin/hadoop
      3 daemon:x:2:2:daemon:/sbin:/sbin/hadoop
      4 halt:x:7:0:halt:/sbin:/sbin/halt
      5 mail:x:8:12:mail:/var/spool/mail:/sbin/hadoop
      6 ftp:x:14:50:FTP User:/var/ftp:/sbin/hadoop
      7 nobody:x:99:99:Nobody:/:/sbin/hadoop
      8 sssd:x:997:995:User for sssd:/:/sbin/hadoop
      9 polkitd:x:996:994:User for polkitd:/:/sbin/hadoop
    10 apache:x:48:48:Apache:/usr/share/httpd:/sbin/hadoop
 ...

9.2 sed 将 passwd 内每二行替换为 --hello world

 [root@hadoop01 root]$ sed -i '2c --hello world' passwd
 [root@hadoop01 root]$ nl passwd
      1 root:x:0:0:root:/root:/bin/bash
      2 --hello world
      3 daemon:x:2:2:daemon:/sbin:/sbin/hadoop
      4 halt:x:7:0:halt:/sbin:/sbin/halt
      5 mail:x:8:12:mail:/var/spool/mail:/sbin/hadoop