删除包含特定string的文本文件中的行

我将如何使用sed删除包含特定string的文本文件中的整行?

13 Solutions collect form web for “删除包含特定string的文本文件中的行”

要删除行并将输出打印到标准输出:

sed '/pattern to match/d' ./infile 

要直接修改文件:

 sed -i '/pattern to match/d' ./infile 

要直接修改文件(并创build一个备份):

 sed -i.bak '/pattern to match/d' ./infile 

对于Mac OS X用户:

 sed -i '' '/pattern/d' ./infile 

还有很多其他方法可以删除sed以外的特定string

AWK

 awk '!/pattern/' file > temp && mv temp file 

ruby(1.9+)

 ruby -i.bak -ne 'print if not /test/' file 

Perl的

 perl -ni.bak -e "print unless /pattern/" file 

壳(bash3.2 +)

 while read -r line do [[ ! $s =~ pattern ]] && echo "$line" done <file > o mv o file 

GNU grep

 grep -v "pattern" file > temp && mv temp file 

当然sed (打印反向比实际删除更快)。

 sed -n '/pattern/!p' file 

您可以使用sed来replace文件中的行。 但是,它似乎比使用grep反转第二个文件,然后将第二个文件移动到原来的要慢得多。

例如

 sed -i '/pattern/d' filename 

要么

 grep -v "pattern" filename > filename2; mv filename2 filename 

无论如何,我的机器上第一个命令需要3倍的时间。

简单的方法来做到这一点:

 sed --in-place '/some string here/d' yourfile 

你可以考虑使用ex (这是一个标准的基于UNIX命令的编辑器):

 ex +g/match/d -cwq file 

哪里:

  • +执行给定的Ex命令( man ex ),与执行wq (写入和退出)的-c相同,
  • g/match/d – 用于删除给定match行的Ex命令,请参阅: g的功率

上面的例子是POSIX兼容的方法,用于在Unix.SE和POSIX规范中就地编辑文件。


sed的区别在于:

sed是一个文件编辑器,不是文件编辑器。 BashFAQ

除非你喜欢不可移植的代码,I / O开销和一些其他不良的副作用。 所以基本上一些参数(如in-place / -i )是非标准的FreeBSD扩展,可能在其他操作系统上不可用。

我在Mac上苦苦挣扎。 另外,我需要使用variablesreplace。 所以我用:

sed -i '' "/$pattern/d" $file

其中$file是需要删除的文件, $pattern是要删除的模式。 从这个评论中挑选出来的。 这里要注意的是在"/$pattern/d"使用双引号 。 当我们使用单引号时,variables将不起作用。

要像grep那样得到一个像结果一样的地方,你可以这样做:

 echo "$(grep -v "pattern" filename)" >filename 

你也可以使用这个

  grep -v 'pattern' filename 

这里-v将打印只有你的模式(这意味着反转匹配)

我用一个包含大约345000行的文件做了一个小基准。 在这种情况下,使用grep的方式似乎比sed方法快了15倍。

我已经尝试了和没有设置LC_ALL = C,似乎并没有显着改变时间。 searchstring(CDGA_00004.pdbqt.gz.tar)位于文件中间的某个位置。

这里是命令和时间:

 time sed -i "/CDGA_00004.pdbqt.gz.tar/d" /tmp/input.txt real 0m0.711s user 0m0.179s sys 0m0.530s time perl -ni -e 'print unless /CDGA_00004.pdbqt.gz.tar/' /tmp/input.txt real 0m0.105s user 0m0.088s sys 0m0.016s time (grep -v CDGA_00004.pdbqt.gz.tar /tmp/input.txt > /tmp/input.tmp; mv /tmp/input.tmp /tmp/input.txt ) real 0m0.046s user 0m0.014s sys 0m0.019s 

SED:

  • '/James\|John/d'
  • -n '/James\|John/!p'

AWK:

  • '!/James|John/'
  • /James|John/ {next;} {print}

GREP:

  • -v 'James\|John'
 perl -i -nle'/regexp/||print' file1 file2 file3 perl -i.bk -nle'/regexp/||print' file1 file2 file3 

echo -e "/thing_to_delete\ndd\033:x\n" | vim file_to_edit.txt

以防万一有人想要完成匹配的string,可以使用-w在grep中标记,w在整个中。 也就是说,例如,如果要删除具有编号11的行,但保留编号为111的行:

 -bash-4.1$ head file 1 11 111 -bash-4.1$ grep -v "11" file 1 -bash-4.1$ grep -w -v "11" file 1 111 

如果你想一次排除几个确切的模式,也可以使用-f标志。 如果“黑名单”是要从“文件”中删除的每行上有多个模式的文件:

 grep -w -v -f blacklist file 
  • PowerShell脚本从快捷方式更改桌面
  • 什么是$? (美元问号)variables在shell脚本?
  • 用Ansible创build一个新的用户和密码
  • 使用Bash将绝对path转换为给定当前目录的相对path
  • 命令没有find当使用sudo ulimit
  • 删除函数定义(相当于unalias)
  • 如何从命令行重新加载.bash_profile?
  • 如何保存一个Python交互式会话?
  • 如何在Unix命令行或shell脚本中打乱文本文件的行?
  • 使用JAVA_OPTS envvariables运行java
  • 如何打印第三列到最后一列?