我如何使用Red Hat Linux上的标准工具随机化文件中的行?

我如何使用Red Hat Linux上的标准工具随机化文件中的行?

我没有shuf命令,所以我正在寻找类似perlawk的单行内容来完成相同的任务。

和一个Perl的单线你得到!

 perl -MList::Util -e 'print List::Util::shuffle <>' 

它使用一个模块,但该模块是Perl代码分配的一部分。 如果这还不够好,你可以考虑自己动手。

我试着用-i标志(“就地编辑”)来编辑文件。 文件表明它应该工作,但它不。 它仍然显示混洗文件到标准输出,但是这次它删除原来的。 我build议你不要使用它。

考虑一个shell脚本:

 #!/bin/sh if [[ $# -eq 0 ]] then echo "Usage: $0 [file ...]" exit 1 fi for i in "$@" do perl -MList::Util -e 'print List::Util::shuffle <>' $i > $i.new if [[ `wc -c $i` -eq `wc -c $i.new` ]] then mv $i.new $i else echo "Error for file $i!" fi done 

未经testing,但希望有效。

恩,别忘了

 sort --random-sort 

“shuf”是最好的方法

“sorting-R”是痛苦的缓慢。 我只是试图分类5GB的文件。 2.5小时后我放弃了。 然后shuf在一分钟内sorting。

 cat yourfile.txt | while IFS= read -rf; do printf "%05d %s\n" "$RANDOM" "$f"; done | sort -n | cut -c7- 

读取文件,在每一行中添加一个随机数字,对这些随机前缀上的文件进行sorting,然后剪切前缀。 一个class轮应该在任何半现代的shell工作。

编辑:纳入理查德汉森的言论。

python的一行代码:

 python -c "import random, sys; lines = open(sys.argv[1]).readlines(); random.shuffle(lines); print ''.join(lines)," myFile 

而对于只打印一个随机行:

 python -c "import random, sys; print random.choice(open(sys.argv[1]).readlines())," myFile 

但看到这个post的python的random.shuffle()的缺点。 很多(超过2080年)的元素都不能很好地工作。

关于吉姆的回答:

我的~/.bashrc包含以下内容:

 unsort () { LC_ALL=C sort -R "$@" } 

用GNU coreutils的sorting, -R = --random-sort ,它会生成每行的随机散列并按它sorting。 随机散列实际上不会在一些较旧的(bug)版本的某些语言环境中使用,导致它返回正常的sorting输出,这就是为什么我设置LC_ALL=C


关于克里斯的回答:

 perl -MList::Util=shuffle -e'print shuffle<>' 

是一个稍短的单线。 ( -Mmodule=a,b,c-e 'use module qw(abc);'缩写。)

给它一个简单的原因-i对于就地洗牌不起作用是因为Perl期望print发生在正在读取文件的同一个循环中,并且print shuffle <>在所有input文件之后都不输出被阅读和closures。

作为一个较短的解决方法,

 perl -MList::Util=shuffle -i -ne'BEGIN{undef$/}print shuffle split/^/m' 

将在原地洗牌文件。 ( -n表示“在一段while (<>) {...}循环中包装代码; BEGIN{undef$/}使得Perl可以一次执行文件,而不是一次一行地执行split/^/m是需要的,因为$_=<>已经隐式地用整个文件而不是行来完成。

当我用自制软件安装coreutils

 brew install coreutils 

shuf变成可用的n

带有DarwinPorts的Mac OS X:

 sudo port install unsort cat $file | unsort | ... 

FreeBSD有它自己的随机工具:

 cat $file | random | ... 

它在/ usr / games / random中,所以如果你还没有安装游戏,那你是不走运的。

您可以考虑安装像textproc / rand或textproc / msort的端口。 如果可移植性受到关注,这些可能在Linux和/或Mac OS X上可用。

在OSX上,从http://ftp.gnu.org/gnu/coreutils/等等获取最新的内容;

./configure make sudo make install

…应该给你/ usr / local / bin / sort –random-sort

而不会搞乱/ usr / bin / sort

或从MacPorts获取它:

 $ sudo port install coreutils 

和/或

 $ /opt/local//libexec/gnubin/sort --random-sort