Linux Shell 文本处理工具集锦(2)
将多行输出转化为单行输出 cat file.txt| xargs \n 是多行文本间的定界符 将单行转化为多行输出 cat single.txt | xargs -n 3 -n：指定每行显示的字段数 xargs参数说明
•将多行输出转化为单行输出
cat file.txt| xargs
\n 是多行文本间的定界符
•将单行转化为多行输出
cat single.txt | xargs -n 3
-n：指定每行显示的字段数
xargs参数说明
-d 定义定界符 （默认为空格 多行的定界符为 \n）
-n 指定输出为多行
-I {} 指定替换字符串，这个字符串在xargs扩展时会被替换掉,用于待执行的命令需要多个参数时
eg：
代码如下:
cat file.txt | xargs -I {} ./command.sh -p {} -1
-0：指定\0为输入定界符
eg：统计程序行数
代码如下:
find source_dir/ -type f -name "*.cpp" -print0 |xargs -0 wc -l
sort 排序
字段说明：
-n 按数字进行排序 VS -d 按字典序进行排序
-r 逆序排序
-k N 指定按第N列排序
eg：
代码如下:
sort -nrk 1 data.txt
sort -bd data // 忽略像空格之类的前导空白字符
uniq 消除重复行
•消除重复行
代码如下:
sort unsort.txt | uniq
•统计各行在文件中出现的次数
代码如下:
sort unsort.txt | uniq -c
•找出重复行
代码如下:
sort unsort.txt | uniq -d
可指定每行中需要比较的重复内容：-s 开始位置 -w 比较字符数
用tr进行转换
•通用用法
代码如下:
echo 12345 | tr '0-9' '9876543210' //加解密转换，替换对应字符
cat text| tr '\t' ' ' //制表符转空格
•tr删除字符
代码如下:
cat file | tr -d '0-9' // 删除所有数字
-c 求补集
代码如下:
cat file | tr -c '0-9' //获取文件中所有数字
cat file | tr -d -c '0-9 \n' //删除非数字数据
•tr压缩字符
tr -s 压缩文本中出现的重复字符；最常用于压缩多余的空格
代码如下:
cat file | tr -s ' '
•字符类
tr中可用各种字符类：
alnum：字母和数字
alpha：字母
digit：数字
space：空白字符
lower：小写
upper：大写
cntrl：控制（非可打印）字符
print：可打印字符
使用方法：tr [:class:] [:class:]
代码如下:
eg: tr '[:lower:]' '[:upper:]'
cut 按列切分文本
•截取文件的第2列和第4列：
代码如下:
cut -f2,4 filename
•去文件除第3列的所有列：
代码如下:
cut -f3 --complement filename
•-d 指定定界符：
代码如下:
cat -f2 -d";" filename
•cut 取的范围
N- 第N个字段到结尾
-M 第1个字段为M
N-M N到M个字段
•cut 取的单位
-b 以字节为单位
-c 以字符为单位
-f 以字段为单位（使用定界符）
•eg:
代码如下:
cut -c1-5 file //打印第一到5个字符
cut -c-2 file //打印前2个字符
paste 按列拼接文本
将两个文本按列拼接到一起;
代码如下:
cat file1
1
2
cat file2
colin
book
paste file1 file2
1 colin
2 book
默认的定界符是制表符，可以用-d指明定界符
paste file1 file2 -d “,”
1,colin
2,book
wc 统计行和字符的工具
wc -l file // 统计行数
wc -w file // 统计单词数
wc -c file // 统计字符数
sed 文本替换利器
•首处替换
精彩图集
精彩文章