目录
一、sort 排序
1、格式
2、常用选项
3、sort 例子
1、不加任何选项 如：sort /etc/passwd
2、 去重 （sort -u）
3、 指定分隔符（-t），指定排序的列（-k），升序排列
4、指定分隔符，指定排序的列，降序排列（-r）
二、去重工具 （uniq）
1、格式及功能
2、常用选项
3、uniq 举例
1、uniq 不加任何选项
2、统计文件内容出现的次数 uniq -c
3、 uniq -u 只显示出现1次的行
4、uniq -d 只显示有连续重复的行
5、 统计历史登录过系统的用户
三、tr 转换或删除文件中的字符
1、tr功能及格式
2、tr 的常用选项
3、tr 例子
四、cut 列截取工具（切片）
1、cut概述
2、常用选项
3、cut 例子
4、paste 粘贴
五、找出访问量最高的10个ip
六、总结
一、sort 排序
1、格式
sort 选项 文件
2、常用选项
| 选项 | 功能 |
|---|---|
| -t | 指定分隔符，默认使用 [Tab] 键或空格分隔 |
| -k | 指定排序区域，哪个区间排序 |
| -n | 按照数字进行排序，默认是以字母形式排序 |
| -r | 反向排序，默认升序， |
| -u | 等同于uniq，表示相同的数据仅显示一行，注意：如果行尾有空格去重就不成功 |
| -o | 将排序的结果转存至指定文件 |
3、sort 例子
1、不加任何选项 如：sort /etc/passwd
#默认以字符排序（a b c d），如果第一个字母相同，比较第二个，以此类推
2、 去重 （sort -u）
去掉重复的内容并按顺序进行排序
3、 指定分隔符（-t），指定排序的列（-k），升序排列
以第3列数字进行排序
4、指定分隔符，指定排序的列，降序排列（-r）
二、去重工具 （uniq）
1、格式及功能
uniq 选项 文件路径
主要用于去除连续的重复行
2、常用选项
| 选项 | 功能 |
|---|---|
| -c | 统计重复的行（在它前面标上重复的次数） |
| -d | 仅显示重复的行 |
| -u | 仅显示出现一次的行（不重复的行） |
3、uniq 举例
1、uniq 不加任何选项
去除重复的行，按原顺序排列
2、统计文件内容出现的次数 uniq -c
###前面是内容（字符或数字）出现的次数 后面是内容
3、 uniq -u 只显示出现1次的行
4、uniq -d 只显示有连续重复的行
5、 统计历史登录过系统的用户
结合sort使用
三、tr 转换或删除文件中的字符
1、tr功能及格式
可以用一个字符来替换另一个字符，
或者可以完全除去一些字符
还可以用来去掉重复的字符
从标准输入中替换，缩减和注释或删除字符，并将结果写到标准输出
格式： tr [选项] '字符集1' '字符集2'
2、tr 的常用选项
| 选项 | 功能 |
|---|---|
| -d | 删除字符 |
| -s | 删除所有重复出现的字符，只保留一个（如果是空行，全部去掉） |
| -c | 反向取值 |
3、tr 例子
①将所有小写换成大写 tr 'a-z' 'A-Z'
②当转换数值不足时，一直转换成最后一个 tr 'lisi' '123'
③ 将字符替换成特殊字符 tr 'i' ' '
④ 删除匹配到的字符 tr -d 'i'
⑤对连续的字符去重 tr -s 'i'
⑥tr -c 反向取值
[root@gang mnt]#cat /dev/urandom |tr -dc '[:alnum:]' | head -c12
head -c 取字符 [:alnum:] 数字字母 12 取前12个
四、cut 列截取工具（切片）
1、cut概述
cut命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段写至标准输出。
如果不指定file 参数，cut命令将读取标准输入。必须指定 -b(字节) 、-c(字符) 或 -f(第几列) 标志之一。
字符和字节的区别
字节（byte） ： 是计量单位，表示数据量多少，是计算机信息技术用于计量存储容量的一种计量单位，通常情况下1字节等于8位
字符（character） ：计算机中使用的字母、数字、字和符号
一般在英文状态下，一个字母或字符占用一个字节， 一个汉字占用两个字节 。
2、常用选项
格式：cut [选项] [文件路径]
| 选项 | 功能 |
|---|---|
| -b | 按字节截取 |
| -c | 按字符截取，常用于中文 |
| -d | 指定以什么为分割符截取，默认为制表符 |
| -f | 通常和-d一起使用（表示截取第几列 |
3、cut 例子
cut -b 4截取第四个字符
cut -b 4，10-14 截取第四个字符及第10到14个字符
4、paste 粘贴
paste -d 指定分隔符
五、找出访问量最高的10个ip
六、总结
sort：表示排序
默认以字母排序，数字排序需要加选项（-n），反向排序需要加选项（-r）。
还可以选择按照哪一列进行排序，需要先定义分割符（-t），然后根据分割符去选取对应的列（-k），最后进行排序。
可以将排序后的内容输入到其它文件，使用选项（-o）可以指定需要注入的文件名。
还可以将进行去重（-u），可以是不连续的行，进行去重。
uniq：表示去重
主要注意的是它必须是连续的行，不然无法去重
可以根据选项，选择显示不重复的行（-u）
还可以选择显示重复的行（-d）
还可以统计连续重复的数量（-c）
tr：表示修改字符
可以修改对应的字符，按照字符对应一一修改，如果有重复的字符，它会按照最后一个字符对应的修改字符进行替换，如果对应的字符不够时，它会将修改的最后一个字符进替换。
还可以进行删除（-d），删除文本中所对应的字符
还可以进行去重（-s），但是去重的字符必须是连续在一起的两个字符（会保留其中一个），不然无法去重成功。
cut ：表示截取列
可以按照字符（-c）按照字节（-b）或者根据分割符（-d）来选取要截取的列（-f）
