霍夫曼树介绍

1.1霍夫曼树的定义

给定N个权值作为N个叶子结点，构造一棵二叉树，若该树的带权路径长度达到最小，称这样的二叉树为最优二叉树，也称为哈夫曼树(Huffman Tree)。哈夫曼树是带权路径长度最短的树，权值较大的结点离根较近。

1.2霍夫曼树的几个概念

路径和路径长度：在一棵树中，从一个结点往下可以达到的孩子或孙子结点之间的通路，称为路径。通路中分支的数目称为路径长度。若规定根结点的层数为1，则从根结点到第L层结点的路径长度为L-1。

结点的权及带权路径长度：若将树中结点赋给一个有着某种含义的数值，则这个数值称为该结点的权。结点的带权路径长度为：从根结点到该结点之间的路径长度与该结点的权的乘积

树的带权路径长度：树的带权路径长度规定为所有叶子结点的带权路径长度之和，记为WPL(weighted path length) ,权值越大的结点离根结点越近的二叉树才是最优二叉树。WPL最小的就是赫夫曼树，如下图所示：第二个便是霍夫曼树

1.3构建霍夫曼树的过程

构成霍夫曼树的步骤：

1. 从小到大进行排序, 将每一个数据，每个数据都是一个节点 ， 每个节点可以看成是一颗最简单的二叉树。
2. 取出根节点权值最小的两颗二叉树 。
3. 组成一颗新的二叉树, 该新的二叉树的根节点的权值是前面两颗二叉树根节点权值的和。
4. 再将这颗新的二叉树，以根节点的权值大小 再次排序， 不断重复 1-2-3-4 的步骤，直到数列中，所有的数据都被处理，就得到一颗霍夫曼树。

以该数列为例来构建霍夫曼树：{13, 7, 8, 3, 29, 6, 1}
排序 1, 3, 6, 7, 8, 13, 29 按照如上步骤进行构建如下图；

1.4代码实现霍夫曼树

构成霍夫曼树的步骤：

1. 从小到大进行排序, 将每一个数据，每个数据都是一个节点 ， 每个节点可以看成是一颗最简单的二叉树。
2. 取出根节点权值最小的两颗二叉树 。
3. 组成一颗新的二叉树, 该新的二叉树的根节点的权值是前面两颗二叉树根节点权值的和。
4. 再将这颗新的二叉树，以根节点的权值大小 再次排序， 不断重复 1-2-3-4 的步骤，直到数列中，所有的数据都被处理，就得到一颗霍夫曼树。

public class HuffmanTree {public static void main(String[] args) {int arr[] = { 13, 7, 8, 3, 29, 6, 1 };Node root = createHuffmanTree(arr);System.out.println("构造后的霍夫曼树的根结点"+"\n"+root);System.out.println("前序遍历霍夫曼树");preOrder(root);}//前序遍历public static void preOrder(Node root) {if(root!=null){System.out.println(root);preOrder(root.leftNode);preOrder(root.rightNode);}}public static Node createHuffmanTree(int[] arr) {// 1. 遍历 arr 数组// 2. 将arr的每个元素构成成一个Node// 3. 将Node 放入到ArrayList中ArrayList<Node> nodes = new ArrayList<>();for (int i = 0; i < arr.length; i++) {nodes.add(new Node(arr[i]));}while (nodes.size()>1) {//排序 从小到大Collections.sort(nodes);//取出根节点权值最小的两颗二叉树Node leftNode = nodes.get(0);Node rightNode = nodes.get(1);//(3)构建一颗新的二叉树Node parent = new Node(leftNode.value + rightNode.value);parent.leftNode = leftNode;parent.rightNode = rightNode;//(4)从ArrayList删除处理过的二叉树nodes.remove(leftNode);nodes.remove(rightNode);//(5)将parent加入到nodesnodes.add(parent);}//返回哈夫曼树的root结点return nodes.get(0);}
}
class Node implements Comparable<Node>{int value;Node leftNode;Node rightNode;public Node(int value) {this.value = value;}@Overridepublic String toString() {return "Node{" +"value=" + value +'}';}@Overridepublic int compareTo(Node o) {return this.value-o.value;}
}构造后的霍夫曼树的根结点
Node{value=67}
前序遍历霍夫曼树
Node{value=67}
Node{value=29}
Node{value=38}
Node{value=15}
Node{value=7}
Node{value=8}
Node{value=23}
Node{value=10}
Node{value=4}
Node{value=1}
Node{value=3}
Node{value=6}
Node{value=13}

霍夫曼编码介绍

什么是霍夫曼编码

1. 霍夫曼编码也翻译为 哈夫曼编码(Huffman Coding)，又称霍夫曼编码，是一种编码方式, 属于一种程序算法
2. 霍夫曼编码是赫哈夫曼树在电讯通信中的经典的应用之一。
3. 霍夫曼编码广泛地用于数据文件压缩。其压缩率通常在20%～90%之间
4. 霍夫曼码是可变字长编码(VLC)的一种。Huffman于1952年提出一种编码方法，称之为最佳编码
5. 规定哈夫曼树中的左分支为0，右分支为1，则从根节点到每个 叶节点所经过的分支对应的0和1组成的序列便为该节点对应字符的 编码。这样的编码称为哈夫曼编码。哈夫曼编码属0、1二 进制编码
   
   如图：5的二进制编码就是（0，0，0，1），以此类推其他的结点：
   3：（0000） 5：（0001） 11：（001） 23：（01）
   8：（1111） 7：（1110） 14：（110） 29：（10）

通信领域的应用

在电文传输中，需要将电文中出现的每个字符进行二进制编码。在设计编码时需要遵守两个原则：
（1）发送方传输的二进制编码，到接收方解码后必须具有唯一性，即解码结果与发送方发送的电文完全一样；
（2）发送的二进制编码尽可能地短。下面我们介绍两种编码的方式。

1. 等长编码
   这种编码方式的特点是每个字符的编码长度相同（编码长度就是每个编码所含的二进制位数）。假设字符集只含有4个字符A，B，C，D，用二进制两位表示的编码分别为00，01，10，11。若现在有一段电文为：ABACCDA，则应发送二进制序列：00010010101100，总长度为14位。当接收方接收到这段电文后，将按两位一段进行译码。这种编码的特点是译码简单且具有唯一性，但编码长度并不是最短的。

2. 不等长编码
   在传送电文时，为了使其二进制位数尽可能地少，可以将每个字符的编码设计为不等长的，使用频度较高的字符分配一个相对比较短的编码，使用频度较低的字符分配一个比较长的编码。例如，可以为A，B，C，D四个字符分别分配0，00，1，01，并可将上述电文用二进制序列：000011010发送，其长度只有9个二进制位，但随之带来了一个问题，接收方接到这段电文后无法进行译码，因为无法断定前面4个0是4个A，1个B、2个A，还是2个B，即译码不唯一，因此这种编码方法不可使用。

3. 压缩
   采用哈夫曼静态编码的方式，通过对数据进行两遍扫描，第一次统计出现的字符频次，进而构造霍夫曼树，第二遍扫描数据根据得到的霍夫曼树对数据进行编码。

注意：
这个霍夫曼树根据排序方法不同，也可能不太一样，这样对应的霍夫曼编码也不完全一样，但是wpl 是一样的，都是最小的。

字符串压缩

1.构造霍夫曼树

例如有一个字符串String s=“i like java do you like too?”;共28个字符包括空格
我们用霍夫曼编码来对其压缩，其压缩过程如下：

1. 先找出各个字符出现的次数
   i：3，l：2，k：2，e:2，j：1，v：1，a：2，y：1，o：4，u：1，t:1，空格：6，？：1。
   可以用一个map[key,value]将上面的字符以及出现的次数保存。
2. 按照上面字符出现的次数构建一颗赫夫曼树, 次数作为权值

结点

class Node implements Comparable<Node>  {Byte data; // 存放数据(字符)本身，比如'a' => 97 ' ' => 32int weight; //权值, 表示字符出现的次数Node left;//Node right;public Node(Byte data, int weight) {this.data = data;this.weight = weight;}@Overridepublic int compareTo(Node o) {// 从小到大排序return this.weight - o.weight;}public String toString() {return "Node [data = " + data + " weight=" + weight + "]";}//前序遍历public void preOrder() {System.out.println(this);if(this.left != null) {this.left.preOrder();}if(this.right != null) {this.right.preOrder();}}
}

 /**** @param bytes 接收字节数组* @return 返回的就是 List*/private static List<Node> getNodes(byte[] bytes) {//1创建一个ArrayListArrayList<Node> nodes = new ArrayList<Node>();//遍历 bytes , 统计 每一个byte出现的次数->map[key,value]Map<Byte, Integer> counts = new HashMap<>();for (byte b : bytes) {Integer count = counts.get(b);if (count == null) { // Map还没有这个字符数据,第一次counts.put(b, 1);} else {counts.put(b, count + 1);}}//把每一个键值对转成一个Node 对象，并加入到nodes集合//遍历mapfor(Map.Entry<Byte, Integer> entry: counts.entrySet()) {nodes.add(new Node(entry.getKey(), entry.getValue()));}return nodes;}//可以通过List 创建对应的赫夫曼树private static Node createHuffmanTree(List<Node> nodes) {while(nodes.size() > 1) {//排序, 从小到大Collections.sort(nodes);//取出第一颗最小的二叉树Node leftNode = nodes.get(0);//取出第二颗最小的二叉树Node rightNode = nodes.get(1);//创建一颗新的二叉树,它的根节点 没有data, 只有权值Node parent = new Node(null, leftNode.weight + rightNode.weight);parent.left = leftNode;parent.right = rightNode;//将已经处理的两颗二叉树从nodes删除nodes.remove(leftNode);nodes.remove(rightNode);//将新的二叉树，加入到nodesnodes.add(parent);}//nodes 最后的结点，就是赫夫曼树的根结点return nodes.get(0);}

测试：

    public static void main(String[] args) {String s="i like java do you like java too?";List<Node> nodes = getNodes(s.getBytes());System.out.println(nodes);Node tree = createHuffmanTree(nodes);System.out.println(tree);}[Node [data = 32 weight=7], Node [data = 97 weight=4], Node [data = 100 weight=1],Node [data = 101 weight=2],  Node [data = 105 weight=3], Node [data = 106 weight=2], Node [data = 107 weight=2],Node [data = 108 weight=2], Node [data = 111 weight=4], Node [data = 116 weight=1], Node [data = 117 weight=1], Node [data = 118 weight=2], Node [data = 121 weight=1], Node [data = 63 weight=1]]
Node [data = null weight=33]

2.生成赫夫曼树对应的赫夫曼编码表

生成的赫夫曼编码表形如{32=01, 97=100, 100=11000, 117=11001, 101=1110, 118=11011, 105=101, 121=11010, 106=0010, 107=1111, 108=000, 111=0011}
将赫夫曼编码表存放在 Map<Byte,String> 中

    static Map<Byte, String> huffmanCodes = new HashMap<Byte,String>();//在生成赫夫曼编码表示，需要去拼接路径, 定义一个StringBuilder 存储某个叶子结点的路径static StringBuilder stringBuilder = new StringBuilder();/*** 功能：将传入的node结点的所有叶子结点的赫夫曼编码得到，并放入到huffmanCodes集合* @param node  传入结点* @param code  路径： 左子结点是 0, 右子结点 1* @param stringBuilder 用于拼接路径*/private static void getCodes(Node node, String code, StringBuilder stringBuilder) {StringBuilder stringBuilder2= new StringBuilder(stringBuilder);//将code 加入到 stringBuilder2stringBuilder2.append(code);if(node != null) { //如果node == null不处理//判断当前node 是叶子结点还是非叶子结点if(node.data == null) { //非叶子结点//递归处理//向左递归getCodes(node.left, "0", stringBuilder2);//向右递归getCodes(node.right, "1", stringBuilder2);} else { //说明是一个叶子结点//就表示找到某个叶子结点的最后huffmanCodes.put(node.data, stringBuilder2.toString());}}}//为了调用方便，我们重载 getCodesprivate static Map<Byte, String> getCodes(Node root) {if(root == null) {return null;}//处理root的左子树getCodes(root.left, "0", stringBuilder);//处理root的右子树getCodes(root.right, "1", stringBuilder);return huffmanCodes;}

测试：

   public static void main(String[] args) {String s="i like java do you like java too?";List<Node> nodes = getNodes(s.getBytes());Node root= createHuffmanTree(nodes);System.out.println("得到霍夫曼编码表");Map<Byte, String> map = getCodes(root);System.out.println(map);
}
得到霍夫曼编码表
{32=00, 97=010, 100=11000, 101=11111, 105=1110, 106=1000, 107=1001, 108=1010, 111=011, 116=11001, 117=11010, 118=1011, 121=11011, 63=11110}

3.通过生成的赫夫曼编码表，返回一个赫夫曼编码 压缩后的byte[]

  /*** @param bytes 这时原始的字符串对应的 byte[]* @param huffmanCodes 生成的赫夫曼编码map* @return 返回赫夫曼编码处理后的 byte[]* 举例： String content = "i like java do you like java too?"; =》 byte[] contentBytes = content.getBytes();* 返回的是 字符串 "1010100010111111110010001011111111001000101111111100100101001101110001110000011011101000111100101000101111111100110001001010011011100"* => 对应的 byte[] huffmanCodeBytes  ，即 8位对应一个 byte,放入到 huffmanCodeBytes* huffmanCodeBytes[0] =  10101000(补码) => byte  [推导  10101000=> 10101000 - 1 => 10100111(反码)=> 11011000= -88 ]* huffmanCodeBytes[1] = -88*/private static byte[] zip(byte[] bytes, Map<Byte, String> huffmanCodes) {//1.利用 huffmanCodes 将  bytes 转成  赫夫曼编码对应的字符串StringBuilder stringBuilder = new StringBuilder();//遍历bytes 数组for(byte b: bytes) {stringBuilder.append(huffmanCodes.get(b));}//将 "1010100010111111110..." 转成 byte[]//统计返回  byte[] huffmanCodeBytes 长度//一句话 int len = (stringBuilder.length() + 7) / 8;int len;if(stringBuilder.length() % 8 == 0) {len = stringBuilder.length() / 8;} else {len = stringBuilder.length() / 8 + 1;}//创建 存储压缩后的 byte数组byte[] huffmanCodeBytes = new byte[len];int index = 0;//记录是第几个bytefor (int i = 0; i < stringBuilder.length(); i += 8) { //因为是每8位对应一个byte,所以步长 +8String strByte;if(i+8 > stringBuilder.length()) {//不够8位strByte = stringBuilder.substring(i);}else{strByte = stringBuilder.substring(i, i + 8);}//将strByte 转成一个byte,放入到 huffmanCodeByteshuffmanCodeBytes[index] = (byte)Integer.parseInt(strByte, 2);index++;}return huffmanCodeBytes;}

测试：

   public static void main(String[] args) {String s="i like java do you like java too?";List<Node> nodes = getNodes(s.getBytes());Node root= createHuffmanTree(nodes);Map<Byte, String> map = getCodes(root);byte[] bytes = zip(s.getBytes(), map);System.out.println(Arrays.toString(bytes));}   [-30, -70, 126, 66, -76, 97, -101, 122, 43, -89, -28, 43, 70, 91, 30]  

4.完成数据的解压

思路：将huffmanCodeBytes [-30, -70, 126, 66, -76, 97, -101, 122, 43, -89, -28, 43, 70, 91, 30] 转成 赫夫曼编码对应的二进制的字符串 "1010100010111…"对照 赫夫曼编码 生成原来的字符串。

    /** @param b 传入的 byte 将一个byte 转成一个二进制的字符串* @param flag 标志是否需要补高位如果是true ，表示需要补高位，如果是false表示不补, 如果是最后一个字节，无需补高位* @return 是该b 对应的二进制的字符串，（注意是按补码返回）*/private static String byteToBitString(boolean flag, byte b) {//使用变量保存 bint temp = b; //将 b 转成 int//如果是正数我们还存在补高位if(flag) {temp |= 256; //按位与 256  1 0000 0000  | 0000 0001 => 1 0000 0001}String str = Integer.toBinaryString(temp); //返回的是temp对应的二进制的补码if(flag) {return str.substring(str.length() - 8);} else {return str;}}

 //编写一个方法，完成对压缩数据的解码/**** @param huffmanCodes 赫夫曼编码表 map* @param huffmanBytes 赫夫曼编码得到的字节数组* @return 就是原来的字符串对应的数组*/private static byte[] decode(Map<Byte,String> huffmanCodes, byte[] huffmanBytes) {//1. 先得到 huffmanBytes 对应的 二进制的字符串 ， 形式 1010100010111...StringBuilder stringBuilder = new StringBuilder();//将byte数组转成二进制的字符串for(int i = 0; i < huffmanBytes.length; i++) {byte b = huffmanBytes[i];//判断是不是最后一个字节boolean flag = (i == huffmanBytes.length - 1);stringBuilder.append(byteToBitString(!flag, b));}//把字符串安装指定的赫夫曼编码进行解码//把赫夫曼编码表进行调换，因为反向查询 a->100 100->aMap<String, Byte>  map = new HashMap<String,Byte>();for(Map.Entry<Byte, String> entry: huffmanCodes.entrySet()) {map.put(entry.getValue(), entry.getKey());}//创建一个集合，存放byteList<Byte> list = new ArrayList<>();//i 可以理解成就是索引,扫描 stringBuilderfor(int  i = 0; i < stringBuilder.length(); ) {int count = 1; // 小的计数器boolean flag = true;Byte b = null;while(flag) {//1010100010111...//递增的取出 key 1String key = stringBuilder.substring(i, i+count);//i 不动，让count移动，指定匹配到一个字符b = map.get(key);if(b == null) {//说明没有匹配到count++;}else {//匹配到flag = false;}}list.add(b);i += count;//i 直接移动到 count}//当for循环结束后，我们list中就存放了所有的字符  "i like java do you like java too?"//把list 中的数据放入到byte[] 并返回byte b[] = new byte[list.size()];for(int i = 0;i < b.length; i++) {b[i] = list.get(i);}return b;}

测试：

 public static void main(String[] args) {String s="i like java do you like java too?";List<Node> nodes = getNodes(s.getBytes());Node root= createHuffmanTree(nodes);Map<Byte, String> map = getCodes(root);byte[] bytes = zip(s.getBytes(), map);byte[] bytes1 = decode(map, bytes);System.out.println("原来的字符串："+new String(bytes1));}原来的字符串：i like java do you like java too?

文件的压缩和解压缩

文件的压缩

 /**** @param srcFile 你传入的希望压缩的文件的全路径* @param dstFile 我们压缩后将压缩文件放到哪个目录*/public static void zipFile(String srcFile, String dstFile) {//创建输出流OutputStream os = null;ObjectOutputStream oos = null;//创建文件的输入流FileInputStream is = null;try {//创建文件的输入流is = new FileInputStream(srcFile);//创建一个和源文件大小一样的byte[]byte[] b = new byte[is.available()];//读取文件is.read(b);//直接对源文件压缩byte[] huffmanBytes = huffmanZip(b);//创建文件的输出流, 存放压缩文件os = new FileOutputStream(dstFile);//创建一个和文件输出流关联的ObjectOutputStreamoos = new ObjectOutputStream(os);//把 赫夫曼编码后的字节数组写入压缩文件oos.writeObject(huffmanBytes); //我们是把//这里我们以对象流的方式写入 赫夫曼编码，是为了以后我们恢复源文件时使用//注意一定要把赫夫曼编码 写入压缩文件oos.writeObject(huffmanCodes);}catch (Exception e) {// TODO: handle exceptionSystem.out.println(e.getMessage());}finally {try {is.close();oos.close();os.close();}catch (Exception e) {// TODO: handle exceptionSystem.out.println(e.getMessage());}}}

测试：

 public static void main(String[] args) {//测试压缩文件String srcFile = "d://HuffmanTree.java";String dstFile = "d://HuffmanTree.zip";zipFile(srcFile, dstFile);System.out.println("压缩文件ok~~");
}压缩文件ok~~

文件的解压缩

 /**** @param zipFile 准备解压的文件* @param dstFile 将文件解压到哪个路径*/public static void unZipFile(String zipFile, String dstFile) {//定义文件输入流InputStream is = null;//定义一个对象输入流ObjectInputStream ois = null;//定义文件的输出流OutputStream os = null;try {//创建文件输入流is = new FileInputStream(zipFile);//创建一个和  is关联的对象输入流ois = new ObjectInputStream(is);//读取byte数组  huffmanBytesbyte[] huffmanBytes = (byte[])ois.readObject();//读取赫夫曼编码表Map<Byte,String> huffmanCodes = (Map<Byte,String>)ois.readObject();//解码byte[] bytes = decode(huffmanCodes, huffmanBytes);//将bytes 数组写入到目标文件os = new FileOutputStream(dstFile);//写数据到 dstFile 文件os.write(bytes);} catch (Exception e) {// TODO: handle exceptionSystem.out.println(e.getMessage());} finally {try {os.close();ois.close();is.close();} catch (Exception e2) {// TODO: handle exceptionSystem.out.println(e2.getMessage());}}}

测试：

 public static void main(String[] args) {
String zipFile = "d://HuffmanTree.zip";String dstFile = "d://HuffmanTree2.Java";unZipFile(zipFile, dstFile);System.out.println("解压成功!");}解压成功!

赫夫曼编码压缩文件注意事项

1. 如果文件本身就是经过压缩处理的，那么使用赫夫曼编码再压缩效率不会有明显变化, 比如视频,ppt 等等文件
2. 赫夫曼编码是按字节来处理的，因此可以处理所有的文件(二进制文件、文本文件)
3. 如果一个文件中的内容，重复的数据不多，压缩效果也不会很明显.