一，ROUGE

ROUGE是由微软亚洲研究院知识挖掘组(The Knowledge Mining group at Microsoft Research Asia)调研经理(research manager) Chin-Yew Lin 研发的，用于摘要的自动评价，通过比较机器自动生成的摘要(called system_summary)与人工生成的摘要(called model_summary, 认为它是理想的)中重叠单元的数量，来评价机器自动生成的摘要。该方法中考虑的重叠单元有n-gram, word sequences, word-pairs等，并提出了四个测量标准ROUNG-N, ROUNG-L, ROUNG-W, ROUNG-S [1]。

该包用Perl语言编写，目前版本为ROUGE-1.5.5。

1，因为DOM要求perl版本要在5.6.0以上，所以先在终端用perl -v查看一下当前版本，版本较低的话先升级一下perl

2，进入cpan命令

（此处省略若干日志信息）

3，安装XML::Parser

（此处省略若干日志信息）

注意：如果出现报错：

则是因为缺少Expat组件，需要用管理员权限执行：

sudo apt-get install expat

sudo apt-get install libexpat1-dev

4，安装XML::RegExp

5，安装LWP::UserAgent（时间略长）

（此处省略若干日志信息）

6，安装XML::Parser::PerlSAX

7，安装XML::DOM

（省略若干日志信息）

8，安装DB_File

此处报错为libdb，说明未安装Berkeley DB library，或安装不正确。应先退出cpan命令再输入如下命令

sudo apt-get install libdb-dev

如果还没有用，可能是没有安装对应的版本，先使用如下命令，先查看当前Berkeley DB library 的版本，然后再安装对应的版本.

sudo apt-cache search libdb
sudo apt-get install libdb5.3-dev

9，下载ROUGE-1.5.5（二者应该都可）

https://github.com/andersjo/pyrouge/tree/master/tools/ROUGE-1.5.5

https://github.com/summanlp/evaluation/tree/master/ROUGE-RELEASE-1.5.5

10，设置ROUGE环境变量

假设你解压的ROUGE-1.5.5在/usr/local/RELEASE-1.5.5，则：

sudo edit etc/profile %%%这样对所有用户都有效，若希望仅对当前用户有效则输入sudo gedit ~/.profile

在文本编辑器末尾添加：

export ROUGE_EVAL_HOME="$ROUGE_EVAL_HOME:/usr/local/RELEASE-1.5.5/data"

11，测试安装是否成功

以上步骤都进行完毕后，可以进入ROUGE文件所在路径（即RELEASE-1.5.5），然后运行一下runROUGE-test.pl文件。

perl runROUGE-test.pl

如果有以下输出，且sample-output路径下各个文件都有内容的话，基本是安装成功了

../ROUGE-1.5.5.pl -e ../data -c 95 -2 -1 -U -r 1000 -n 4 -w 1.2 -a ROUGE-test.xml > ../sample-output/ROUGE-test-c95-2-1-U-r1000-n4-w1.2-a.out
../ROUGE-1.5.5.pl -e ../data -c 95 -2 -1 -U -r 1000 -n 4 -w 1.2 -a -m ROUGE-test.xml > ../sample-output/ROUGE-test-c95-2-1-U-r1000-n4-w1.2-a-m.out
../ROUGE-1.5.5.pl -e ../data -c 95 -2 -1 -U -r 1000 -n 4 -w 1.2 -a -m -s ROUGE-test.xml > ../sample-output/ROUGE-test-c95-2-1-U-r1000-n4-w1.2-a-m-s.out
^C../ROUGE-1.5.5.pl -e ../data -c 95 -2 -1 -U -r 1000 -n 4 -w 1.2 -l 10 -a ROUGE-test.xml > ../sample-output/ROUGE-test-c95-2-1-U-r1000-n4-w1.2-l10-a.out
../ROUGE-1.5.5.pl -e ../data -c 95 -2 -1 -U -r 1000 -n 4 -w 1.2 -l 10 -a -m ROUGE-test.xml > ../sample-output/ROUGE-test-c95-2-1-U-r1000-n4-w1.2-l10-a-m.out
../ROUGE-1.5.5.pl -e ../data -c 95 -2 -1 -U -r 1000 -n 4 -w 1.2 -l 10 -a -m -s ROUGE-test.xml > ../sample-output/ROUGE-test-c95-2-1-U-r1000-n4-w1.2-l10-a-m-s.out
../ROUGE-1.5.5.pl -e ../data -c 95 -2 -1 -U -r 1000 -n 4 -w 1.2 -b 75 -a ROUGE-test.xml > ../sample-output/ROUGE-test-c95-2-1-U-r1000-n4-w1.2-b75-a.out
../ROUGE-1.5.5.pl -e ../data -c 95 -2 -1 -U -r 1000 -n 4 -w 1.2 -b 75 -a -m ROUGE-test.xml > ../sample-output/ROUGE-test-c95-2-1-U-r1000-n4-w1.2-b75-a-m.out
../ROUGE-1.5.5.pl -e ../data -c 95 -2 -1 -U -r 1000 -n 4 -w 1.2 -b 75 -a -m -s ROUGE-test.xml > ../sample-output/ROUGE-test-c95-2-1-U-r1000-n4-w1.2-b75-a-m-s.out
../ROUGE-1.5.5.pl -e ../data -3 HM -z SIMPLE DUC2002-BE-F.in.26.lst 26 > ../sample-output/DUC2002-BE-F.in.26.lst.out
../ROUGE-1.5.5.pl -e ../data -3 HM DUC2002-BE-F.in.26.simple.xml 26 > ../sample-output/DUC2002-BE-F.in.26.simple.out
../ROUGE-1.5.5.pl -e ../data -3 HM -z SIMPLE DUC2002-BE-L.in.26.lst 26 > ../sample-output/DUC2002-BE-L.in.26.lst.out
../ROUGE-1.5.5.pl -e ../data -3 HM DUC2002-BE-L.in.26.simple.xml 26 > ../sample-output/DUC2002-BE-L.in.26.simple.out
../ROUGE-1.5.5.pl -e ../data -n 4 -z SPL DUC2002-ROUGE.in.26.spl.lst 26 > ../sample-output/DUC2002-ROUGE.in.26.spl.lst.out
../ROUGE-1.5.5.pl -e ../data -n 4 DUC2002-ROUGE.in.26.spl.xml 26 > ../sample-output/DUC2002-ROUGE.in.26.spl.out

二，pyrouge

1，进入conda环境下使用pip安装pyrouge

pip install pyrouge

2，假设之前安装的ROUGE-1.5.5在/usr/local/ROUGE-1.5.5, 运行指令

pyrouge_set_rouge_path /usr/local/ROUGE-1.5.5

3，检查是否安装正确

python -m pyrouge.test

若看到以下信息表示安装正确了

Ran 10 tests in 18.055s

三，Windows 系统下配置 pyrouge

可参照linux系统下的配置。

https://blog.csdn.net/MerryCao/article/details/73477543

在执行runRouge-test.pl进行验证时，可能会出现如下报错

报错1：‘..’既不是内部或外部命令，也不是可运行的程序

原因：系统将‘..’当做执行命令了

解决：修改runRouge-test.pl，将$ROUGE 变量由../ROUGE-1.5.5.pl修改为ROUGE-1.5.5.pl

报错2：Cannot open exception db file for reading

解决方法：删除pyrouge/tools/ROUGE-1.5.5/data下的WordNet-2.0.exc.db，然后进入WordNet-2.0-Exceptions文件夹下运行

buildExeptionDB.pl ../WordNet-2.0-Exceptions ../smart_common_words.txt ../WordNet-2.0.exc.db

报错3：“can t spawn cmd.exe......”

解决方法：查看环境变量，若环境变量缺少%SystemRoot%\System32，加进去即可

安装rouge和pyrouge

一，ROUGE

1，因为DOM要求perl版本要在5.6.0以上，所以先在终端用perl -v查看一下当前版本，版本较低的话先升级一下perl

2，进入cpan命令

3，安装XML::Parser

注意：如果出现报错：

4，安装XML::RegExp

5，安装LWP::UserAgent（时间略长）

6，安装XML::Parser::PerlSAX

7，安装XML::DOM

8，安装DB_File

9，下载ROUGE-1.5.5（二者应该都可）

10，设置ROUGE环境变量

11，测试安装是否成功

二，pyrouge

1，进入conda环境下使用pip安装pyrouge

2，假设之前安装的ROUGE-1.5.5在/usr/local/ROUGE-1.5.5, 运行指令

3，检查是否安装正确

三，Windows 系统下配置 pyrouge

报错1：‘..’既不是内部或外部命令，也不是可运行的程序

报错2：Cannot open exception db file for reading

报错3：“can t spawn cmd.exe......”

相关文章