【零基础】快速入门爬虫框架HtmlUnit

article/2025/10/15 0:10:39

迅速的HtmlUnit

  htmlunit是一款开源的web页面分析工具,理论上来说htmlunit应用于网页的自动化测试,但是相对来说更多人使用它来进行小型爬虫的快速开发。使用htmlunit进行爬虫开发不仅是其运行速度快,更重要的是此框架上手更为容易(相对于POST、selenium)。

基本环境

  1、java,首先你得安装好javaSDK(版本随意)、编译器(eclipse)

  2、HtmlUnit,项目以jar文件的形式发布,可以上官网下载最新版本(htmlunit-2.35.0-bin.zip)并解压,所有jar文件都在lib目录中。文末附下载链接

创建项目、引入jar包

  1、打开eclipse,新建一个java项目

  2、右键项目选择属性(Properties)

  3、选择“java Build Path”->“Libraries”->“Add External JARs”

  4、找到前面下载的jar文件(htmlunit-2.35.0->lib目录),将所有jar文件选中,点击“打开”按钮,而后点击“OK”按钮,则htmlunit所有jar文件就引入了我们新建的项目,在此项目中也就可以直接使用htmlunit提供的各种功能来实现网页分析。

简单实例

  1、新建一个class文件

  2、输入下述代码

  运行一下看看是否得到了页面的xml代码以及百度网站首页的文本内容


http://chatgpt.dhexx.cn/article/E6cFqyKv.shtml

相关文章

保研之路——哈深计算机预推免

哈深计算机预推免 个人情况高校复试参与情况哈工深计算机学院直硕(7.20)结语 嗯!抱着不白花这么多路费住宿费的初衷准备写一个保研经验贴,希望学弟学妹少花点钱吧orz 我的战术大概是只要学校给我发了邀请我就去(除了时…

哈工大计算机学院统一复试划线,哈工大计算机专业,复试比例101%,擦线党没戏了...

原标题:哈工大计算机专业,复试比例101%,擦线党没戏了 这几天哈工大各院系公布了复试线及复试名单,其中「计算机学院」的复试考生比例居然是101%。 哈工大2020年计算机专业的考研复试线为320分(学术学位),以及专业学位的…

【2024考研】哈工大计算机考研854会改成408吗?优缺点分析?怎么复习?哈工大卓越工程师学院点击就送吗?

文章目录 1.哈工大计算机考研专业课的发展历史2.哈工大卓越工程师学院点击就送吗?3.哈工大计算机854会改成408吗?4.哈工大计算机854的优缺点分析4.1 优点4.2 缺点 5.哈工大计算机854怎么复习?5.1 计算机系统(CSAPP)复习指导5.2 计算机网络复习…

【考研】哈尔滨工业大学计算机考研854复习资料

哈尔滨工业大学计算机考研854复习资料 0. 考研初试&复试经验贴1. 初试专业课复习资料资源1.1 复习资料下载1.2 复习资料清单 2. 初试专业课复习资料使用指南2.1 CSAPP资料2.2 数据结构资料2.3 计算机网络资料 更新历史: 2022年4月22日完成初稿2022年5月7日加入…

计算机排名哈工大第三,国内计算机高校排名:哈工大稳坐第2,浙江大学第3,西电第8...

QS世界大学计算机H指数(H指数为混合量化指标,可用于评估研究人员的学术产出量和学术产出水平)前50名中,中国有9所(包括香港大学3所)上榜,前100名中有清华大学、哈工大学、浙江大学等14所世界一流大学建设高校,学校有西安电子科技大…

哈工大深圳计算机就业质量报告,多所高校公布毕业生平均年薪,南京大学和哈工大(深圳)数据亮眼...

原标题:多所高校公布毕业生平均年薪,南京大学和哈工大(深圳)数据亮眼 对于高中学子而言,在将来报考大学时,除了根据自己的兴趣爱好之外,还比较关注对应高校的就业率以及就业质量。毕竟将来大学毕业后还是要走向社会就业的。所以就业后的薪资待遇就成了大家乐意关注的一个点…

哈工大2021秋机器学习期末试题

哈工大2021秋机器学习期末试题 刚刚经历了机器学习复习和考试,这过程简直是太折磨了。 这门课的期末考试往年题还是很有参考价值的。所以我在考试的时候抽了点时间把期末题记了一下,希望能对学弟、学妹(如果有的话)考前复习有所…

哈尔滨工程大学计算机学院保研政策,哈工大保研条件(哈工大2019保研政策)

哈工大保研条件(哈工大2019保研政策) 2020-05-08 10:50:43 共10个回答 去年保研的确实增加了,主要是总校的增加了(40%多),深圳和威海的基本上变化不大,保研率没有超过40%.但是值得特别注意的是,复试中取消了前25%免除笔试的原则.以至于好多总校和威海前25%的同学虽进入复试,却因…

2020哈工大(威海)计算机夏令营面试

2020哈工大威海计算机夏令营面试 6月底收到哈工大(威海)的入营通知,当时我正在参加中南大学的夏令营,因为我校往届也有好多学长学姐保研到哈威,所以入营概率相对较大,也算是我夏令营拿到的为数不多的入营,另外三个分别…

哈工程计算机系保研率,武汉理工VS哈工程,20保研率哈工程高,哪所值得考?学长精准分析...

对于国内的很多工科高校,由于主打的专业都是国民经济不可或缺的专业,但由于近几年实体经济不景气,很多考生都转而报考计算机相关专业、财经类专业,以前很吃香的航空航天类、电气类、材料类专业都不再受热捧,但这类学校…

哈师大计算机学院宿舍,新生攻略|哈师大所有的“秘密”都在这了

原标题:新生攻略|哈师大所有的“秘密”都在这了 你好,我是哈师大17级的新生,我想全面的了解一下咱们学校,应该去哪了解呀? 这你可算是问对人了,听说最近哈尔滨师范大学学生会的官方微信平台出了非常全的新生攻略呢,快关注它们的公众号(hsdxsh)看看吧! 哇!这么棒!我要…

2020哈工程上岸初复试经验

2020哈工程上岸初复试经验 写在前面: 2020年注定是在研究生考试中被记住的一年,这一年考研的同学们都经历了太多的考验,有幸运的,也有不幸的。经过了漫长的等待,终于,拟录取名单下来了,我也很幸…

2019哈工大计算机考研复试,哈工大计算机专业,复试比例101%,擦线党没戏了...

这几天哈工大各院系公布了复试线及复试名单,其中「计算机学院」的复试考生比例居然是101%。 哈工大2020年计算机专业的考研复试线为320分(学术学位),以及专业学位的电子信息,也是320分,哈工大公布的校线也是这个分数,院…

哈工大计算机报深圳还是本部,哈工大本部和哈工大深圳哪个比较好?

眼下各省市的高考成绩陆续公布,考生和家长们进入了填报志愿的关键时期,这个时候我们会发现一个问题:有些学校会有很多分校或分校区,比如东北大学和东北大学秦皇岛分校、山东大学和山东大学威海校区等,这些校区和分校跟…

哈工程和杭电计算机,哈工程算名校吗?为什么说千万别来哈工程?

选择科目 测一测我能上哪些大学 选择科目 领取你的专属报告 > 选择省份 关闭 请选择科目 确定 v> “哈工程”一般指哈尔滨工程大学,这是一所直属国家工业和信息化部,和教育部、黑龙江省、哈尔滨市共建的全国重点大学。网上有说法是“千万别来哈工程…

RHCE第三次作业

综合练习:请给openlab搭建web网站 ​ 1.基于域名[www.openlab.com](http://www.openlab.com)可以访问网站内容为 welcome to openlab!!! [rootlocalhost ~]# mount /dev/sr0 /mnt #挂载本地光盘 mount: /mnt: /dev/sr0 already mounted on /run/media/zhou2002/RH…

c++的unsigned int和int类型

就如同int a;一样,int 也能被其它的修饰符修饰。除void类型外,基本数据类型之前都可以加各种类型修饰符,类型修饰符有如下四种: 1.signed----有符号,可修饰char、int。Int是默认有符号的。 2.unsigned-----无符号&…

char 和 unsigned char 的区别

一.基本原理 1、char取值范围是 -128~127。 2、我们先来看 signed char的最大值。 最高位是 符号位, 0 代表正数; 1 代表负数。0 1 1 1 1 1 1 1 这个值等于 2^0 2^1 2^2 2^3 2^4 2^5 2^6 127 。 也有一个简便计算方法&#xff1a…

C/C++ unsigned char*类型

C unsigned char *是表示无符号字符指针的意思。 细节如下: char 前面添加unsigned表示是无符号的字符,也就是不可以存储负数; 在数据类型后面加*表示指针的意思; 指针是C和C的一种特色数据类型&#x…

C/C++ unsigned 详细探讨

unsigned常应用于无符号数的表示,初学者可能并不知道其在具体应用中的潜在威胁,本文通过一些实例来具体说明。 unsigned char text_digit -11; unsigned修饰无符号数,-11的补码是11的原码(0000 1011)取反加一&#…