领先的Java HTMLparsing器有什么优点和缺点?

searchSO和Google,我发现有几个Java HTMLparsing器一直被各方推荐。 不幸的是,很难find有关各个图书馆的长处和短处的信息。 我希望有些人花了一些比较这些图书馆,并分享他们学到的东西。

这是我所看到的:

  • JTidy
  • NekoHTML
  • jsoup
  • TagSoup

如果有一个我曾经错过的重要parsing器,我也很乐意听到它的优点和缺点。

谢谢!

6 Solutions collect form web for “领先的Java HTMLparsing器有什么优点和缺点?”

一般

几乎所有已知的HTMLparsing器都实现了W3C DOM API (JAXP API的一部分,用于XML处理的Java API),并为您提供了一个可供JAXP API直接使用的org.w3c.dom.Document 。 主要的差异通常在parsing器的特征中find。 大多数parsing器在一定程度上是宽容和宽松的,与非格式化的HTML(“tagsoup”),如JTidy , NekoHTML , TagSoup和HtmlCleaner 。 您通常使用这种HTMLparsing器来“整理”HTML源代码(例如,用XML有效的<br />replaceHTML有效的代码),以便您可以使用W3C DOM和JAXP API。

唯一跳出来的是HtmlUnit和Jsoup 。

的HtmlUnit

HtmlUnit提供了一个完全自己的API,它使您能够以编程方式像webbrowser一样行事。 即input表单值,单击元素,调用JavaScript等等。 它不仅仅是一个HTMLparsing器。 这是一个真正的“无GUI网页浏览器”和HTMLunit testing工具。

Jsoup

Jsoup还提供了一个完全自己的API。 它为您提供了使用类似jQuery的CSSselect器来select元素的可能性,并提供了一个灵活的API来遍历HTML DOM树以获取感兴趣的元素。

特别是HTML DOM树的遍历是Jsoup的主要优势。 使用org.w3c.dom.Document知道使用详细的NodeListNode API遍历DOM是多么的痛苦。 诚然, XPath使生活变得更加简单,但是,它仍然是另一种学习曲线,最终可能会变得冗长。

下面是一个例子,它使用像JTidy这样的“简单”W3C DOMparsing器,结合XPath来提取问题的第一段和所有答复者的名字(我使用XPath,因为没有它,代码需要收集感兴趣的信息否则将成长10倍,没有写实用程序/帮手的方法)。

 String url = "http://stackoverflow.com/questions/3152138"; Document document = new Tidy().parseDOM(new URL(url).openStream(), null); XPath xpath = XPathFactory.newInstance().newXPath(); Node question = (Node) xpath.compile("//*[@id='question']//*[contains(@class,'post-text')]//p[1]").evaluate(document, XPathConstants.NODE); System.out.println("Question: " + question.getFirstChild().getNodeValue()); NodeList answerers = (NodeList) xpath.compile("//*[@id='answers']//*[contains(@class,'user-details')]//a[1]").evaluate(document, XPathConstants.NODESET); for (int i = 0; i < answerers.getLength(); i++) { System.out.println("Answerer: " + answerers.item(i).getFirstChild().getNodeValue()); } 

下面是一个例子,如何与Jsoup完全相同:

 String url = "http://stackoverflow.com/questions/3152138"; Document document = Jsoup.connect(url).get(); Element question = document.select("#question .post-text p").first(); System.out.println("Question: " + question.text()); Elements answerers = document.select("#answers .user-details a"); for (Element answerer : answerers) { System.out.println("Answerer: " + answerer.text()); } 

你看到差异吗? 这不仅仅是代码less,但是如果你已经有了CSSselect器的经验(比如开发网站和/或使用jQuery),Jsoup也相对容易掌握。

概要

每个人的利弊现在应该清楚了。 如果您只是想使用标准的JAXP API来遍历它,那么请参阅第一组提到的parsing器。 他们中有很多人。 select哪一个取决于它提供的function(HTML清理是如何轻松实现的?是否有一些监听器/拦截器和特定标签的清理器?)和库的健壮性(多久更新一次/维护/修复? )。 如果你想unit testingHTML,那么HtmlUnit是要走的路。 如果你喜欢从HTML中提取特定的数据(这往往是现实世界的要求),那么Jsoup就是要走的路。

本文比较以下parsing器的某些方面:

  • NekoHTML
  • JTidy
  • TagSoup
  • HtmlCleaner

这绝不是一个完整的总结,它是从2008年开始的。但是你可能会觉得它有帮助。

将validator.nu HTML Parser添加到您的列表中,将Java中的HTML5parsingalgorithm的实现添加到列表中。

另一方面,它是专门为匹配HTML5而devise的,它是HTML5validation程序的核心,极有可能以非常高的准确度匹配未来浏览器的parsing行为。

不利的一面是,浏览器的传统parsing并不像这样,HTML5仍然在草案中,可能会有所变化。

在实践中,这样的问题只影响不明确的angular落案例,并且实际上是一个优秀的parsing器。

我发现Jericho HTML Parser写得很好,保持最新(许多parsing器不是),没有依赖关系,并且易于使用。

在使用Java中的大多数HTMLparsing库之后,我只是添加到@MJB答案中,有一个巨大的pro / con被省略:parsing器保留input和输出上的HTML的格式和不正确性。

这是大多数parsing器,当你改变文档将会消除DOM的空白,注释和不正确,特别是如果它们是XML类库。

Jericho是我所知道的唯一一个parsing器,它允许您在保留空白格式和HTML(如果有的话)不正确的情况下操作讨厌的HTML。

另外两个选项是HTMLCleaner和HTMLParser 。

我已经尝试了大部分parsing器,用于我一直在开发的爬虫/数据提取框架。 我使用HTMLCleaner进行大量的数据提取工作。 这是因为它支持具有名称空间的HTML,XHTML,HTML 5的合理的现代方言,它支持DOM,因此可以将其与Java内置的XPath实现结合使用 。

使用HTMLCleaner比使用其他一些parsing器要容易得多:例如,JSoup支持类似DOM的接口,而不是DOM,所以需要一些程序集 。 杰里科有一个SAX线接口,所以需要一些工作,虽然Sujit Pal有一个很好的描述如何做到这一点,但最终HTMLCleaner只是工作得更好。

我还使用HTMLParser和Jericho进行表提取任务,取代了使用Perl的libhtml-tableextract-perl编写的一些代码。 我使用HTMLParser过滤表格的HTML,然后使用杰里科parsing它。 我同意MJB和Adam的意见,Jericho在某些情况下是好的,因为它保留了底层的HTML。 它有一种非标准的SAX接口,所以XPath处理HTMLCleaner比较好。

在Java中parsingHTML是一个令人惊讶的难题,因为所有的parsing器似乎都在某些types的格式错误的HTML内容上挣扎。

  • 为什么不这reinterpret_cast编译?
  • 评估一串简单的mathexpression式
  • 如何解决php json_decode中的JSON_ERROR_UTF8错误?
  • 将stringparsing为Float或Int
  • 获取给定选项的INI文件的行号的跨平台方法
  • FBSDKlogin错误代码:308在Objective-C中
  • 你如何parsing一个在Ruby中的URL来获得主域名?
  • 在F#中同时进行Leading和parsing
  • Convert.ToBoolean(string)和Boolean.Parse(string)有什么区别?
  • 在android中获取并parsingCSV文件
  • 如何用简单的JSON库将json文件读入java