有些頁(yè)面是通過(guò)js以及ajax動(dòng)態(tài)加載的，例如：花瓣網(wǎng)。這時(shí)如果我們直接分析原始頁(yè)面的html，是得不到有效的信息的。當(dāng)然，因?yàn)闊o(wú)論怎樣動(dòng)態(tài)加載，基礎(chǔ)信息總歸是包含在初始頁(yè)面中得，所以我們可以用爬蟲(chóng)代碼來(lái)模擬js代碼，js讀取頁(yè)面元素值，我們也讀取頁(yè)面元素值;js發(fā)送ajax，我們拼湊參數(shù)、發(fā)送ajax并解析返回的json。這樣總歸是能做的，但是比較麻煩，有沒(méi)有比較省力的方法呢？比較好的方法大概是內(nèi)嵌一個(gè)瀏覽器了。
Selenium是一個(gè)模擬瀏覽器，進(jìn)行自動(dòng)化測(cè)試的工具，它提供一組API可以與真實(shí)的瀏覽器內(nèi)核交互。Selenium是跨語(yǔ)言的，有Java、C#、python等版本，并且支持多種瀏覽器，chrome、firefox以及IE都支持。
在Java項(xiàng)目中使用Selenium，需要做兩件事：
在項(xiàng)目中引入Selenium的Java模塊，以Maven為例：
<dependency> <groupId>org.seleniumhq.selenium</groupId> <artifactId>selenium-java</artifactId> <version>2.33.0</version> </dependency>
下載對(duì)應(yīng)的driver，以chrome為例：http://code.google.com/p/chromedriver/downloads/list
下載后，需要將driver的位置寫(xiě)到Java的環(huán)境變量里，例如我在mac下將其下載到了/Users/yihua/Downloads/chromedriver，則需要在程序里添加以下代碼(當(dāng)然在JVM參數(shù)里寫(xiě)-Dxxx=xxx也是可以的)：
System.getProperties().setProperty("webdriver.chrome.driver"，"/Users/yihua/Downloads/chromedriver");
Selenium的API挺簡(jiǎn)單的，核心是WebDriver，下面是動(dòng)態(tài)渲染頁(yè)面，并獲取終html的代碼：
@Test
public void testSelenium() {
System.getProperties().setProperty("webdriver.chrome.driver"， "/Users/yihua/Downloads/chromedriver");
WebDriver webDriver = new ChromeDriver();
webDriver.get("http://huaban.com/");
WebElement webElement = webDriver.findElement(By.xpath("/html"));
System.out.println(webElement.getAttribute("outerHTML"));
webDriver.close();
}
值得注意的是，每次new ChromeDriver()，Selenium都會(huì)建立一個(gè)Chrome進(jìn)程，并使用一個(gè)隨機(jī)端口在Java中與chrome進(jìn)程進(jìn)行通信來(lái)交互。由此可見(jiàn)有兩個(gè)問(wèn)題：
因此如果直接關(guān)閉Java程序，Chrome進(jìn)程可能是無(wú)法關(guān)閉的。這里需要顯示的調(diào)用webDriver.close()來(lái)關(guān)閉進(jìn)程。
創(chuàng)建進(jìn)程的開(kāi)銷還是比較大的，盡量對(duì)webDriver進(jìn)行復(fù)用會(huì)比較好。可惜根據(jù)官方的文檔，webDriver不是線程安全的，所以我們需要建立一個(gè)webDriver池來(lái)保存它們。不清楚Selenium是否有這樣的接口，反正我是自己寫(xiě)了一個(gè)WebDriverPool來(lái)完成這個(gè)任務(wù)。
