亚洲好骚综合-亚洲黄色录像-亚洲黄色网址-亚洲黄色网址大全-99久久99久久-99久久99久久精品国产

您的位置:軟件測試 > 開源軟件測試 > 開源單元測試工具 >
使用MRUnit實現MapReduce程序的單元測試
作者:網絡轉載 發布時間:[ 2013/4/3 14:05:25 ] 推薦標簽:

Hadoop的MapReduce程序的測試,一直比較麻煩。因為不方便抽取出來,作為獨立的Junit測試。所以很多時候,我們都是寫一個Main函數,

然后在里面手工調用Map或者Reduce,用System.out.println打印出結果,人眼測試,而且還要判斷OutputCollector是否為空,不然直接

Main調用還會拋NullPointerException。
這樣大的弊端,是無法實現自動化的斷言判斷,達到測試驅動和檢查的目的。那么對程序的任何改動,都需要放到Hadoop集群上,跑個十

幾分鐘才能肯定到底對不對。我們需要一個更快的方法,能夠方便的自動化的對MR程序進行測試,從而達到測試驅動和敏捷開發的狀態。
What’s MRUnit:
MRUnit是由Couldera公司開發的專門針對Hadoop中編寫MapReduce單元測試的框架,基本原理是JUnit4和EasyMock。MR是Map和Reduce的縮

寫。MRUnit框架非常精簡,其核心的單元測試依賴于JUnit。而且MRUnit實現了一套Mock對象來控制OutputCollector的操作,從而可以攔截

OutputCollector的輸出,和我們的期望結果進行比較,達到自動斷言的目的。
Why MRUnit:
有了MRUnit,對MR程序做重構的時候,只要明確輸入和輸出,可以寫出單元測試,并且在放到群集校驗前進行試驗,從而節省時間和資源

,也能更快的定位到問題。
而進行重構的話,只要寫得足夠詳細的單元測試都是綠色的話,那么基本可以保證在群集運行的結果也是正常的。
How MRUnit:
MRUnit不在Apache標準的Hadoop的發行版中,而是在Couldera公司的增強版本中hadoop-0.20.1+133.tar.gz的contribmrunithadoop-

0.20.1+169.56-mrunit.jar,已經貼在附件中。只要把它和Junit4的jar添加到Hadoop程序項目的classpath中,可以使用MRUnit了。
MRUnit包含四種Driver:MapDriver,ReduceDriver,MapReduceDriver,PipelineMapReduceDriver。可以根據自己的需要選擇合適的

Driver。
MRUnit Example:

給出一個Reduce的很簡單例子,Reduce的邏輯是把Value中的各個值相加。

public class ExtractKeywordTest {
private Reducer<Text, Text, Text, Text> reducer;
private ReduceDriver<Text, Text, Text, Text> reduceDriver;
@Before
public void setUp() throws Exception {
reducer = new ExtractKeywordAcookie.Reduce();
reduceDriver = new ReduceDriver<Text, Text, Text, Text>(reducer);
}
@Test
public void testReduce() {
List<Text> values = new ArrayList<Text>();
values.add(new Text(1.0_0.1));
values.add(new Text(2.0_0.2));
values.add(new Text(3.0_0.3));
reduceDriver.withInput(new Text(20100106_00_IBM), values)
.withOutput(new Text(20100106_00_IBM_6.00_0.60_), null)
.runTest();
}

軟件測試工具 | 聯系我們 | 投訴建議 | 誠聘英才 | 申請使用列表 | 網站地圖
滬ICP備07036474 2003-2017 版權所有 上海澤眾軟件科技有限公司 Shanghai ZeZhong Software Co.,Ltd
主站蜘蛛池模板: 无遮挡污视频 | 草草视频在线观看最新 | 可以免费看黄的网址 | 波多野结衣一区二区三区88 | 欧美8888 | 国产在线一区二区三区四区 | 亚洲成年人在线 | 1024cc香蕉在线观看免费 | 成人日韩 | 免费看片网址 | 国产精品自在欧美一区 | 成人免费v片在线观看 | 国产成人精品免费视频网页大全 | 黄色视屏免费 | 国产精品欧美在线不卡 | 久久天天躁狠狠躁夜夜呲 | 天天操天天曰 | 亚洲国产欧美日韩 | 国产一二三区精品 | 亚洲视频欧美视频 | 免费国产精品视频 | 欧美一级视频免费 | 毛片在线播放视频 | 黄色毛片在线 | 天天操天天舔 | 亚洲性色永久网址 | 国模啪啪一区二区三区 | 精品久久久久久中文字幕一区 | 丁香六月综合网 | 综合网天天操天天射 | japanese55老妇成熟乱 | 成人短视频在线观看免费 | 午夜aaaaaaaaa视频在线 | 狠狠狠综合色 | 日韩精品视频免费网址 | 中文字幕日韩精品在线 | 免费黄网站在线观看 | 中国一级毛片国产高清 | 在线精品视频成人网 | 亚洲欧美另类国产综合 | 亚洲成人在线免费观看 |