經(jīng)常有人問我web service的性能測(cè)試是用JMeter好還是SoapUI好。說句實(shí)話這兩款都是非常的開源Web Service性能測(cè)試工具，簡(jiǎn)單地說哪個(gè)更好真不太容易。影響Web Service性能測(cè)試的因素太多到底誰的結(jié)果更準(zhǔn)確一些很多時(shí)候并不主要取決于測(cè)試工具。在soapUI官方網(wǎng)站上有一個(gè)文章比較了這兩款工具，我將要點(diǎn)抽出來加以分析希望能反映它們的特點(diǎn)。
JMeter在整個(gè)負(fù)載測(cè)試的優(yōu)越性是毋庸置疑的，它覆蓋了常見的各種測(cè)試類型，如HTTP， JDBC， JMS 和SOAP。單Web Service測(cè)試，作者做了一個(gè)簡(jiǎn)單的實(shí)驗(yàn)，但并沒有涉及太多的細(xì)節(jié)。
試驗(yàn)準(zhǔn)備：本地Web Service，運(yùn)行于JBoss 4.0.3SP1，每個(gè)簡(jiǎn)單請(qǐng)求在4種不同負(fù)載下執(zhí)行5000次，分別是1線程，5線程，10線程和25線程。在SoapUI中為簡(jiǎn)單起見均使用簡(jiǎn)單負(fù)載策略，并且五執(zhí)行延時(shí)。要分別記錄關(guān)閉連接和非關(guān)閉連接方式的數(shù)據(jù)。關(guān)閉連接方式是指每次請(qǐng)求完畢后關(guān)閉連接。反之則是讓連接仍然保持打開以等待下個(gè)請(qǐng)求，顯然會(huì)省去很多額外開銷。在JMeter中也可以做類似配置，如線程數(shù)為1，循環(huán)次數(shù)5000或線程數(shù)25，循環(huán)200次。
環(huán)境：WinXP SP2， Pentium M 1.8 1 G RAM， JRE 1.5.0_06.
結(jié)果：
其中帶*的是非關(guān)閉連接模式下測(cè)試的結(jié)果。從結(jié)果中看出Jmeter的測(cè)試值均較SoapUI偏大，但與UI連接關(guān)閉模式下執(zhí)行結(jié)果相差無幾。實(shí)驗(yàn)未給出JMeter命令行下的測(cè)試結(jié)果。但從經(jīng)驗(yàn)來講，命令行執(zhí)行方式避免了測(cè)試工具本身帶來的巨大資源消耗，更接近真實(shí)值。soapUI在命令行連接不關(guān)閉模式下TPS隨線程的增加在初期有明顯上升的。
從計(jì)時(shí)機(jī)制來看，JMeter 用的是System.currentTimeMillis()，而soapUI用的是更為精確的System.nanoTime().
綜上所述（文中沒有點(diǎn)明，但這是顯而易見的），soapUI在單純的Web Service 測(cè)試時(shí)有明顯的優(yōu)勢(shì)，當(dāng)要綜合其他測(cè)試時(shí)可以組合使用多種工具。
當(dāng)然這是soapUI自己做的實(shí)驗(yàn)，難免有王婆賣瓜之嫌，有興趣的朋友可以自己設(shè)計(jì)實(shí)驗(yàn)來測(cè)試一下。
