3B大戰牽出Robots疑云 360搜索用戶數回落
作者:網絡轉載 發布時間:[ 2012/9/7 10:06:20 ] 推薦標簽:
一個是搜索引擎市場具有壟斷地位的巨頭,一個是頗具爭議的闖入者,這場圍繞搜索引擎的“3B大戰”進入了第二個回合:釣魚。
幾天前,百度工程師放出“鬼節捉鬼”的釣魚策略,將爭論引向一直以隱私安全為底牌的360。問題出在一個叫做Robots的協議上。360被指不遵守協議,直接用瀏覽器抓取用戶瀏覽信息,可能致使用戶信息泄露。“3B大戰”的對手百度等互聯網公司發出了要求員工卸載360瀏覽器的號召,搜狗CEO王小川也表示應遵守Robot協議,擔心360在安全上做裁判又做球員。
CNNIC新的統計數據顯示,360搜索覆蓋中國網民比例已由上周的13.04%降為11.61%,覆蓋人數由3420萬降為3052萬,近一周時間,損失用戶達368萬。
3B大戰第二回合,落在了瀏覽器端直接搜集網頁信息的爭議上!睹咳战洕侣劇吩谡{查中發現,Robots協議被瀏覽器開發人員視為“Google自己制定的協議規范”,“連行業規范都算不上”,搜索引擎對用戶隱私權的定義,目前還是空白。
百度非原創式捉“鬼”
8月31日,一則由百度工程師發布的微博引發了業內的廣泛討論。
這位名叫趙明華的百度互聯網數據研發部經理稱,百度的工程師制作的幾個特殊頁面沒有任何外鏈,由于搜索引擎爬蟲只能通過鏈接爬行網頁,因此這個網頁是完全封閉的 “孤島”,不可能被搜索引擎抓取到。但令人意外的是,百度工程師試著在360搜索中輸入以上關鍵詞,結果這個網頁赫然出現在搜索結果第一行,并可以直接點擊訪問瀏覽網頁內容。但再換百度、谷歌、搜狗、搜搜等其他瀏覽器搜索相同內容,卻無法返回相應網頁。
為什么一個完全封閉的網頁竟然能被360搜索引擎抓取到?趙明華的解釋是,他曾用360瀏覽器打開過這個網頁。在360瀏覽器的隱私策略中,注明了360安全瀏覽器會在用戶的計算機上記錄有關瀏覽歷史記錄的實用信息。
百度認為,百度釣魚流程揭示了360搜索存在安全隱患:只要用戶通過360瀏覽器訪問過一個網頁,無論是私人賬號信息,還是公司內網機密數據,都會被360瀏覽器記錄下來,并被360搜索爬蟲抓取、上傳到360服務器。
不過,360卻有著自己的說法。360在官方微博上指出,百度以所謂的“孤島”數據污蔑360泄露用戶隱私。其實百度的做法很簡單,只要通過外部鏈接引導360爬蟲抓取頁面,同時屏蔽其他搜索引擎,然后切斷外鏈,可以造成只有360搜索收錄所謂“孤島”的假象。
9月2號,360董事長周鴻?對此回應,“這是百度在濫用Robots協議,阻礙360進入搜索市場。”
百度“鬼節抓鬼”的行為,在互聯網界并非首例。2011年初,谷歌由于懷疑必應借鑒其搜索結果,也采取過這種做法。
2010年10月份,谷歌注意到Bing的搜索結果越來越多地和谷歌重合,頭條結果相同的趨勢也越來越高,由此必應抄襲了他們的搜索結果。
為了驗證猜想,谷歌在去年12月進行了一場釣魚行動。他們選擇了100個異常釣餌進行手動搜索排名,將這些關鍵詞的搜索結果指向毫無關聯的頁面。當時約20位谷歌工程師在電腦上使用IE瀏覽器來搜索這些關鍵詞,然后通過IE在谷歌上搜索這些釣餌,誘使必應上鉤。兩周后,谷歌工程師再通過必應搜索當時的釣餌,預先埋下的結果開始陸續出現在必應結果中,由此發現必應通過IE收集用戶上網的隱私數據,直接記錄上傳了用戶訪問網址并隨后放入搜索結果中。
搜索引擎與商業網站博弈
趙明華稱,360繞過了Robots協議,利用瀏覽器記錄并上傳用戶數據和上網行為,并形成自己的網址庫,再用偽裝和隱藏過的爬蟲來抓取快照,生成搜索結果。
那么,從瀏覽器端直接搜集網頁信息是否正當?
實際上,Robots協議并非強制性法規,而是搜索引擎誕生后,互聯網業界經過長期博弈,終在搜索引擎與商業站點、公眾知情權和用戶隱私權之間達成的一種妥協。
據《每日經濟新聞》了解,早期的互聯網主要是“用戶-網站”模式。用戶通過網站獲取信息,網站通過吸引用戶點擊來實現廣告收入。不過,當谷歌把搜索引擎變成一種成功的商業模式之后,很多網站原有的商業模式遭到了嚴重破壞。
為了維護自身的利益,一些歐美大型網站聯合起來與谷歌談判,要求谷歌“有所為有所不為”,于是有了Robots協議。該協議的核心思想是要求Robots程序不要去檢索那些站長不希望被直接搜索到的內容,并將約束Robots程序的具體方法規范成格式代碼,成了Robots協議。一般來說,網站是通過Robots.txt文件來實現Robots協議。
國內使用Robots協議典型的案例是淘寶網拒絕百度搜索。此外還有大量的用戶注冊、郵件等信息,都利用Robots協議來防止這些內容在互聯網上被搜索到。
相關推薦

最新發布
性能測試之測試環境搭建的方法
2020/7/21 15:39:32軟件測試是從什么時候開始被企業所重視的呢?
2020/7/17 9:09:11Android自動化測試框架有哪些?有什么用途?
2020/7/17 9:03:50什么樣的項目適合做自動化?自動化測試人員應具備怎樣的能力?
2020/7/17 8:57:06幾大市面主流性能測試工具測評
2020/7/17 8:52:11RPA機器人能夠快速響應企業需求,是怎么做到的?
2020/7/17 8:48:05Bug可以真正消滅嗎?為什么?
2020/7/17 8:43:03軟件測試基本概念是怎么來的?軟件測試生命周期的形成歷經了什么?
2020/7/16 9:11:10