[back to the index page]


実測データに基づく分散協調型WWWデータ収集アルゴリズムの性能評価

森英雄,河野浩之

京都大学大学院情報学研究科

{hidechan, kawano}@kuamp.kyoto-u.ac.jp

概要

Web情報を検索するためには,これらの情報を収集し データベースを構築する必要があるが,近年のWeb サーバ数の指数関数的増大に追随するのは困難に なりつつある.そこで本論文では,Webサーバ上の データを高速に収集する方法として,ネットワーク上に 分散配置した複数のWebロボットを用い,これらが最 小木に沿った隣接ロボット間で互いにメッセージを交 換し協調しながら データを収集するアルゴリズムを提案する. 実際に,京都大学,早稲田大学,電子技術総合研究所, シャープ(株),大阪府立大学,慶應義塾大学,及び北陸 先端科学技術大学院大学の計7ヶ所にWebロボットを設置 し,提案したアルゴリズムを適用した結果,一カ所で集中 して収集する場合に比較して約5.5〜22倍程度の高速化 が可能であることがわかった.

[PS file]

[PDF file]