あなたが知らない「ディープ」なウェブの世界
ニューヨーク(CNNMoney) 通常「ウェブ」と呼ばれているのは、実はほんの表層にすぎない。その下には「ディープ・ウェブ」とでも言うべき未知の深海が広がっている。
有力大学の研究者らによると、「フェイスブック」など人目に付きやすい交流サイトや、「ウィキペディア」などの情報サイト、ニュースサイトが、ワールド・ワイド・ウェブ(WWW)に占める割合は全体の1%にも満たないという。いわゆるネットサーフィンは文字通り深海の表面を漂っているだけだ。
より深く潜水した先には、まだ見ぬ無数のウェブページがあるが、ディープ・ウェブの概念自体は、ごく単純なものだ。
グーグルやヤフー、マイクロソフトの「ビング」のような検索エンジンは、絶えずウェブページを巡回、登録している(インデックス化)。インデックス化にあたっては、張りめぐらせた巣網の上をクモが移動するようにして、サイト間を結ぶリンクをたどっていくが、それでは静的ページしか収集できない。
オンライン・データベースに質問を入力した際に回答として生成されるような、動的ページを取りこぼしてしまう。