あなたが知らない「ディープ」なウェブの世界
動的ページの他にも、プライベートネットワーク上もしくはネットワーク圏外のウェブページについては、通常の検索エンジンでは捕捉できない。
これらがすべて相まって、ディープ・ウェブを形成しているのである。
では、このようなウェブの深部には何があるのか。順を追って見ていこう。
ディープ・ウェブの大半を占めるのはデータベース化された情報だ。入手可能な最新の統計である2001年の報告書によると、全ウェブサイトの54%はデータベースと推定されている。
公開されているデータベースとして最大規模のものは、米海洋大気局(NOAA)、米航空宇宙局(NASA)、米証券取引委員会(SEC)の検索システム「EDGAR」など。
次にくるのが、企業によって非公開にされているデータベースで、閲覧者に課金するものだ。公記録や判例などをデータベース化しているレクシスネクシスや、電子ジャーナルを扱うオランダの学術出版エルゼビア社のサイトなどが、これにあたる。