ロボット型検索とrobots.txt

カテゴリーの説明から、ページの本文へ

カテゴリーサーチでは、登録者が書いた紹介文やキーワードが探す手掛かりになります。これに対してロボット型検索は、ページの本文も対象にしました。短い紹介に入らなかった言葉でも、ページに書かれていれば検索の手掛かりにできる、というのが当時の説明です。

検索ロボットはリンクをたどり、ページの情報をデータベースへ取り込む役割を持っていました。定期的に巡ることで、更新や新しいページを検索対象に加えることを目指していたのです。登録者があらゆる語をあらかじめ申告する必要を減らす仕組みとも説明されていました。

同時に、対象が増えれば検索結果が多くなりすぎるという欠点も挙げています。たくさん見つかることと、目的のものがすぐ見つかることは別です。カテゴリーの目次で関心を絞る探し方と、本文の語から探す方法を並べていた理由が、ここにあります。

NET-COMICの検索ロボットの名前はnekomimi/0.36でした。案内では、ネットワークの負荷を軽減するため、５階層までしか検索しないと説明していました。深いディレクトリーに置かれたページは対象にならない、という利用上の限界を、運営側から示していたことになります。

トップページからリンクを探し、他のサイトへのリンクは追跡しない、とも記されています。登録したサイトの中を読むという範囲を意識した説明です。検索対象を広げるだけでなく、巡回に伴う負荷や、外部へ際限なく進むことを考えていたと読めます。

当時のロボット型検索の例としては、Goo、Lycos Japan、infoseek、exciteが挙げられていました。ここでの名称は、同時代にどのような検索が想定されていたかを示すものです。現在の各サービスの仕様を紹介するための一覧ではありません。

元の案内は、検索対象にしたくない場所を伝える方法としてrobots.txtを説明していました。以下は、そのページに載っていた例です。現行の設定を指示するものではなく、NET-COMICが当時どう説明していたかを読むために掲載しています。

User-Agent: *
Disallow: /

User-Agentは、どのロボットについての指示かを示す欄として説明されていました。*はすべてを表す指定、Disallow: /は全体を対象外とする指定です。案内では末尾の空白行にも注意を促していました。

User-Agent: *
Disallow: /cgi-bin/
Disallow: /img/

こちらは場所を絞って示した例です。サイト全体についての意思表示と、特定のディレクトリーについての意思表示を分けて説明していました。読み手にとっては、禁止する対象がロボットなのか、読む場所なのかを区別することが要点です。

User-Agent: nekomimi
Disallow: /

User-Agent: *
Disallow: /
User-Agent: nekomimi
Allow: /

この例ではロボット名にnekomimiが使われています。上記の書き方は当時の掲載内容です。現在の検索ロボットに同じ解釈を期待する設定例として扱わず、サイトの運営者が巡回の意思表示を説明していた記録として読む必要があります。

別の方法として、HTMLのheadの中にRobots Metaタグを記す説明もありました。案内では、ページの索引化と、そのページからのリンク追跡を分けて考えています。本文を検索の対象にするかという話と、そこから先をたどるかという話は、同じ指定ではないためです。

<meta name="robots" content="noindex,nofollow">

これは当時のページに示されたタグの例です。サイト全体の巡回に関するファイルと、個々のHTMLの中に書く指定を並べることで、運営者が選べる方法を紹介していました。このページ自体の設定を表したコードではありません。

ロボットは、閲覧者に新しい入口を作る一方で、意図しない深いページへの入口も作ることがあります。元の説明は、トップページから見てほしい場合や、直接アクセスを受けたくないページについても触れていました。検索の便利さだけを語らず、サイトを作る側の事情を扱っていた点が特徴です。

案内は、規則に従わないロボットにはこうした指定が通じない場合があるとも述べていました。そこで示されていたのは、巡回をめぐる約束の限界です。検索対象にしないというお願いと、情報を見られなくする仕組みを同じものと考えないよう、文脈を分けて読むことができます。

ページサーチの結果画面では、スコアや更新日付による並べ方を紹介しています。巡回で材料を集める段階と、その材料から読み手に結果を示す段階。仕組みを分けて見ると、検索という短い言葉の中に、いくつもの仕事が含まれていたことがわかります。