しゅようなけんさくサービスをていきょうしているGoogle、Yahoo!、Microsoftの3しゃは3にち(べいこくじかん)、RobotsExclusionProtocol(REP)のげんじょうをせつめいするとともに、それぞれがどくじにていきょうしているディレクティブのせつめいをこうかいした。
コンテンツホルダがもとめるのはどうすればけんさくけっかにコンテンツがゆうりにとうじょうするかだが、ぎゃくにとくていのコンテンツをどうすればけんさくたいしょうからじょがいできるかももとめられている。このばあいにつかわれるのがRobotsExclusionProtocol(REP)だ。robots.txtファイルにしていするほうほうやMETAタグでしていするほうほうなどがある。これらほうほうはGoogle、Yahoo!、Microsoftなどしゅようなけんさくエンジンサービスでサポートされており、けんさくエンジンアクセスせいぎょほうほうのデファクトスタンダードとなっている。
ここすうねん、Google、Yahoo!、Microsoftの3しゃはよりこまかくアクセスをしていできるSitemapsにきょうどうでたいおうするなどさぎょうをすすめてきた。3にち(べいこくじかん)、3しゃはきょうどうでサポートしているディレクティブをせつめいするとともに、どくじでていきょうしているディレクティブをそれぞれほうこくした。
3しゃサポートRobots.txtディレクティブ:
・Disallow-クローリングのたいしょうからはずすしてい
・Allow-クローリングのたいしょうについかするしてい
・$-URLのまつびにいっちするワイルドカードしてい
・*-にんいのもじまたはもじれつにいっちするワイルドカードしてい
・Sitemap-Sitemapsのロケーションをしてい
3しゃサポートHTMLMETAディレクティブ:
・NOINDEXMETAタグ-クローリングのたいしょうからはずすしてい
・NOFOLLOWMETAタグ-ページないのリンクについてクローリングのたいしょうからはずすしてい
・NOSNIPPETMETAタグ-けんさくけっかにスニペットをひょうじしないようにするしてい
・NOARCHIVEMETAタグ-けんさくけっかにキャッシュページをひょうじしないようにするしてい
・NOODPMETAタグ-OpenDirectoryProjectからのタイトルとスニペットをつかわないようにしてい
HTMLMETAディレクティブはPDFやどうがなどのHTMLコンテンツいがいのコンテンツにしていするばあいは、X-Robots-TagHTTPヘッダをつかってしていできる。
じょうきのきょうつうディレクティブいがいに、GoogleはUNAVAILABLE_AFTERMETAタグ、NOIMAGEINDEXMETAタグ、NOTRANSLATEMETAタグをサポートしている。Yahoo!ではCrawl-Delay、NOYDIRMETAタグ、Robots-nocontentタグをサポート、MicrosoftではCrawl-Delayをついかでサポートしている。しょうさいはそれぞれGoogle-ImprovingonRobotsExclusionProtocol、Yahoo!-OneStandardFitsAll:RobotsExclusionProtocolforYahoo!,GoogleandMicrosoft、Microsoft-RobotsExclusionProtocol:JoiningTogethertoProvideBetterDocumentationにまとまっている。SEOをじっしするばあいにはさんこうにされたい。
(ごとうだいち)
[マイコミジャーナル]
