Trial And Error / 試行錯誤

検索エンジンに取りこぼし無くインデックスしてもらうためのSitemapですが、検索エンジンが認識してくれなければ意味がありません。
そこで、通知方法をいくつか列挙。

robots.txtに記載して通知

robots.txt にSitemapファイルのURIの記載を次のように追加するだけでOKです。
このサイトの場合は下記の様になります。

User-agent: *
Sitemap: http://www.total-web.jp/sitemap.xml
Disallow: /bin/

これでGoogle、Yahoo!に加えてLive SearchへもSitemapを通知できるようになります。

HTTPリクエストで通知

HTTPリクエストとは、検索エンジンへ直接XMLサイトマップのURIを通知する方法です。（RSSやATOMも送信可能）

Google
　http://www.google.com/webmasters/sitemaps/ping?sitemap=サイトマップURI

 

Yahoo,ヤフー（YST)
　http://search.yahooapis.com/SiteExplorerService/V1/ping?sitemap=サイトマップURI

 

LiveSearch（MSNサーチ）
　不明

ウェブツールを使用して通知

サイトマップは、 検索エンジンの用意したツールからフィード（XMLファイル）を登録することで、クロール頻度やインデックス状況が把握できるようになっています。

Google
　Google　ウェブマスターツール

 

Yahoo,ヤフー（YST)
　（英）Yahoo!SiteExplorer
　※アカウントが必要（無料）
　（日）サイトエクスプローラー

 

LiveSearch（MSNサーチ）
　Webmaster Center
　※アカウントが必要（無料）

参考：sitemaps.org

調べて見ると過去の様子では、「ROR Sitemap」が様々な検索エンジンに有効だったらしいですが、XMLの記述に問題があるのかな？それが、有効ではなくなっているらしいです。

そこで、最近では、Yahoo,Google,MSNと主要検索エンジンがこぞって採用した「sitemaps.org形式」が有効であると言われています。

実際、この形式で書いたものは、各検索エンジンのウェブマスターツールにて認識しております。

ということで、私もこれを採用してみました。

sitemaps.org形式の書き方

<?xml version="1.0" encoding="UTF-8"?>
<urlset 
xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>http://swp.cside.com/</loc>
<lastmod>2007-04-13</lastmod>
<changefreq>weekly</changefreq>
<priority>0.5</priority>
</url> 
<url> 

<loc>から</priority>までをページ数分だけ繰り返しするだけです。

簡単な用語説明

lastmod：最終更新日。

changefeq：更新頻度。検索エンジンのクロール数が変わるんでしょうかね？

priority：サイト内での重要度。0～1までで、通常0.5でいいでしょう。

ココにあるsitemap作成ツールで作成することも可能です。

参考：sitemaps.org

→　SiteMapを作成したら、登録をしてみよう！

サイトへの誘導として、逆アクセスランキングを設置しているサイトは多いと思う。
だが、不正アクセスがあとを絶たないのが現状です。
しばらくは、排除URLで対処してきたんだけど、いきなり「http：//www.time-stop.net/」というアダルトサイトがタグをランキングに埋め込みcgiから転送をかけるように仕掛けてきました。

サーバー上の access.datを見てもらうとわかるのだが、<iframe src="http：//atk.jp/wsmz" width=1 height=1></iframe">というタグを埋め込んでいる。
atk.jp はURL転送サービスで、ここからアダルトサイトへ転送しています。

対策としては、ReverseAccessに対し不正アクセス対策を行った上でログを初期化すること。
同じ登録があるかもしれないから、排除URLに atk.jp（杜撰な経営をしているから排除）を登録で防げるでしょう。

以下に具体的なアタック方法と不正アクセス対策を記述します。

不正カウントアップアタック

ReverseAccessにオプション付きでダイレクトに不正アクセスする方法

例えばブラウザのアドレス欄に

http://www.abc.com/access.cgi?http://spam.com/

上記のようにスクリプト名の後ろにURLオプションを指定します。
これで www.abc.com にアクセスすると ReverseAccess は spam.com からのリンクと認識し spam.com のアクセス数に＋１を加えます。今ではほとんど見かけなくなりましたが簡単な方法なので数年前まではこれが主流でした。

ページ内のimgタグで不正アクセスする方法
例えばページ内に以下のようなimgタグを仕掛けておきます。

<img src="http://www.abc.com/access.cgi?http://spam.com/" width="1" height="1" border="0">

上記タグをページ内に複数設置しておきます。見つからないようフレームに隠す場合もあります。
これだけでページにアクセスした人たちが知らず知らずのうちに不正アクセスに加担してしまったのと同じことになります。
いうなれば不正アクセスの自動化バージョンです。
同様の手口でIMGタグではなくJavaScriptを使ったものもあります。（最近はこちらが主流）
上記は実際に今でも行われている不正アクセスの一例です。これ以外にも不正アクセスする方法は多数存在します。
何れも正規な方法ではなく access.cgi に直接アクセスしているのが特徴です。

開発元提供の不正アクセス対策

ReverseAccess開発元ではこれらの攻撃を防御するための対策を公開しました。→　対策

上記自サイトURL一部に関して少し補足します。

例えば自サイトのURLが http://www.abc.com だとします。
この場合ですと自サイトURL一部は abc あるいは abc\.com になります。

例１）　if($ENV{'HTTP_REFERER'} !~ /abc/ && !$SSI){
例２）　if($ENV{'HTTP_REFERER'} !~ /abc\.com/ && !$SSI){

注意することとして自サイトURL一部に /（スラッシュ）や .（ドット）を含める場合はこれら文字の前に必ず \ を追記してください。 自サイトURL 自サイトURL一部
http://www.abc.com → abc\.com
http://www.abc.com/~name → abc\.com\/~name
http://name.abc.com → name\.abc\.com
\ を付けずそのまま記述してしまうとスクリプトが誤判定してしまいますので注意してください。
心配な方は以下の方法をご利用ください。赤色部分を自サイトのURL（あるいは自サイトURLの一部）に書き換えるだけです。
この方法なら \ は不要です。

$myurl = 'http://www.abc.com'; #自サイトURL
if($ENV{'HTTP_REFERER'} !~ /$myurl/ && !$SSI){
if(-e $l_f){rmdir($l_f);}
exit;
}