.Text

スパムコメント対策に CAPTCHA を導入

青柳臣一 — Tue, 28 Jun 2005 05:25:00 GMT

先週末からかなりの数（1日に400～500くらい）のスパムコメントが書き込まれてます。ただ、ストアドプロシージャを書き換えて、スパムっぽいものは非表示になるようにしてありますから、そのほとんどは表示されていません。表示されちゃったものもストアドをちょっと書き換えれば対処できています。けど、さすがにうっとうしいです。なので、CAPTCHA を導入することにしました。

CAPTCHA っていうのは、機械での読み取りがし難いように加工した画像に書かれている文字を入力してもらうことによって「相手が機械ではなく人間であること」を確認しようっていうものです。最近はいろいろなところで使われていますし、ググるとちゃんとした解説もたんさんでてきます。
コメント書き込みに CAPTCHA を使うようにすれば、機械的に POST することによって書き込みを行なっているスパムコメントは防ぐことができるでしょう。けど、普通にコメントを書き込もうって人の手間を増やすことになります。それに、たとえば目が不自由で読み上げソフトを使って Web を閲覧しているような方にとっては、画像に書かれた文字を入力するような CAPTCHA はかなり困った存在になると思います（Hotmail の登録時なんかは、画像だけではなく音声による CAPTCHA も用意してありますね）。

.NET で使える CAPTCHA もいろいろあるとは思いますが、今回は
Clearscreen CAPTCHA Control v1.4 Released with Community Server 1.0 support [UPDATED]
を使わせて頂きました。
このコントロールは、.Text と Community Server 1.0 に対応していますので、とても簡単に導入することができます。ただ、残念ながら画像のみで音声による CAPTCHA などといった機能はありません。

Readme.txt にも書いてありますが .Text への導入は以下の 2点だけで、リビルドも必要ありませんでした。

Clearscreen.SharpHIP.dll を .Text の bin フォルダにコピーする。
.Text のスキン用コントロール（Skins\スキン名\Controls フォルダ）の PostComment.ascx を書き換える。
まず、
<%@ Register TagPrefix="cc1" Namespace="Clearscreen.SharpHIP" Assembly="Clearscreen.SharpHIP" %>
という 1行を追加。これは場所はどこでもいいと思うけど、私は 2行目（<%@ Control ... %> のすぐ下）に書いています。
次に、CAPTCHA を表示したい場所に、
<cc1:HIPControl id="HIPControl1" runat="server" ControlMessage="この絵に表示されている文字列を入力してください (半角で4文字です)" RandomCodeLength="false" CodeLength="4" TextPattern="Percent90" BackgroundPattern="Percent40" FontSize="15" JavascriptURLDetection="false" />
を追加。

これだけです。
また、上記のように cc1:HIPControl の方はいろいろとパラメータを指定できます。

ControlMessage　…　画像の横に表示するメッセージ。デフォルトだと "Enter the code you see"。
RandamCodeLength　…　コードの文字数をランダムに決める。デフォルトは true。
CodeLength　…　コードの文字数。（デフォルトは RandamCodeLength が true なのでなし）
TextPattern　…　画像のテキスト部分の HatchStyle。指定できる値は HatchStyle 列挙体参照。デフォルトは Weave。
BackgroundPattern　…　画像の背景部分の HatchStyle。指定できる値は HatchStyle 列挙体参照。デフォルトは Wave。
FontSize　…　画像のフォントのサイズ。デフォルトは 15。
ImageWidth　…　画像の幅。
ImageHeight　…　画像の高さ。
JavascriptURLDetection　…　画像の src 属性をクライアントサイドの JavaScript によって指定するか。デフォルトは true。実は、true にしていると URL に #Feedback のように # が含まれているとバグります。対処方法は作者さんの blog のコメントにあります（このコメントにあるように cc1:HIPControl タグの後ろに src 属性を修正するクライアントサイドの JavaScript を埋め込む）。false にしておけば特に対処は必要ありません。
TrustAuthenticatedUsers　…　ログインしているユーザの場合は CAPTCHA を表示しません。デフォルトは true。

ほかにもありますが、とりあえずこんなところで。
（PersistDotTextComments という魅力的なプロパティがあるんだけど、残念ながら実装されていないみたい）

トラックバックスパム

青柳臣一 — Mon, 13 Jun 2005 01:25:00 GMT

最近、トラックバックによるスパムがずいぶん来るようになりました。けど、そのほとんどは .Text が自動的にはじいてくれてます。と言うのも、.Text は相手先にちゃんと自分へのリンクがあるか確認してるからです。たとえば、こちらの記事 A に対してトラックバックが送られてきたとします。このとき .Text はトラックバック送信元（この URL はトラックバック自身に含まれている）の記事を取得し、その記事のなかに A へのリンクがあるかを確認しています。きちんとリンクが見つかればトラックバックとして登録しますが、見つからなかった場合はエラーを返してトラックバックとして受け付けません。この場合、.Text 上はどこにも記録は残りませんから、IIS のアクセスログを見たりとかしないとそういうトラックバックが来ていたこと自体わかりません。で、最近来ているトラックバックスパムもこの仕組みのおかげではじかれてました。

んが、存在しない記事に対するトラックバックが受け付けられてました。トラックバックスパムは機械的に URL を作ってるのか存在しない記事番号に対しても送られてきたりします。この場合も上記のようなチェックはしているんですが、ちょっとしたコードの問題で受け付けられてしまいます。まぁ、受け付けられても記事自体が存在しないわけですから、Web 上のどこにも表示はされません。けど、データベースには格納されてしまいますし、管理者の Feedback ページでは表示されますからうっとおしいのは確かです。

というわけで、存在しない記事へのトラックバックをエラーとするように修正。
Dottext.Framework\Tracking\TrackBackHandler.cs の 98行目くらいに

Entry trackedEntry = Entries.GetEntry(postId,true);
if (trackedEntry == null)
{
    trackbackResponse (context, 1, "EntryID is invalid or missing" ) ;
}

というように青字の部分を追加してビルドすれば OK です。

そんなに誉めないで＞コメントスパムさん

青柳臣一 — Sat, 28 May 2005 06:21:00 GMT

うーん、

Sender: Jason

Great article.
Your article is great.
Thanks.

っていう同じ文面のコメントが今朝から大量に書き込まれてるんですよねぇ。もうすでに 100通以上(^^;　たいしたこと書いてないんで、そんなに誉めないで下さいよ。つか、日本語読めるんですか？(^^

って、もちろん、コメントスパムなんですけどね。文面にはリンクはないですが、コメントの記入者の URL がバイアグラ・なんとか・ドット・ビズなんて感じの URL になってます。ちょうど、このコメントがいくつか書き込まれたところで気付いたので、とっとと対策は済ませました（なので、このコメントがいくつ書き込まれても表示はされません）。

URL を抽出するための正規表現

青柳臣一 — Tue, 17 May 2005 05:05:00 GMT

さっきの「.Text のコメントの自動リンク処理の修正」の中で .Text は URL を抽出するのに正規表現を使っていると書きましたが、この正規表現ってけっこういいかげんっぽいです。なので、今後もうまくリンクにできない URL に遭遇する可能性大です。ほんとうなら、RFC なんかに則ったちゃんとした正規表現にしておきたいところです。そうすれば、どんな URL がきても大丈夫なはずです。（まぁ、RFC から外れた形式の URL なんかが書かれてるとダメになっちゃいますが、これは対処療法的に対応するしか仕方ないですしね）

で、こういう正規表現って誰かが書いてるだろうと思ってググってみました。
http URL の正規表現
Perl 向けに書かれたドキュメントのようですがすばらしいです。URL の正規表現も RFC を元にしたとてもきっちりとした正規表現になっているようです。
# ちょっと下にある「メールアドレスの正規表現」で紹介されている
# 正規表現ってものすごいな。

.Text のコメントの自動リンク処理の修正

青柳臣一 — Tue, 17 May 2005 03:17:00 GMT

.Text でコメントを書くときに URL らしき文字列は自動的にリンクになります。
しかし、

http://msdn2.microsoft.com/library/s1wwdcbf(en-us,vs.80).aspx

というように URL の途中に括弧が入っていると、途中でちょん切られたリンクになってしまいます。URL の途中に括弧が入ってるなんてめったに出会わないと思うんですが、上記のように .NET Framework 2.0 のドキュメントが括弧を使ってるんですよねぇ(^^;
この問題は AI-Light blog のうなまな Blog 「シリアル通信が楽になるかな。。。」のコメントのやり取りを見て気付きました(^^

これを修正するには、ソースを直してビルドしなおす必要があります。

文字列中から URL を探してリンクにする処理は Code\Dottext.Framework\Util\Globals.cs の EnableUrls メソッドで行なわれていますが、ここで使われている正規表現が原因です。
もともとの EnableUrls メソッドは以下のようになっているかと思います。

public static string EnableUrls(string text)
{
    string pattern = @"(http|ftp|https):\/\/[\w]+(.[\w]+)([\w\-\.,@?^=%&amp;:/~\+#]*[\w\-\@?^=%&amp;/~\+#])";
    MatchCollection matchs;
                
    matchs = Regex.Matches(text,pattern, RegexOptions.IgnoreCase | RegexOptions.Compiled);
    foreach (Match m in matchs) 
    {
        text = text.Replace(m.ToString(), "<a target=\"_new\"  href=\"" + m.ToString() + "\">" + m.ToString() + "</a>");
    }
    return text;            
}

これを

public static string EnableUrls(string text)
{
    string pattern = @"((http|ftp|https):\/\/[\w]+(.[\w]+)([\w\-\.,@?^=%&amp;:/~\+#()]*[\w\-\@?^=%&amp;/~\+#]))";
    string replacement = "<a rel=\"nofollow\" target=\"_blank\" href=\"$1\">$1</a>";
    text = Regex.Replace(text, pattern, replacement, RegexOptions.IgnoreCase);
    return text;
}

このように修正します。
修正内容は

URL として抽出する正規表現に括弧（ "(" と ")" ）を追加。
ついでに、元のコードだとループを回して処理していたのを Replace 一発で処理するように変更。ちなみに、元のコードだと置換した結果をさらに置換してしまうというバグが発生する場合があるみたいなのでこのように修正しました。
元のコードだと <a target="_new"... としていたのを <a rel="nofollow" target="_blank"... に変更。
rel="nofollow" は、コメントスパム対策用です。「米Google、リンク属性を利用したコメントスパム対策機能」などを参照。書くの忘れてましたが、2005年 2月くらいにコメントスパムがやってくるようになったころに rel="nofollow" を入れるように改造してました。
target="_blank" にしたのは好みです。"_blank" にするつもりが間違って "_new" としたのか、わざと "_new" にしたのかはわかりませんけど。ちなみに、"_blank" は「常に新規にウインドウを開く」という予約されたターゲット名ですが、"_new" にはそんな規定はないので単に「"_new" という名前のウインドウがなければ新規に開き、あれば再利用する」という動作になります。

です。

上記の修正をした DLL を http://www.divakk.co.jp/aoyagi/dotText_bin.ZIP において置きました（今回の修正だけではなく、今までの修正すべてが反映されています）。

2005/05/25 10:25 追記
肝心のソースのところが化けてたので修正しました。（化けていたというか、ソース中の <a> とかがうまく変換できてなかったのでちゃんと表示されていませんでした）

.Text の MainFeed.aspx 修正

青柳臣一 — Mon, 28 Feb 2005 08:04:00 GMT

.Text では URLのホスト名に www を使っていると勝手に省略されてしまったりしてあまりよろしくありません。たとえば、http://www.example.com/blog/ だと RSS などに含まれる URL が http://example.com/blog/ になってしまいます。（http://blogs.example.com/ のように www 以外ならば特に問題ないはずです）
で、このように www を使う場合は、web.config に

    <UseWWW>true</UseWWW>

と追加すればほとんど問題なくなります。（追加する場所は <BlogConfigurationSettings> の下ならどこでも OK です。<ServerTimeZone> の下あたりに書いときゃいいんじゃないでしょうか）

しかし、マルチユーザ版の「RSS (すべてのフィード)」で使用している MainFeed.aspx には UseWWW の考慮が入っていません。どうやらソースを直してビルドしなおすしか手がなさそうです。修正自体は簡単で、Code\DottextWeb\MainFeed.aspx.cs の 122行目くらいに

    string baseUrl = "http://{0}" + appPath + "{1}/";
    if (Config.Settings.UseWWW)
    {
        baseUrl = "http://www.{0}" + appPath + "{1}/";
    }

と青字の部分を書き足せば OK です。

また、Code\DottextWeb\OPML.aspx.cs の 133行目くらいにもほとんど同様なコードがあります。こちらも、

    string baseUrl = "http://{0}" + appPath + "{1}";
    if (Config.Settings.UseWWW)
    {
        baseUrl = "http://www.{0}" + appPath + "{1}";
    }

と青字の部分を書き足せば OK です。（MainFeed.aspx.cs とは微妙に違うので注意）

.Text をコメント書き込み時に ping を送らないように修正

青柳臣一 — Fri, 18 Feb 2005 01:52:00 GMT

今週になって落ち着いたと思っていたコメントスパムが、またまた来るようになってしまいました（昨日 1日で 20書き込みくらい）。

「おや？なぜ、こんなに更新回数が多いんだ？」で書いたように .Text はコメント書き込み時にも ping を送信しています。そのためコメントスパムのときにも ping を送信してしまい、あまりよろしくありません。
そこで、Code\Dottext.Framework\Tracking\Notification.cs にある NotificationServices クラスの Run メソッドを以下のように修正しました（青字のところを追加しただけ）。

    public static void Run(Entry entry)
    {
        if(entry != null)
        {
            if (entry.PostType == PostType.Comment)
            {
                return;
            }
            Notifier notify = new Notifier();

なお、この修正によりコメントのときは Notifier 自体が動かなくなります。Notifier では

weblogs.com への ping 送信
（私の改造版では） bloggers.jp への ping 送信
記事中のリンクに対する trackback の送信

を行っています。上記の修正によりこれらすべてが動かなくなりますが、コメントの場合はどれもする必要を感じないので問題はないんじゃないかと思います。
というか、.Text ってコメントのときまで trackback してたんですね。それはそれでまずいような気がするなぁ。もっとも、私は .Text の自動トラックバックはオフにしてますが。

おや？なぜ、こんなに更新回数が多いんだ？

青柳臣一 — Tue, 15 Feb 2005 10:53:00 GMT

リファラ見ていて気付いたんですが、たとえば BlogPeople 記事更新頻度ランキングから来た方がいます。で、このランキングを見てみると、なんと、これを書いている時点でここ 1週間の更新が 136回でランキング 13位ということになっちゃってます。もちろん、見ていただけばわかるとおりそんなに更新してません（威張れるこっちゃないですけどね(^^; ）。

原因を考えてみると。。。
まず、ここの blog では .Text に手を加えて ping.bloggers.jp にも ping を送っています（参照 http://www.divakk.co.jp/blog/aoyagi/archive/2004/05/07/484.aspx ）。そして BlogPeople 記事更新頻度ランキングは bloggers.jp の ping も参照して更新頻度を求めているんじゃないかと思います。んで、（今回調べて始めて気付いたんですが） .Text ではコメントが書き込まれたときにも ping を送っています。どうやらこのために ping の回数が多くなってしまっているようです。

表面上はそんなにたくさんのコメントが書き込まれたわけではありません。しかし、2週間くらい前から結構な数のコメントスパムが書き込まれています。http://www.divakk.co.jp/blog/aoyagi/archive/2005/02/02/747.aspx で書いたように、ストアドプロシージャを変更して、とりあえずコメントスパムが表示されないように対策してあります。が、あくまで表示されないようにしただけで、ping の送信などの一連の処理は行われています。そのためにコメントスパムが書き込まれた回数だけ ping も送られてしまっているはずです。
ざっと数えると、この 1週間で 100ちょっとコメントスパムがやってきていますから、BlogPeople 記事更新頻度ランキングでの更新回数ともだいたいあいます。

で、ほんとうはちゃんと対策すべきなんですが、コメントスパムが来る回数自体は最近はめっきり少なくなって、昨日からはまだ 1つも来ていません。なので、ちょっと様子を見てみようかと思います。またコメントスパムが増えてくるようだったらちゃんとした対策を考えようと思います。
（そもそもコメントのときに ping を送る必要ってないんじゃないかと思うので、ping を送るときに記事のポストなのかコメントのポストなのかを判断するようにするつもり）

コメントスパム来襲

青柳臣一 — Wed, 02 Feb 2005 06:29:00 GMT

うむぅ、なんか AM5時ころに 80個くらいのコメントスパムが書き込まれてました。今までもコメントスパムが書き込まれることはありましたが、こんだけまとまって書き込まれたのは初めてです。

コメント SPAM 連絡網によると原水さんのところにもかなり書き込まれたようなので、ひょっとすると .Text を狙ってやってるのかもしれませんね。

とりあえず、ストアドの blog_InsertEntry を書き換えて、コメントスパムっぽいものは @PostConfig の表示フラグをオフにするようにしてみました。これでコメントスパムを書かれても表示されないはず。

.Text のバグ「値を Null にすることはできません。パラメータ名 : value」

青柳臣一 — Mon, 06 Sep 2004 04:52:00 GMT

今まで、トップページ（たとえば http://www.divakk.co.jp/blog/aoyagi/ ）は見れるのに個別の記事（たとえば http://www.divakk.co.jp/blog/aoyagi/archive/2004/09/01/571.aspx ）を見ようとすると「値を Null にすることはできません。パラメータ名 : value」なんてエラーが出て見れない、ということがたまに発生してました。（このエラーは一度発生すると、以後 IIS を再起動してやるとかしてやらないと復旧しません）

このエラーの原因がわかりました。
今日も起こってたのでスタックトレースを見てみたら Dottext.Framework.Stats.AddQuedStats(EntryView ev) なんてところが怪しそう。で、とりあえずググってみたら、そのものずばりの以下のページを発見。

K. Scott Allen's Blog より
.Text Threading Bug

こちらに書かれているようにソースを修正してビルドしなおすか、web.config の <Tracking> にある queueStats を queueStats = "false" にすれば OK です。

.Text では各記事ごとのアクセス数やどこから参照されたか（Referral）を見ることができますが、ここはその記録を取っているところです。これは当然アクセスがあるたびに処理する必要がありますが、負荷を減らせるようにキューイングできるようになっています。queueStats = "true" の場合、queueStatsCount の数に達するまではメモリ上においておき、達した時点でデータベースに書きにいきます。Stats.AddQuedStats() メソッドがそのキューイングの処理をしているところなんですが、lock のかけ方に問題があるため、同時に複数アクセスがあるとデータが壊れてしまい、エラーが発生するようになってしまいます。また、queueStats = "false" にすればこのキューイングを行わないようになり、毎回アクセスがあるたびにデータベースに登録するようになります。この場合は Stats.AddQuedStats() メソッドが使われることはないため、エラーが発生することはありません。