「AIのボットって、ブロックした方がいいんですか？」——その質問に、二択で答えなくなった理由

「AIのボットって、ブロックした方がいいんですか？」

MONJI+をご利用いただいている運用担当の方から、最近こうした質問が増えています。

この質問に、私たちはずっと二択で答えあぐねてきました。全部ブロックすればAIに見つけてもらえない、全部通せば学習にも自動操作にも使われる。その二択に見えていたからです。

この記事では、AIボットの方針を「全部かゼロか」で決めずに、用途ごとに線を引いて記録する手順を整理します。自社サイトやクライアントサイトのAIボット方針を決める、運用担当・制作会社の方に向けて書いています。

なぜ「全部かゼロか」に寄せてしまうのか（問題の構造）

答えを先に書きます。
現場の本音が「検索には見つけてほしいが、学習や自動操作までは許可したくない」なのに、道具の側が二択しか用意していなかったからです。

サイトへのボットの出入りを制御する古くからの方法に、robots.txt があります。ただ、ここに書けるのは、おおまかに言えば「入っていい」か「入るな」か。AIのボットにも、検索のために読む・その場の作業のために動く・学習のために集める、といろいろな目的があるのに、それを一本の線で分けるのは、もともと無理がありました。

だから判断に困ると、つい全ブロックか全許可に寄せてしまう。ここが、これまでのやり方の限界でした。

Cloudflareが、AIの用途を3つに分けた

2026年7月1日、Cloudflareが用途で分ける考え方を持ち込みました。無料プランを含む、すべての利用者が使えます。

AIのアクセスを、次の3つに分けて扱えるようになりました。

• 検索：あとで質問に答えるために、中身を集めて整理する動き。
• エージェント：誰かの代わりに、その場で作業を片づけようと動く動き。
• 学習：中身をモデルの学習に取り込む動き。取り込まれると、そこに残り続ける。

「検索には見つけてほしいから通す。でも学習と自動操作は止めたい」。この本音を、そのまま設定に落とせるようになりました。全部かゼロかではなく、用途で線を引ける。ここが大きい変化です。

9月15日から、初期設定のほうが変わる

もうひとつ、時期の話があります。

2026年9月15日から、新しくCloudflareに登録するドメインでは初期設定が変わります。広告を表示しているページでは、学習とエージェントは最初からブロック、検索は通す。これが、何もしなくても選ばれる初期状態になります。

放っておいても方針が一つ選ばれる、ということです。新しいサイトを立ち上げるなら、この日を頭に入れておくとよいです。

robots.txtに「使い方の希望」を3段階で添えられる

線引きは、通す・通さないだけではありません。通したうえで、どう使ってほしいかの希望も書けるようになりました。Cloudflareは robots.txt に添える新しい合図を用意し、使い方の希望を3段階で示せます。

1. その場で応じるのはいいが、保存も再利用もしないでほしい。
2. 索引にして、一部を引用し、リンクで戻してくれるのはいい（これが既定）。
3. 要約して、丸ごと再現するところまで許す。

自動で設定される場合は、真ん中の「索引と引用、リンクで戻す」が入ります。全部を許すのでも拒むのでもなく、使い方の希望まで添えられる。表現できる幅が広がりました。

用途ごとに線を引く4ステップ（現場でやっていること）

派手なことはしていません。私たちが実際にやっている手順を、そのまま出します。

STEP 1：ページの種類ごとに、何を許すかを決める

全ページを同じ扱いにしません。たとえば、こんな引き方をしています。

• 会社紹介やサービス説明、記事の一覧：見つけてほしいので、検索は通す。
• 料金や問い合わせなど、いちばん来てほしいページ：検索には確実に載せたい。
• 購入や会員の手続きなど、人の代わりに自動で操作されると困るページ：エージェントを警戒する。
• 独自に時間をかけて作った資料や写真：学習で丸ごと取り込まれたくないものは、学習を止める側に寄せる。

STEP 2：決めた方針と理由を、チームで見える場所に記録する

担当が変わっても引き継げるように、方針だけでなく「なぜその方針にしたか」を残します。理由が残っていないと、次に触る人がまた全ブロックか全許可に戻してしまうからです。こうした運用の決めごとと確認の履歴を一か所にまとめるために私たちが作ったのが、MONJI+です。

STEP 3：新規ドメインは公開前の確認項目に「AIボットの方針」を足す

とくに2026年9月15日以降の新規ドメインは初期設定が動くので、公開前チェックに一項目として入れておきます。

STEP 4：方針を変えたあとは、動きの変化を見ておく

方針を変えたら、サイトへのアクセスや巡回の動きが変わっていないかを見ます。修正内容と数字を同じ流れで見ておくと、次にどこを直すか判断しやすくなります。

実際に効いてくること

やっていることは地味です。でも、この整理をしてから変わったことがあります。

• 決めた理由が残るので、担当が変わっても方針を引き継げるようになった。
• 「とりあえず全ブロック／全許可」への逆戻りが減った。
• 新規ドメインでも、公開前に方針が一項目として必ず確認されるようになった。

一つの設定だけで成果を断定はできません。検索やAIの評価には、さまざまな要因が関わります。それでも、方針と理由と数字を同じ場所で見ておくことで、次の判断が速くなりました。

注意点：これは「お願い」であって「強制」ではない

期待しすぎないために、限界も正直に書いておきます。

robots.txt に書く使い方の希望は、あくまで意思の表明です。守るかどうかは読みに来る側にゆだねられていて、希望を無視して動くボットも現実にはいます。本気で止めたいなら、希望を書くだけでは足りません。実際にアクセスを見て、通す・通さないを技術的に効かせる別の手当てが要ります。

なぜここまで気にするのか。Cloudflareのデータでは、AIが中身を読みに来る回数に対して、そこから実際に人が訪れる回数は、サイトによって118対1から、多いと5万対1にもなっていました。たくさん読まれても、返ってくる人はごくわずか、ということが起きています。

よくある質問（FAQ）

Q. AIのボットは、全部ブロックすべきですか。
A. 全ブロックにすると検索でも見つけてもらえなくなります。用途で分けるのが現実的です。検索は通し、学習や自動操作（エージェント）は必要に応じて止める。Cloudflareでは2026年7月1日から、この用途別の指定が無料プランでも使えます。

Q. robots.txt に使い方の希望を書けば、学習を止められますか。
A. 希望であって強制ではありません。無視して動くボットもいるため、本気で止めるにはアクセスを技術的に制御する別の手当てが要ります。希望を書くことと、実際に止めることは別に考えておくのが安全です。

Q. 2026年9月15日から何が変わりますか。
A. Cloudflareに新しく登録するドメインで、広告を表示しているページは学習とエージェントを初期状態でブロックし、検索は通す既定になります。放っておいても方針が一つ選ばれるので、新規サイトはこの日を意識しておくとよいです。

まとめ

• AIに対する現場の本音は「検索には見つけてほしいが、学習や自動操作までは許可したくない」で、robots.txtの全ブロックか全許可の二択では表しきれなかった。
• Cloudflareは2026年7月1日、AIのアクセスを検索・エージェント・学習の3つの用途に分けて扱えるようにした。無料プランを含む全利用者が使える。
• 2026年9月15日から、新しく登録するドメインでは、広告表示ページで学習とエージェントを初期状態でブロックし、検索は通す設定になる。放っておいても方針が一つ選ばれる。
• robots.txtには、通す通さないに加えて、使い方の希望を3段階で添えられるようになった。既定は「索引と引用、リンクで戻す」。
• ただしこれは希望であって強制ではない。無視するボットもいるため、本気で止めるにはアクセスを技術的に制御する別の手当てが要る。
• 現場でできるのは、ページ種別ごとに方針を決め、その理由をチームで記録し、新規ドメインの公開前確認に加え、変更後の動きを見ておくこと。

AI時代のチームWeb運用プラットフォームMONJI+

AIをめぐって、Webサイト運用で見るべき範囲は広がり続けています。

そのなかで効いてくるのは、
決めた方針とその理由を、
チームの誰もが同じ場所で見られるようにしておくことです。

MONJI+は、こうした運用の決めごとや確認の履歴を一か所にまとめるためのWeb運用プラットフォームです。
方針をチームで共有し、公開前の確認項目としてそろえ、変更後にサイトの状態が変わっていないかまで、同じ場所で見ていけます。

▼MONJI+について
https://monji.tech/ja/plus/

▼まずは無料ではじめる
30日間の無料トライアルで全機能を試せます。ずっと無料のフリープランもあります。
https://monji.tech/ja/plus/trial/

▼あなたの声もお待ちしています
https://monji.tech/ja/plus/co-creation/