We're Ready To Block Millions of Websites From AI

Cloudflare CEO: We’re Ready To Block Millions of Websites From AI — With Matthew Prince

1. ネットトラフィックの歴史的転換点: AIトラフィックが初めて人間を上回り、今後さらに爆発的に増加へ

2026年5月、自動化/AIトラフィックがインターネット史上初めて人間のトラフィックを上回りました。今後、24時間稼働する複数のAIエージェントが導入されるにつれて、自動化によるトラフィックは今後5年間で、人間によるトラフィックの1,000倍に達すると予測されています。
これによりサーバー、CPU、帯域幅などのインフラに前例のない負荷がかかり、従来のコンテナやホスティング技術は根本的なアーキテクチャ革新を行わない限り耐えられなくなります。
大量のHTML/CSS/JavaScriptといった重いコンポーネントを含む従来のウェブページは、エージェント時代において極めてリソース無駄の多い「不要なペイロード」となります。今後のウェブデザインは二極化し、極少数の人間が閲覧するビジュアルページと、AIエージェント専用に最適化された構造化APIや極簡Markdownファイルに分かれます。これにより、ServerlessやEdge Isolates技術を中心とした基盤インフラの根本的な世代交代が引き起こされます。

2025年末以降、ウェブコンテンツは爆発的に増加しています。最新のAIコード生成やサイト構築ツールにより、非エンジニアでも高品質なアプリやサイトを簡単に構築できるようになりました。
ウェブはより健全化しており、人々のウェブとのインタフェースがAIインタフェース/エージェント主導へと急速にシフトしているに過ぎません。

従来の検索エンジンによる「10 blue links」と SEO の時代は終焉を迎えました。AIエージェントがデータをスクレイピングして直接ユーザーに回答するため、元サイトへのクリック率は急減しています。これは広告やサブスク依存のメディアにとって死活問題です。
したがって、毎秒数千万〜数億件の取引を支えるエージェント向けマイクロペイメント・インフラを構築し、AIエージェントがコンテンツにアクセスするたびに微小な費用を支払う、今後30年の価値交換メカニズムを再構築する必要があります。

Googleは従来の検索エンジンの独占的優位性を利用し、同一のクローラーで検索用とAI用のデータを同時に収集して独占を維持しようとしています。
Cloudflareは9月中旬より、広告/サブスク型メディアに対してGoogleのAIクローラーをデフォルトでブロックすると発表しました。これにより数百万のウェブサイトがGoogle AIの収集対象から外れ、Googleやその他のAI大手に対し、クリエイターのコンテンツ使用に対して正当な対価を支払う共通ルールに従うよう強制します。

AIエージェントは「無制限の忍耐力」を持ち、感情に左右されません。購買決定は従来のビジュアル広告やブランドの感情的訴求の影響を受けず、客観的なデータ(返品率、配送スピード、レビューなど)を徹底的に比較して行われます。
その結果、歴史的データや評判の蓄積が少ない新興の中小企業はAIエージェントに推薦されにくくなり、市場は大手企業へ加速度的に集中します。中小企業向けの検証ツールを積極的に提供しない限り、ネットビジネスは高度な独占状態に陥ります。