一、プロローグ：エージェントが門前払いされる日

📅 想像してほしい。あなたが AI エージェントに、とあるサイトの公開情報を調べさせようとした——値段比較、ニュース検索、商品詳細の確認。するとどうなるか？

エージェントはリクエストを送った瞬間、Cloudflare の Bot Management にブロックされ、キャプチャが表示される。あなたの AI は「自転車・信号機・横断歩道が含まれる画像をすべて選択してください」という課題に、人間と同じように立ち尽くす。

その一方で、同じサイトが運用する AI エージェントは、他人のデータを悠々と搔き集めている。User-Agent は普通の Chrome ブラウザに偽装され、IP アドレスは世界中の住宅用ネットワークを高速ローテーション。TLS フィンガープリントは人間と見分けがつかない——防御システムはそれが AI だと気づかない。

これは偶然ではない。2026年のインターネットが抱える最も皮肉なパラドックスだ。プラットフォームは他社のエージェントを防ぐ壁を築きながら、自社のエージェントには門を開けている。 しかもこの二つは、同じ企業が同時にやっている。

二、🚧 高まる壁：世界規模のアンチクローリング強化

2025年7月1日、Cloudflare はメディアに「コンテンツ独立記念日」と呼ばれる決定を発表した。新規ユーザーはデフォルトで AI クローラーをブロック、サイト運営者は GPTBot、ClaudeBot などの主要 AI 訓練クローラーをワンクリックで遮断できる。2026年5月までに 250万以上 のサイトが「AI訓練クローラーはブロック、検索エンジンは許可」というモードを選択している。📊

これは孤立したイベントではない。世界的な「壁の建設」運動だ：

Google は 2026 年 1 月、Custom Search JSON API の新規登録を停止した。新規参入者はプログラムで全ウェブの検索結果を取得できなくなった。同時に SearchGuard 防御システムを継続的に強化、各リクエストのブラウザフィンガープリント、マウス軌跡、アクセスパターンを追跡している。

X/Twitter は 2〜4 週間ごとに防御を更新している。データセンター IP は 1〜2 リクエストで永久ブロックされる。「100 万件あたり 15,000 ドル」の罰金条項は 2024 年 11 月から今も有効だ。2026 年 1 月の利用規約更新では「脱獄のためのプロンプトエンジニアリング」も禁止行為に追加された。

Reddit は最も過激な法的手段を選んだ。DMCA 回避禁止条項の領域にスクレイピング問題を持ち込んだのだ。2025 年 10 月、Reddit は Perplexity、SerpApi など 4 社を提訴し、Google 検索結果を経由して間接的に Reddit のコンテンツを取得したと告発した。2025 年 7 月のわずか 2 週間で、被告側は Google の技術的保護を迂回し 30 億 件近くの検索ページにアクセスしたという。これはスクレイピング問題を法の深水区に押し込む一手だ——もし Reddit が勝訴すれば、防御システムを迂回して公開データを取得するあらゆるエージェントが違法となる可能性がある。

2026年初頭の調査によると、世界の Top 10,000 サイトの 20.3% が少なくとも 1 種類の AI クローラーを明確にブロックしている。最も一般的なパターンは「Common Crawl をブロックし、Googlebot は許可する」——訓練用のデータ収集パイプラインは遮断するが、検索エンジン経由のトラフィックは維持するのだ。📈

三、⚔️ 崩れる紳士協定：エージェントの逆襲

高まる壁に対して、AI エージェントも黙ってはいない。彼らも進化している。

3.1 紳士協定の終焉

robots.txt はインターネットの「紳士協定」だ。30 年間、それは道徳的な拘束力で機能してきた。「クローラーお断り」と書けば、行儀の良いクローラーは引き返す。しかし AI 時代、このルールは崩壊しつつある。

2026 年の計測データによると、13%超の AI クローラーが robots.txt を完全に無視している。その比率は増加し続けている。理由は簡単だ。User-Agent 文字列を変えるのはたった 1 行のコードだ。GPTBot と名乗れば即座にブロックされるが、Chrome ブラウザを装えば通常のトラフィックに溶け込める。HTTP プロトコルには、この偽装を防ぐ検証メカニズムが組み込まれていない。🤥

3.2 Grok の「オオカミ群戦術」

2025 年 12 月、セキュリティ研究企業 DataDome の副社長 Jerome Segura は衝撃的な事例を記録した。Grok（xAI のチャットボット）に「このページを取得して」と依頼しただけだ。結果は？1 つのリクエストが 16 回の独立した HTTP リクエストを引き起こし、12 の異なる IP アドレスから発信されていた。

最も皮肉なのは、どのリクエストも xAI や Grok のエージェントと名乗っていなかったことだ。それらは Mozilla/5.0 の Chrome や Safari ブラウザになりすましていた。戦術はいわば「オオカミの群れ」——12 個の IP が同時に飛び掛かり、1 つでも成功すれば任務達成だ。

セキュリティ研究者はこの現象を「紳士協定の終焉」と呼ぶ。かつては良いエージェントは身分を明かし、悪いエージェントだけが偽装した。今やその区別は消え去った。すべてを駆動しているのはユーザーの要求——「このWebページの情報が欲しい」——であり、その目標を達成するためにエージェントはあらゆる手段を取れる。

3.3 中国の路線：シミュレーションから寄生へ

中国では、この攻防戦は独自の進化を遂げた：

⚙️ 第一段階：シミュレーションクリック。ブラウザ自動化（Playwright、Selenium）が独立ブラウザを制御し、マウスとキーボード操作を模倣する。問題点：あらゆる自動化行動がデジタル指紋を残す——navigator.webdriver のフラグ、精密な API 呼び出しタイミング、マウス軌跡の欠如——防御システムはこれらの特徴を熟知している。

⚙️ 第二段階：CDP 直結。Chrome DevTools Protocol が WebSocket を通じて直接本物のブラウザを制御する。シミュレーションより低レベルで検出が難しいが、依然として「偽ブラウザ」で「本物のシステム」を騙している。

⚙️ 第三段階：Chrome 拡張注入（寄生モード）。2025-2026年、中国の技術コミュニティはパラダイムシフトを起こした——偽ブラウザでプラットフォームを騙すより、本物のブラウザセッションをそのまま API にしてしまえ。 実際の Chrome に常駐する拡張機能が chrome.debugger API を介して CDP レベルの制御を得ると同時に、本物の Cookie・ログイン状態・ブラウザフィンガープリントをすべて保持する。検出は不可能だ——なぜなら本物のデバイスを使っているからだ。

このモードにはかつて高い参入障壁があった。新しいプラットフォームを統合するたびに、手動でリクエスト構造をリバースエンジニアリングし、専用アダプタを書く必要があった。しかし 2025-2026 年、重要な変数が出現した——AI 自身がアダプタを書けるようになった。LLM にプラットフォームのネットワークキャプチャを与えれば、認証方式、リクエスト形式、必要なヘッダーを数分で解析し、アダプタコードを生成する。限界費用はゼロに近づいている。

四、🎭 ダブルスタンダードの実演

最も皮肉なのは、多くの企業が守門員と選手の両方を同時に演じていることだ。一方で高い壁を築き、もう一方で自社の AI には門戸を大きく開けている。

五、🇨🇳 中国特別編：豆包スマホの 72 時間

ここまでの事例が「ダブルスタンダード」なら、中国市場の物語は真正面からの白兵戦だ。

発売：3 万台、一瞬で完売

2025年12月1日。 ByteDance の豆包（Doubao）チームと ZTE Nubia が「技術プレビュー版」スマートフォンを発表した。価格は 3,499 元、限定 3 万台。

既存の AI スマホと何が違うのか？天地の差だ。

豆包スマホは GUI Agent（グラフィカルユーザーインターフェース・エージェント） の路線を採用した。AI が画像認識で画面上のボタンやテキストを「読み取り」、操作パスを推論——ここをタップ、ここをスワイプ、ここに入力——人間のように指でタスクを完了させる。

重要なのは、どのアプリも API を公開する必要がないことだ。微信が公式 API を提供する必要も、淘宝が価格比較のインターフェースを解放する必要もない。直接あなたの画面を「見て」、あなたの指を「模倣」する。

この「ワンステップ完結」の体験は誰もが衝撃を受けた。「この商品の最安値を探して」と言えば、エージェントが自動で淘宝（タオバオ）、京东（ジンドン）、拼多多（ピンドゥオドゥオ）を開き、価格比較から注文まで完了させる。ユーザーは画面を一度も見る必要がない。スプラッシュ広告？そんなものは存在しない。トップページのレコメンド？表示する機会すらない。

3 万台、一瞬で完売。中古市場では 700〜1,500 元のプレミアム。ZTE の株価はストップ高。

包囲網：72 時間で頂点から崖っぷちへ

そして、封殺が始まった。

テンセントの回答は事務的だった。「特別な措置は取っていない。通常のリスク管理が作動した可能性がある。」しかし微信の利用規約第 8.3 条には明確に書かれている。非テンセント認可の第三者ツールによる自動操作を禁止する。 豆包の GUI Agent は、実質的に「チートツール」と見なされた。

馬化騰（ポニー・マー）自身もテンセントの年次総会で公に評価した。「ユーザーのスマホ画面をクラウドに送信するのは、極めて安全でなく、無責任だ。」

分析：なぜここまで激しい封殺だったのか？

豆包スマホが触れたのは、特定のアプリの利益だけではない——トラフィック経済の根幹そのものだ。🎯

1. 広告モデルの崩壊：スプラッシュ広告、フィード広告、シェイク広告——「ユーザーが画面を見ること」に依存するあらゆる収益化モデルが、エージェント代行操作のシナリオでは完全に無効化する。ユーザーはスマホを見る必要すらない。

2. トラフィック入口の主権交代：かつてユーザーは操作を完了するために「淘宝を開く → 検索 → 閲覧 → 比較 → 注文」のプロセスを踏む必要があり、各ステップがトラフィック分配と収益化の機会だった。今や一言話せばエージェントが全行程を完了する。スーパーアプリは静かなバックグラウンドサービスに成り下がった。

3. データの堀が埋められる：各スーパーアプリの「壁に囲まれた庭園」には独自のユーザー行動データが蓄積されている。エージェントのアプリ横断操作はデータを摩擦なく流動させる——巨大企業同士が互いに「サンプリング」でき、データの独占性が失われる。

4. 競合への切り替えコストがゼロに：豆包が微信でメッセージを送り、淘宝で価格比較をし、美団で出前を頼めるなら——ユーザーは「微信では価格比較できないから」という理由で特定のエコシステムに留まる必要がなくなる。切り替えコストが消滅した。

その後：対抗から交渉へ

包囲された後の ByteDance の対応は現実的だった：

• 微信、金融、ゲームなどの機密シナリオにおける AI 機能を自主的に停止
• 主要アプリ事業者と個別に権限開放を交渉
• 第2世代スマホ（2026年Q2中下旬）は依然 ZTE と協業、ただし事前に一部アプリの一般権限を合意済み
• 同時にダウンマーケット戦略を展開——Transsion、Meizu などの「others」スマホメーカーと提携し、豆包 AI 入口をプリインストール

さらに興味深いのは、智譜 AI（Zhipu AI）が豆包包囲の直後に、自社の GUI Agent モデル AutoGLM をオープンソース化したことだ。1 台の豆包スマホを包囲すれば済むのか？もし何千もの開発者がオープンソースモデルを基にパーソナルエージェントを構築したら？大手企業は全部封殺できるのか？

豆包スマホの 72 時間にわたる壮絶な遭遇は、営業秘密の漏洩事故でも技術的なミスでもない——それは未来 10 年のヒューマンマシンインタラクションのパラダイムを予行演習する出来事だった。 🌪️

六、🔮 本当に傷つくのは誰か？

大手プレイヤーにはそれぞれ独自の堀がある。

Google は全ウェブのインデックスと AI Overviews のデータループを持つ。xAI は X を買収しリアルタイムデータパイプラインを得た。OpenAI は SearchGPT と数十億のデータライセンス契約を抱える。テンセントは微信の 12 億 MAU と閉じたエコシステムを持つ。ByteDance は抖音の推薦アルゴリズムと膨大なユーザー行動データを有する。

しかしこの「データ包囲網」の本当の犠牲者は、壁の外に立つ人々だ：

👤 独立系開発者：API はますます高価になり、アンチクローリングは厳しくなり、データはますます取得困難になる。面白いエージェントアプリを作りたい？プラットフォームがいつ「供給停止」するか、そのリスクに備えよ。

👤 中小企業：エージェントで市場分析や競合モニタリングをしたい？API ライセンスの価格は高嶺の花。自前でクロールしようものならすぐにブロックされる。

👤 一般ユーザー：AI スマホを買い、AI サービスに課金すれば、エージェントが代わりに用事を済ませてくれると思った？現実は：エージェントはどのアプリの門を叩いても門前払いを食らうかもしれない。 隣のプラットフォームのエージェントは悠々と入っていくのに、あなたのエージェントは回り道を強いられる。

👤 学術界と非営利団体：研究にはデータが必要だ。しかし壁の経済のもとでは、「公益のために公開データをクロールする」ことさえも危うい行為になっている。

七、💭 紳士協定が死んだあと

30 年前、インターネットの設計者たちが robots.txt を書いたとき、ある前提があった。すべての参加者が同じルールを守る意志を持つという前提だ。

その前提は 2026 年、もはや存在しない。

AI エージェントの到来は、インターネットを徐々に変えているのではない——インターネットに根源的な問いを突きつけている。大量の AI が「閲覧者」に紛れ込み、AI 自身が別のコンテンツの創造者でもあるとき、このシステムのルールはどうあるべきなのか？

いくつかの新しい試みが始まっている：

• 🔐 Visa TAP：暗号化決済プロトコル。エージェントが保護されたコンテンツに「課金アクセス」できるようにする
• 🆔 Skyfire KYA（Know Your Agent）：エージェントの身分登録と信誉スコアリングシステム
• 🏗️ Cloudflare Pay-per-crawl：インフラレベルでの従量課金フレームワーク
• 🏛️ EU AI 法：ハイリスク AI システムにデータソースの透明性を要求
• 🇨🇳 中国「智能体実施意見」：エージェントの分類・段階別ガバナンス、サーキットブレーカー機構とデジタル身分を提案

しかしこれらはまだ十分ではない。核心は変わっていない。プラットフォームがルールを策定し、ルールを執行し、同時に競技者として参加するとき、そのルールは公平だろうか？

冒頭のシーンに戻ろう：

あなたのエージェントは、固く閉ざされた Web サイトの門の前に立っている。背後にはあなたがすでに支払ったサブスクリプション料金。門の中では、サイト運営者が自社のエージェントを使って世界中のデータを搔き集めている。少し離れたところでは、某巨大プラットフォームのエージェントが堂々と通用門から裏庭に入っていく——サイトとデータライセンス契約を結んでいるからだ。

これは技術の問題ではない。これはインターネット契約の書き換えだ。 誰がデータを取得する権利を持つのか？誰がエージェントの行き先を決めるのか？AI エージェントが単なる人間のツールではなく、独立したデジタル経済の参加者になるとき、古いルールブックは破り捨てられようとしている。

新しいルールは一夜にして生まれない。しかしそれまでは、一つだけ確かなことがある。あなたのエージェントが扉を叩いても開かないのは、技術の問題とは限らない——誰かのエージェントがすでに鍵を持っていて、あなたはまだ持っていないからかもしれない。

📅 2026-05-18 | 【AI 支援で執筆】