マーケティングエンジニアのためのテクニカルGEO：robots.txt・構造化データ・llms.txt

テクニカルGEOでは、対象サービスへのアクセスと、本文を取得しやすいHTMLを整えます。検索用のOAI-SearchBot・Claude-SearchBot・Googlebot、ユーザー起点のChatGPT-User・Claude-User、学習用のGPTBot・ClaudeBotは役割が異なります。初期HTMLを安全な共通基準とし、実際のアクセスはログで確認します。llms.txtは任意であり、引用要因ではありません。

マーケティングエンジニアの担当範囲

コンテンツの企画はマーケティング領域でも、対象サービスがサイトへ到達し、本文を取得できる状態をつくるのは技術領域です。構造化データは通常のリッチリザルトや事実の機械可読化に役立ちますが、汎用的なschemaが引用を増やすとは確認されていません。llms.txtも任意の補助ファイルであり、ランキングや引用のシグナルではありません。

1. AIクローラーを受け入れる

ボットの用途を区別する

ベンダーの公式資料では、主に次の3つの用途が区別されています。

• 検索・インデックス：OAI-SearchBotはChatGPT Search、Claude-SearchBotはClaudeの検索、GooglebotはGoogle検索とAI Overviews・AI Modeを支えます。PerplexityBotも検索・取得用です。
• ユーザー起点の取得：ChatGPT-UserとClaude-Userは、ユーザーの操作に応じてページを取得します。OpenAIは、ChatGPT-Userを検索掲載の判定には使わないと明記しています。
• 学習・モデル開発：GPTBotとClaudeBotは、モデル学習に使われる可能性がある公開ウェブ情報を収集します。各社の検索掲載を制御するボットとは別です。

OtterlyAIは100万件超の引用データを使った調査で、73%のサイトにクローラーを妨げる技術的な障壁があったと報告しています。ベンダー調査のスナップショットであるため、自社のrobots.txt、CDN・WAF、アクセスログで確認します。

# 検索・インデックス：対象にしたいサービスを許可
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Googlebot
Allow: /

# ユーザー起点の取得：検索掲載とは別に判断
User-agent: ChatGPT-User
Allow: /

User-agent: Claude-User
Allow: /

# 学習・モデル開発：別のポリシーとして判断
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

上記は説明用の例です。非公開パスを保護したうえで、対象サービスと自社方針に合わせて設定し、変更前に各社の最新資料を確認してください。User-Agentは詐称できるため、公式IPレンジが提供されている場合はアクセスログと照合します。

CDNやWAFが403・429を返していないかも確認します。robots.txtで許可していても、エッジで拒否されれば取得できません。

Google検索の制御はGooglebotです。Google-Extendedは、Googleが取得済みのコンテンツを将来のGeminiモデルの学習や、一部のSearch以外のGemini製品でのグラウンディングに使うかを制御します。Google検索への掲載や掲載順位には影響しません。対象プロパティではSearch Consoleにも生成AI機能への参加設定があるため、Google-ExtendedだけをAI Overviewsのスイッチとして扱わないでください。

JavaScriptに依存しないHTML

Vercelの調査では、5億6,900万件のGPTBotリクエストからJavaScript実行の痕跡は確認されませんでした。一方、Googlebotはクロール可能なJavaScriptをレンダリングできます。SSR・SSG・プリレンダリングで重要な本文を初期HTMLに含める方法が、複数サービスをまたぐ安全な基準です。

検証は簡単です：

curl -A "OAI-SearchBot" https://example.com/page/ | grep "重要なテキスト"

初期HTMLに本文が出てこなければ、レンダリング方式の見直しが必要です。

2. 構造化データ：タグより事実を重視

まず、Googleは生成AI検索に構造化データは必須ではなく、AI機能専用のschema.orgマークアップも存在しないと説明しています。AhrefsがJSON-LDを追加した1,885ページを対照群と比較した調査でも、AI Overviews、AI Mode、ChatGPTで意味のある引用増加は確認されませんでした。

一方、用途を限定して検討できる観察結果があります。普遍的な例外として確立されたものではありません。

• 実データを載せたProduct／SoftwareApplication＋Offer：価格、評価、仕様を含むProduct／Reviewスキーマのページは、あるクロスプラットフォーム観察研究で61.7%が引用され、汎用スキーマ型は41.6%でした。低オーソリティのドメインで関連が強い結果でしたが、schemaを追加したことが差を生んだとは証明していません。別の統制研究では、明示的な価格が引用候補を絞る要素の一つでした。タグによる引用増加を約束せず、正確な価格・評価・仕様を表示本文にも掲載します。
• Organization：社名、所在地、公式プロフィールへのsameAsを一貫させ、企業情報の基準点として使います。マークアップ自体による引用増加は約束できません。
• FAQPage：Q&A形式やschemaのラッパーだけでは不十分です。各回答が利用者の問いに明確に答え、必要な数値、定義、比較、出典を含むかを優先します。
• Article＋Person：著者と日付を表示内容と一致させます。GoogleはE-E-A-Tを直接のランキング要因とは位置付けておらず、特にYMYLでは信頼性を判断するための考え方として扱っています。

実装後はリッチリザルトテストとSchema.orgバリデーターの両方で検証します。

3. llms.txt：任意の補助ファイル

llms.txtがランキングや引用へ影響するという証拠は確認されていません。Googleは生成AI検索にAI向けテキストファイルは不要と説明しており、業界レビューでも引用効果を裏付ける資料は見つかっていません。一部のサイトではOpenAIからllms.txtへのアクセスが観測されていますが、ファイルを取得したことと回答への影響は別です。

自動生成できるサイトでは、低い運用負荷でサイト構造と主要コンテンツのMarkdown要約を公開できます。将来のクライアント利用に備える補助ファイルとしては検討できますが、優先度はアクセス、インデックス、本文の取得可能性より下です。

手作業で管理すると、ページ構成の変更に追随できず内容が古くなる可能性があります。導入する場合は、コンテンツ一覧と同じ情報源からビルド時に生成する方法が管理しやすいでしょう。本サイトも記事と用語集から自動生成しています。

検証チェックリスト

1. robots.txtで、検索用、ユーザー起点、学習用の用途を区別して設定している
2. WAF/CDNがAIクローラーのUser-Agentに403を返していない（アクセスログで確認）
3. 直接取得した初期HTMLに重要な本文が含まれる
4. 製品ページに価格・仕様の実データを載せたProduct／Offerスキーマがあり、OrganizationスキーマにsameAsリンクがある
5. llms.txtを公開する場合はビルド時に自動生成している（任意の補助ファイルであり、引用要因ではない）
6. サーバーログのAIクローラー訪問を公式IPレンジと照合し、定期確認している

技術基盤を整えることで、既知のアクセス・解析上の課題を減らせます。その後の反復計測で引用や言及の変化は観察できますが、前後比較だけで因果関係を証明することはできません。

参照した公式資料と研究は、冒頭の出典一覧にまとめています。ボット名や制御方法は変更される可能性があるため、本番環境の設定を変える前に各社の最新資料をご確認ください。

出典

• OpenAI「Overview of OpenAI Crawlers」
• Anthropic Help Center「Does Anthropic crawl data from the web?」
• Vercel「The rise of the AI crawler」
• Google検索セントラル「AI Features and Your Website」
• Google検索セントラル「Googleの一般的なクローラー」
• ナイル／SEO HACKS「SEO・LLMOトピックスvol.9」
• Search Engine Land「Google says normal SEO works … and LLMS.txt won’t be used」
• Ahrefs「We Tracked 1,885 Pages Adding Schema. AI Citations Barely Moved.」
• Vishwakarma et al.（Sprinklr）「What Gets Cited: Competitive GEO in AI Answer Engines」（SIGIR ‘26）
• OtterlyAI「The AI Citation Economy: 1+ Million Data Points」
• 「Does Schema Markup Predict AI Citation?」（構造化データの観察研究）