SEO・AIO

AIクローラーを
許可・拒否する判断

robots.txtでの方針設定と、サーバーログでの観測を分けて整理します。Web担当・情シス・エンジニアの方が、自社の方針を決めるための記事です。

この記事の要点

AIクローラーを許可すべきか拒否すべきかに、一つの答えはありません。検索結果へ表示するためのクローラー、モデル学習のためのクローラー、ユーザー操作でページを開くアクセスは、用途が異なります。検索用と学習用はrobots.txtで独立して指定できると各社が案内しています。一方、ユーザー操作起点のアクセスはrobots.txtで制御できない場合があります。
robots.txtは取得方針を伝えるための仕組みであって、認証やアクセス制御ではありません。非公開であるべき情報は、ログイン・IP制限・権限管理で保護します。
robots.txtへ許可を書いたことと、実際にクロールされたことは別です。許可は候補になるための入口であり、AI回答への表示を保証するものではありません。実際の挙動はサーバーログで観測し、AI回答での引用はさらに別の指標として観測します。

本記事のボット仕様は各社の公式ドキュメントを出典としています（確認日: 2026年8月6日）。名称・仕様は変わるため、設定前に最新版をご確認ください。

— 01

AIクローラーは用途で3系統に分かれる

結論から書くと、AIクローラーを一括で同じ扱いにすると意図しない結果になります。用途が3系統に分かれており、検索・参照用と学習用はrobots.txtでそれぞれ独立して指定できるためです。ユーザー操作起点だけは、robots.txtで止まらない場合があります。

系統	何のために取得するか	代表的な識別子
検索・参照用	AIの検索機能で回答にサイトを表示・リンクするための取得	OAI-SearchBot、Claude-SearchBot、PerplexityBot
学習用	生成AIの基盤モデルの学習に使われる可能性があるコンテンツの収集	GPTBot、ClaudeBot、CCBot
ユーザー操作起点	ユーザーが質問した際に、その場でページを取得（自動巡回ではない）	ChatGPT-User、Claude-User、Perplexity-User

OpenAIの公式ドキュメントは、OAI-SearchBotとGPTBotの設定が互いに独立しており、検索結果には表示させたい一方で学習利用は拒否する、という指定ができると明記しています。Anthropicも、学習向けのClaudeBot、ユーザー操作起点のClaude-User、検索品質向上のためのClaude-SearchBotを別々の識別子として案内しています。「OpenAIを全部拒否したい」「Anthropicをまとめて拒否したい」と一括で扱うと、検索結果への表示まで一緒に断つことになります。

なお、ユーザー操作起点のアクセスは自動的なWebクロールとは性質が異なります。OpenAIはChatGPT-Userについて、ユーザーが起点であるためrobots.txtのルールが適用されない場合があると案内し、Perplexityも、Perplexity-Userは一般にrobots.txtのルールを参照しないと明記しています。robots.txtで止まる前提で設計しないでください。

出典: OpenAI「Overview of OpenAI Crawlers」 / Anthropic「Does Anthropic crawl data from the web」 / Perplexity「Perplexity Crawlers」（確認日: 2026年8月6日）

— 02

主要なクローラーと公式ドキュメント

robots.txtで扱う対象を、運営元の公式ドキュメントに記載があるものに限って整理します。ここに挙げていない識別子を設定する場合も、必ず運営元の一次情報で用途を確認してください。

識別子	運営	公式ドキュメント上の用途	出典
OAI-SearchBot	OpenAI	ChatGPTの検索機能でサイトを検索結果に表示するための取得。オプトアウトしたサイトはChatGPTの検索回答に表示されません（ナビゲーションリンクとして表示される場合はあります）	OpenAI
GPTBot	OpenAI	生成AI基盤モデルの学習に使われる可能性があるコンテンツの取得。OAI-SearchBotとは独立して指定できます	OpenAI
ChatGPT-User	OpenAI	ChatGPTやCustom GPTでユーザーが操作した際の取得。自動巡回ではなく、ユーザー起点のためrobots.txtのルールが適用されない場合があります	OpenAI
ClaudeBot	Anthropic	生成AIモデルの学習に寄与しうるWebコンテンツの収集	Anthropic
Claude-SearchBot	Anthropic	検索結果の品質向上のためのWeb巡回。拒否すると検索応答での可視性・正確性が下がる可能性があると案内されています	Anthropic
Claude-User	Anthropic	ユーザーがClaudeに質問した際の取得。ユーザー起点のアクセスを制御するための識別子です	Anthropic
PerplexityBot	Perplexity	Perplexityの検索結果にサイトを表示・リンクするための取得。基盤モデルの学習用途には使われないと明記されています	Perplexity
Perplexity-User	Perplexity	ユーザーの質問に答えるためのその場の取得。ユーザー起点のため、一般にrobots.txtのルールを参照しないと明記されています	Perplexity
CCBot	Common Crawl	公開Webを広く収集し、オープンデータとして公開するクローラー。公開データセットとして提供されるため、第三者に再利用される可能性があります	Common Crawl
Google-Extended	Google	独立したクローラーではなく、クロール済みコンテンツのGeminiの学習・グラウンディングへの利用可否を示すrobots.txtのトークン	Google

CCBotはCommon Crawlのクローラーです。特定のAI企業専用ではなく、公開Webを広く収集してオープンデータとして公開する性質のもので、公開データセットとして提供される以上、第三者に再利用される可能性があります。Common Crawlは、CCBotを騙るクローラーが存在することを認識しているとしたうえで、reverse DNSとIP範囲での検証を推奨しています。

User-Agent文字列のバージョン番号は固定で扱わないでください。OpenAIは自社ドキュメントで「バージョン番号は変わる可能性がある」と注記しており、Googleもログ検索やフィルタリングの際は正確なバージョン番号を指定せずワイルドカードを使うよう案内しています。抽出条件はボット名の部分一致で組みます。名称・仕様そのものも変わるため、四半期ごとに公式ドキュメントを確認してください。

出典: Common Crawl「CCBot」 / Google「Google common crawlers」（確認日: 2026年8月6日）

— 03

robots.txtはアクセス方針であって、アクセス制御ではない

robots.txtは、クローラーへ取得方針を伝えるための仕組みです。サイトのルート直下（https://example.com/robots.txt）に置くテキストファイルで、主に3つのフィールドを使います。

User-agent：指示の対象とするクローラーを指定します。User-agent: GPTBotのように個別指定するほか、User-agent: *ですべてのクローラーを対象にできます。
Disallow：取得を控えてほしいパスを指定します。Disallow: /でサイト全体、Disallow: /private/で特定ディレクトリを対象にします。値が空のDisallow:は「制限なし」を意味します。
Allow：Disallowで広く制限した中から、例外的に許可するパスを指定します。AllowとDisallowが競合する場合は、パスの記述がより長く一致するルールが使われ、長さが同じときはAllowが優先されます（RFC 9309・Googleのrobots.txt仕様）。

記述の基本ルールは次のとおりです。

グループは、1つ以上のUser-agent行と、それに続くルールで構成されます。複数のUser-agentを1つのグループにまとめることもでき、同じUser-agent宛てのグループが複数ある場合は実装によって結合されます。運用としては、対象ごとに空行で区切って並べると読み違えにくくなります。
特定のUser-agentにマッチする記述がある場合、そのボットはワイルドカード宛ての指示ではなく自分宛ての記述に従います。GPTBot向けに個別ブロックを書いたら、GPTBotはUser-agent: *のブロックを参照しません。両方に効かせたい指示は、個別ブロックにも書く必要があります。
User-agent名の照合は大文字小文字を区別しない実装が一般的ですが、公式ドキュメントの表記どおりに書くほうが確実です。

検索・参照を許可し、学習を拒否する場合の最小の記述例です。

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

この設定は、ChatGPTの検索用クローラーの取得を妨げず、GPTBotによる学習用途の取得は拒否する、という意思表示です。

ここで前提を明確にします。robots.txtは認証でもアクセス制御でもありません。行儀のよいクローラーは記述を尊重しますが、記述を無視するクローラーが存在しないとは限りません。加えて、robots.txtへ書いたパスは「ここにこういうディレクトリがある」と公開することにもなります。非公開であるべき情報は、ログイン、IP制限、権限管理で保護してください。確実に遮断する必要がある場合は、サーバー側のアクセス制御を併用します。

robots.txtの仕様は Google「robots.txtの概要」（確認日: 2026年8月6日）を参照しています。

— 04

許可しても表示は保証されない

検索・参照用クローラーを許可しても、必ずAIの検索回答に表示されるわけではありません。OpenAIの公式ドキュメントが示しているのは、オプトアウトしたサイトはChatGPTの検索回答に表示されないこと（ナビゲーションリンクとして表示される場合はあります）、そして検索結果に出るためにはrobots.txtでの許可と公開IP範囲からのアクセス受け入れを推奨する、という2点です。許可は「候補になるための入口」であり、表示を約束するものではありません。

取得可能性に加えて、当社が実務で確認している前提条件は次のとおりです。これは当社の運用目安であり、各社が公表している判定基準ではありません。

質問に答える公開ページが存在する
サービス・会社の情報が正確で、最新である
引用できる根拠（数値・出典・日付）が本文にある
ページが速く、安定して200を返す
WAFやCDNが該当ボットを遮断していない
robots.txt更新後の反映時間を待っている

逆向きの因果は、公式ドキュメントに根拠があります。OAI-SearchBotを拒否すれば、ChatGPTの検索回答には表示されません（ナビゲーションリンクとして表示される可能性は残ります）。Anthropicも、Claude-SearchBotを拒否すると検索応答での可視性・正確性が下がる可能性があると案内しています。つまり「拒否すれば出ない」は確度が高く、「許可すれば出る」は成り立ちません。設定変更の効果は、この非対称性を前提に見積もってください。

— 05

Google-Extendedの正体——よくある誤解

AIクローラー制御でもっとも誤解が多い対象がGoogle-Extendedです。Googleの公式ドキュメントの記載に沿って正確に押さえます。

Google-Extendedは、独立したクローラーやUser-Agentではありません。公式ドキュメントは、Google-ExtendedにHTTPリクエスト用の専用User-Agent文字列はなく、クロール自体は既存のGoogleのUser-Agentで行われ、robots.txtのトークンは制御目的でのみ使われる、と明記しています。Google-Extendedは、Googleがクロールしたコンテンツを、Gemini AppsやVertex AIのGeminiモデルの学習、およびグラウンディング（回答時に検索インデックスの内容をモデルへ渡し、事実性と関連性を高める処理）に使ってよいかを、サイト運営者が示すためのトークンです。

Google-Extendedをブロックしても、Google検索へのサイトの掲載には影響せず、Google検索のランキングシグナルとしても使われません（公式ドキュメントの明示的な記載）。
したがって、「Google検索には今までどおり出したいが、自社コンテンツをGoogleのAI学習・グラウンディングには使わせたくない」という方針があれば、Google-Extendedを拒否する選択が成り立ちます。

robots.txtでの指定は次のとおりです。

User-agent: Google-Extended
Disallow: /

出典: Google「Google common crawlers」（確認日: 2026年8月6日）

— 06

拒否を検討する情報

拒否の判断は、情報の性質ごとに分けて考えます。以下は当社が顧客サイトの設計時に確認している観点です。

学習利用を望まない独自情報

有償教材、独自データ、契約上制限された情報などは、学習用クローラーの拒否を検討します。ただし、公開している時点で、他の取得手段や人間による閲覧を完全に防げるわけではありません。robots.txtでの拒否は、意思を表明する手段であって遮断の保証ではないという位置づけです。

非公開であるべき情報

robots.txtへパスを書くのではなく、認証で保護します。robots.txtは誰でも読めるファイルであり、拒否対象のパスを書くことはディレクトリ構成の公開でもあります。ログイン、IP制限、権限管理で公開範囲そのものを管理してください。

大量アクセスに耐えられないサイト

負荷が問題なら、特定ボットの拒否だけで解決しようとせず、レート制限、CDN、キャッシュ、WAFを設計します。全体の安定性を先に確認してください。なお、AnthropicはCrawl-delayに対応していると案内しており、負荷の調整手段が公式に用意されている場合もあります。

知財・法務・ブランドの方針

自社の文章や図版が生成AIの出力へ反映されることを許容できるかは、技術というより経営・法務の判断です。担当者だけで決めず、関係部署と方針をすり合わせてから設定します。robots.txtでの学習拒否は、その方針を技術的に表明する手段の一つという位置づけです。

— 07

サーバーログで確認すること

robots.txtを変更したら、実際のアクセスをログで確認します。設定を書いたことと、そのとおりに動いていることは別だからです。ここでは観測の観点だけを示します。抽出・集計の具体的な手順は、子記事サーバーログでAIクローラーを確認するで扱っています。

保存する項目

時刻
IPアドレス
User-Agent
リクエストURL
ステータスコード
応答時間
参照元
robots.txtの取得有無
リクエスト回数

確認する観点

各社が公開しているIP範囲と一致するか
User-Agent名だけを騙っていないか
robots.txtを取得しているか
403・429・5xxが多くないか
重要ページへ到達しているか
不要なパラメータURLを大量に取得していないか
クロール負荷がサイトの容量に対して高くないか

User-Agent文字列だけで公式クローラーと断定しないでください。User-Agentは容易に偽装できます。OpenAI・Perplexity・Common Crawlは公開IP範囲をJSONで提供しており、Common Crawlはreverse DNSによる検証手順も示しています。公開IP情報がある場合は照合します。

ログの取得方法は環境によって異なります。Vercel、Cloudflare、AWS、レンタルサーバーのいずれを使っているかで、確認先はCDNログ、WAFログ、Webサーバーログ、ホスティングのアクセスログ、APM、独自ミドルウェア、エッジ関数などに分かれます。

Google Analyticsだけでは、クローラーの来訪を確認できません。クローラーは通常JavaScriptによる計測を実行しないため、サーバー側のログが必要です。

— 08

ログから引用を推定しない

AIクローラーがページを取得した後にAI回答で引用されたとしても、その2つを直接の因果として結ぶことはできません。次のような経路が同時にありうるためです。

別の検索基盤の結果を使った可能性がある
以前のクロール結果を使った可能性がある
ユーザー操作起点で取得された可能性がある
他サイトの引用を経由した可能性がある
同じURLでも、取得時点と異なる内容を参照した可能性がある

ログが示すのは取得の事実だけです。引用、回答への反映、流入は、それぞれ別の方法で観測します。当社は、この3つを別の指標として分けて記録することを推奨します。AI回答での言及を確かめる方法は Google AI機能の計測方法、可視性の測り方は AI可視性の測り方で扱っています。

— 09

方針を決める手順と記述例

ここまでを実務の順序に並べます。6段階です。

1
コンテンツを分類する
広く発見されたい情報、検索には出したいが学習は拒否したい情報、認証が必要な情報、契約上公開できない情報に分けます。
2
サービスごとに用途を確認する
各社の公式ドキュメントで、検索・参照用、学習用、ユーザー操作起点のどれに当たるかを確認します。
3
robots.txtを更新する
すべてのクローラー向けの指定にサイト全体の拒否が紛れていないかを点検します。本番ドメインだけでなく、ステージング環境や管理画面側の設定も確認します。
4
サーバーログで確認する
反映時間を考慮したうえで、実際のアクセスとエラー（403・429・5xx）をログで確認します。
5
AI回答は別に観測する
質問、引用の有無、回答内容、誤りを記録します。ログの取得実績とは別の指標として扱います。
6
四半期ごとに再確認する
User-Agent名、公開IP範囲、製品仕様は変化します。四半期ごとに公式ドキュメントを読み直します。

方針は、おおむね次の3つに分かれます。どれが正解かは、知財・法務の方針と、AI経由の集客をどこまで重視するかで決まります。

方針	学習用	検索・参照用	Google-Extended
A. 検索・参照も学習も制限しない	許可	許可	許可
B. 検索・参照は許可し、学習は拒否する	拒否	許可	拒否
C. AI関連クローラーを広く拒否する	拒否	拒否	拒否

方針A（検索・参照も学習も制限しない）：AIクローラー向けの特別な記述は不要です。通常の検索向けrobots.txtのまま、AI系を明示的に拒否しません。

方針B（検索・参照は許可し、学習は拒否する）:

# 学習用は拒否
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

# Googleの学習・グラウンディング利用を拒否（Google検索の掲載・順位には影響しない）
User-agent: Google-Extended
Disallow: /

# 検索・参照用は許可
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

# 検索エンジンは通常どおり
User-agent: *
Disallow:

方針C（AI関連クローラーを広く拒否する）:

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-SearchBot
Disallow: /

User-agent: Claude-User
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: Perplexity-User
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# 検索エンジンのクロールは止めない（検索流入を維持）
User-agent: *
Disallow:

いずれの例も、User-agent: *へDisallow: /を入れていない点に注意してください。ここへ全体拒否を書くと検索エンジンのクロールまで止まり、検索流入を失います。また方針Cについては、ユーザー操作起点の識別子（ChatGPT-User・Perplexity-User）はrobots.txtで止まらない場合があると各社が案内している点も踏まえてください。止める必要があるなら、サーバー側のアクセス制御で対応します。

記述後は、自社ドメインの/robots.txtへアクセスして内容が想定どおりか、404やサーバーエラーになっていないかを確認します。特定ボット向けの記述を書いた場合、そのボットはUser-agent: *の記述を参照しなくなる点も再確認してください。「全体を拒否したつもりが、個別記述のあるボットだけ素通り」という取りこぼしが起きやすいところです。

— 10

Netsujoの基本方針

当社の公開サービス、技術記事、会社情報は、検索・参照用クローラーへ取得される状態を基本としています。モデル学習用クローラーは、コンテンツの性質と契約条件に応じて別に判断します。

顧客サイトの設計では、AI経由の集客方針、独自情報の有無、サーバー負荷、法務条件を確認したうえで、robots.txtによる方針表明とサーバー側のアクセス制御を分けて設計します。robots.txtだけで守れる範囲と、守れない範囲を先に線引きするためです。

これは当社の運用方針であり、すべてのサイトに当てはまる普遍的な正解ではありません。自社の知財方針・法務条件に照らして判断してください。

よくあるご質問

robots.txtに書けば、AIの学習を確実に止められますか？

確実ではありません。robots.txtは取得方針を伝えるための仕組みであり、認証やアクセス制御ではありません。OpenAI・Anthropic・Perplexity・Common Crawlは公式ドキュメントでrobots.txtによる制御方法を案内していますが、Web上のすべてのクローラーが従うとは限りません。確実に遮断したい場合は、サーバー側でのアクセス制御を併用してください。非公開であるべき情報は、robots.txtではなくログイン・IP制限・権限管理で保護します。

GPTBotとOAI-SearchBotは何が違いますか？

どちらもOpenAIのボットですが用途が異なります。GPTBotは生成AI基盤モデルの学習に使われる可能性があるコンテンツの取得、OAI-SearchBotはChatGPTの検索機能で回答にサイトを表示するための取得です。OpenAIの公式ドキュメントは、この2つの設定が互いに独立していること、たとえば検索結果には出したい一方で学習利用は拒否する、という指定ができることを明記しています。

OAI-SearchBotを許可すれば、ChatGPTの回答に表示されますか？

許可しても表示は保証されません。OpenAIの公式ドキュメントは、オプトアウトしたサイトはChatGPTの検索回答に表示されないこと（ナビゲーションリンクとして表示される場合はあります）、検索結果に出るためにはrobots.txtでの許可と公開IP範囲からのアクセス受け入れを推奨することを示しています。つまり許可は取得可能性を確保するための前提であり、表示されるかどうかは別の問題です。

Google-Extendedをブロックすると検索順位は下がりますか？

Googleの公式ドキュメントは、Google-ExtendedがサイトのGoogle検索への掲載に影響せず、Google検索のランキングシグナルとしても使われないと明記しています。Google-Extendedは独立したクローラーではなく、クロール済みコンテンツをGeminiの学習やグラウンディングに使ってよいかを示すrobots.txtのトークンです。検索には出したいがGoogleのAI学習には使わせたくない、という場合の選択肢になります。

ユーザー操作で開かれるアクセスも、robots.txtで止められますか？

止められない場合があります。OpenAIはChatGPT-Userについて、ユーザーが起点のアクセスのためrobots.txtのルールが適用されない場合があると案内しています。Perplexityも、Perplexity-Userは一般にrobots.txtのルールを参照しないと明記しています。ユーザー操作起点のアクセスまで制御したい場合は、サーバー側のアクセス制御で対応します。

Anthropicのボットは1種類ですか？

Anthropicの公式ドキュメントは3種類を挙げています。学習向けのClaudeBot、ユーザー操作起点のClaude-User、検索品質向上のためのClaude-SearchBotです。ClaudeBotだけを拒否した場合と、3つすべてを拒否した場合では影響が異なります。まとめて同じ扱いにする前に、用途の違いを確認してください。

robots.txtを更新したら、いつ反映されますか？

OpenAIは検索結果について、robots.txt更新から自社システムへ反映されるまで24時間程度かかる場合があると案内しています。Perplexityも、設定変更の反映に最大24時間かかると記載しています。変更直後のログだけで判断せず、反映時間を置いてから確認してください。

設定が守られているかは、どうやって確認しますか？

サーバーのアクセスログで、対象のUser-Agentからのアクセスがどう変化したかを確認します。ただしUser-Agent文字列は偽装できるため、各社が公開しているIP範囲やreverse DNSと照合します。抽出・集計の具体的な手順は、本記事の子記事「サーバーログでAIクローラーを確認する」で扱っています。

User-Agentのバージョン番号まで指定して照合すべきですか？

しないでください。OpenAIの公式ドキュメントはUser-Agent文字列のバージョン番号が変わりうると明記しており、Googleもログ検索の際は正確なバージョン番号ではなくワイルドカードを使うよう案内しています。ログの抽出条件はボット名の部分一致で組み、バージョン番号を固定しない設計にします。

この記事の著者

飯田友広

代表取締役

Netsujo株式会社代表取締役。京都発のWeb3・AI実装スタートアップを2023年6月に創業。Webサイトを営業基盤として捉え、経営・営業・検索・生成AI・コンバージョン・計測を横断して課題と改善優先順位を整理する「Netsujo SIGNAL」を設計・運営。京都ビッグデータ活用プラットフォーム参画(小規模企業会員・ベンチャー)、同プラットフォーム発のワーキンググループ「Chain Up KYOTO」参画(2026-03-10)、IVS2026サイドイベント「なぜ京都でWeb3.0ビジネスなのか」を京都府庁旧議場で開催(2026-07-02・Netsujoとして主催、企画・登壇・運営／京都府デジタル政策推進課は共催)。京都美術工芸大学での講義・龍谷大学でのセミナー実績、ITコミュニティ「みやこでIT」(connpassメンバー614名・イベント167件・2019年2月から運営)運営。NPO法人NEMTUS理事、BAR KRYPTO運営。ソーシャル企業認証「S認証」認証企業(2026年2月認証・2026年4月公表)。技術領域はWeb3/ブロックチェーン/DID/NFT/生成AI/コミュニティ運営。

プロフィールを見る

この記事が向いている方

GPTBotやOAI-SearchBotなどのAIクローラーをrobots.txtでどう扱うか迷っているWeb担当・情シスの方
学習利用は拒否したいが、AI検索の回答からは外れたくないBtoB企業の担当者
Google-Extendedを拒否すると検索順位が下がるのか不安な方
robots.txtの設定どおりにクローラーが動いているかをログで確かめたい方

— 壁打ち相談

読者のよくある相談

記事を読んだ後に「自分の状況だとどう判断すべきか」を整理するための壁打ち相談を受け付けています。下記のような相談例が当てはまる方は、お気軽にご連絡ください。

Q. 学習利用は拒否したいが、AI検索の回答からは外れたくありません。

学習用とGoogle-Extendedを拒否し、検索・参照用は許可する方針Bの設計を、自社の情報資産に合わせて整理します。

Q. Google-Extendedを拒否すると検索順位は下がりますか。

公式ドキュメントでは掲載・ランキングに影響しないとされています。検索とAI利用の切り分けを自社方針に沿って確認します。

Q. 設定どおりに動いているか分かりません。

サーバーログでの実アクセス確認、公開IP範囲との照合、Search Consoleでの副作用点検まで、進め方を壁打ちできます。

上記いずれかが該当する場合、初回30分の壁打ち相談で論点整理に対応します。記事に書ききれない個別事情を踏まえた判断材料が必要な段階こそ、壁打ちが活きやすいフェーズです。

壁打ち相談を送る

検索・AI時代のWeb営業基盤をつくる

公開情報からの無料Web診断、GA4・Search Consoleの分析、robots.txtや構造化データ・計測の実装まで伴走します。検索順位やAI回答への掲載を保証するものではありません。

SIGNALのプランを見る

AIクローラーを許可・拒否する判断

AIクローラーは用途で3系統に分かれる

主要なクローラーと公式ドキュメント

robots.txtはアクセス方針であって、アクセス制御ではない

許可しても表示は保証されない

Google-Extendedの正体——よくある誤解

拒否を検討する情報

学習利用を望まない独自情報

非公開であるべき情報

大量アクセスに耐えられないサイト

知財・法務・ブランドの方針

サーバーログで確認すること

保存する項目

確認する観点

ログから引用を推定しない

方針を決める手順と記述例

コンテンツを分類する

サービスごとに用途を確認する

robots.txtを更新する

サーバーログで確認する

AI回答は別に観測する

四半期ごとに再確認する

Netsujoの基本方針

よくあるご質問

robots.txtに書けば、AIの学習を確実に止められますか？

GPTBotとOAI-SearchBotは何が違いますか？

OAI-SearchBotを許可すれば、ChatGPTの回答に表示されますか？

Google-Extendedをブロックすると検索順位は下がりますか？

ユーザー操作で開かれるアクセスも、robots.txtで止められますか？

Anthropicのボットは1種類ですか？

robots.txtを更新したら、いつ反映されますか？

設定が守られているかは、どうやって確認しますか？

User-Agentのバージョン番号まで指定して照合すべきですか？

飯田 友広

この記事が向いている方

読者のよくある相談

関連するサービス

Netsujo SIGNAL（検索・AI時代のWeb営業基盤）

システム開発サービス

検索・AI時代のWeb営業基盤をつくる

関連記事

サーバーログでAIクローラーを確認する

llms.txtは必要か

JavaScriptレンダリングとクローラーの確認

サイトが検索・AIに出ない原因と直し方

AIクローラーを
許可・拒否する判断

飯田友広