中古ドメインがクローラーにインデックス登録されない？

こんにちは、空条たろうです。

この記事は、中古ドメインがGoogleのクローラーにインデックス登録されない時の
原因と対処について、解説します。
次のような疑問を持っている方におすすめの記事です。

中古ドメインを利用してサイト運用していると、サイトのページがグーグルの
クローラー（検索エンジン）にインデックス登録されないケースがあります。

グーグルのクローラーに、運営しているサイトの記事がインデックス登録されなければ、
グーグルの検索結果に表示されないでに自然（オーガニック）検索で、
ページ内に流入させることが不可能です。

サイト・ブログの記事がインデックス登録されない原因はいくつか考えられますが、
中古ドメインそれ自体による原因でサイトの記事が、
グーグルにインデックス登録されないケースがあります。

この記事では、、中古ドメインでサイト運営していて記事が、
グーグルにインデックス登録されない原因と解決方法について、詳しく解説をしていきます。

ドメインがクローラーにインデックス登録されない原因

入手した中古ドメインでサイト運営をスタートしたとき、
Google検索エンジンにページがインデックス登録されない原因に、
該当のドメインのペナルティが挙げられます。

そもそもペナルティというのは、グーグルが規定している
「品質に関するガイドライン」に違反している・準拠していないサイト・
ブログに対して、グーグルが実施する処置です。

サイト・ブログ、正確にはドメインがペナルティを受けてしまったら、
Google検索エンジンのクローラーから検索順位を下げられたり、
インデックス登録の削除をされる、等検索結果の上位に表示することが行えなくなります。

こういったペナルティを受けている中古ドメインを取得して、
いざサイトやブログ運営を開始しようとしても、
グーグルにページをインデックス登録させることができないです。

入手した中古ドメインがペナルティを受けているかを調べるには、
グーグルが提供しているツールである「サーチコンソール」を使います。

サーチコンソールに取得したドメインの登録（プロパティの追加）をして、
左側のメニューにある「セキュリティと手動に対する対策」→「手動による対策」の画面に移行すると、
ドメインがペナルティを受けているか、チェックをすることが可能です。

（※画像をクリックすると、拡大します）

取得した中古ドメインがペナルティを受けていなければ、
サーチコンソールの「手動による対策」画面に「問題は検出されませんでした」と表示されます。

（※画像をクリックすると、拡大します）

しかしながら、ドメインに手動ペナルティを受けていたら
「手動による対策」画面にエラー表示が出ます。

中古ドメインがペナルティを受けていた場合

サーチコンソールから入手した中古ドメインがペナルティを
受けていたと分かった場合、サイトの記事をインデックス登録させるには、
ペナルティの解除をするか、その中古ドメインを放棄するかのどちらかです。

ペナルティを解除する

ペナルティを解除するには、最初にペナルティの原因を把握することが不可欠です。
ペナルティの原因を確認するためには、サーチコンソールの
「セキュリティと手動に対する対策」→「手動による対策」の画面を開きます。

「手動による対策」の画面にある項目「検出された問題」の箇所を選ぶと、
ペナルティを受けた原因が記載されているはずです。

ペナルティの原因をハッキリさせて対策をしたら、
ペナルティの解除申請をサーチコンソールからグーグルに申請します。

ただし、Google社にペナルティの解除の申請をしても、絶対に解除されるとは限りません。
それに、解除されるまでの期間や申請回数もケースバイケースです。
だから、サイト公開が遅くなっても、支障ないようならペナルティの
解除をするといいと思います。

中古ドメインを放棄する

あるいは、取得した中古ドメインの購入価格にもよりますが、
対費用効果を考えると、中古ドメインを放棄して、
新しく中古ドメインを入手したほうが良い場合もあります。

ペナルティを解除するのか、ドメインを放棄するのか、
どっちが望ましい選択なのかは、ケースによります。

その他のインデックス登録されない原因と対策方法

サイトの記事がインデックス登録されない原因はペナルティ以外にもあります。
もしも、入手した中古ドメインがペナルティを受けていないとすると、
他の原因が考えられます。

ペナルティ以外の理由で、サイトの記事がインデックス登録されない原因は概ね7つあります。

ここからご紹介するサイトの記事がインデックス登録されない理由は、
中古ドメインだけじゃなく、新規ドメインでサイト運営しているケースにも該当します！

クローラーが巡回しにくいリンク構造になっている

クローラーからしたらサイト内が巡回しにくいリンク構造になっている場合だと、
グーグルに記事がインデックス登録されない恐れがあります。

そもそも、クローラーはサイト内の記事にあるリンクを辿って、
各ページの情報をグーグルのデータベースに保存し、インデックス登録されます。

このクローラーが何かの理由でリンクを辿れない、クロールしにくいリンク構造だったら、
インデックス登録されないケースがあります。

クローラーが辿りにくいリンク構造の例に挙げると、下記になります。

クローラーが円滑にリンクを辿りやすくするには、クローラビリティを良くする必要があります。
クローラビリティの修正には、内部リンクの改善が必須です。

１つの例として、内容が似ているコンテンツをカテゴリーとして1個にまとめて、
ディレクトリ構造を調整します。

ディレクトリ構造を改善することによって、カテゴリーとしてのテーマ性が高まり、
クローラビリティの向上以外にも、来訪者にとっても使いやすいサイトになるはずです。

meta robotsタグでnoindexを指定している

HTMLファイルのmeta robotsタグ内にnoindexを指定すると、
クローラーはインデックス登録しないページとみなします。

meta robotsタグにnoindexを指定した記事は、グーグルにインデックス登録されません。
meta robotsタグにnoindexを指定した記述例は次の通りです。

meta robotsタグは、headタグの中に記述しています。
インデックス登録させたい記事にnoindexが記述していないかチェックをして、
もしもnoindexがページに記述していたら解除をしてください。

ワードプレスでサイト運営をしている場合、noindexの解除はワードプレスの
管理画面から「設定」→「表示設定」にある「検索エンジンがサイトを
インデックス登録しないようにする」にチェックが入っていないか確かめましょう。

それから、プラグインの「All in One SEO Pack」を利用している場合、
それぞれの固定ページ・投稿ページにnoindexを設定していないか確かめましょう。

その後、noindexの解除をグーグルのクローラーに通達するために、
サーチコンソールの「URL検査ツール」という機能を使って、クローラーに記事を
クロールしてもらえるように、リクエストをしておいてください。

robot.txt側の設定でクロールを拒否している

robot.txtファイル内に、検索エンジンのクロールを拒否する項目が記述されていたら、
グーグルに記事がインデックス登録されません。

robot.txtファイルでクロール拒否をしている記述例は、次の通りです。

上記、記述例のように「Disallow」で指定された対象ページや対象ディレクトリは、
「User-Agent」で指定されたクローラーにクロールされずに、
グーグルにインデックス登録されないという構造です。

User-Agentで指定している「*」はワイルドカードと言って、全てのクローラーを対象にしています。
User-Agentの指定部分を「Googlebot」にしたら、Googleだけクロール拒否ができます。

robot.txtファイル内に、クロール拒否をする内容が書き込まれていないかチェックをしましょう。
もしクロール拒否をする内容が記載されていたら、
その箇所を消去してrobot.txtを再度アップロードしてみてください。

robot.txtファイルは、FTPソフトを使えばアップロードが可能です。
robot.txtファイルを再度アップロードしたら、グーグルのクローラーが
サイト内にやって来たときにrobot.txtファイルを見ます。

robot.txtファイルにクロール拒否をする内容が記載されていなければ、
サイトの記事がインデックス登録されるはずです。

robot.txtファイルのアップロード先は、ルートドメイン直下です。
アップロード先を誤ると、ファイルを認識されなくなるのでご注意下さい。

canonicalタグの記述を間違っている

重複コンテンツの対策で、URLの正規化である「canonical」タグを使用することがあります。

canonicalタグというのは、類似であったり同一の記事が2つ以上存在する場合、
グーグルはどのページをインデックス登録すれば一番いいのかが分からず、
重複コンテンツとして低評価を受ける恐れがあります。

グーグルに重複コンテンツとして判断されないためにも、
canonicaタグで正規のページを示すことができるというわけです。

このcanonicaタグでインデックス登録させたい記事（URL）とは違っている場合、
本来の目的じゃない他の記事（URL）がインデックス登録される可能性があります。

同一のページでアクセスできる状態を例にすると、下記になります。

上記、URLの中からインデックス登録させたい、すなわち評価させたいURLを1つ決めて、
canonicalタグを次のように記述します。

この記事では、、「http://www.example.com/」と「http://example.com/index.html」のＵＲＬに
「http://example.com/」のＵＲＬを指定して正規化をしている一例です。

ワードプレスでサイトやブログ運営をしている人は、プラグインの
「All in one SEO Pack」を使ったら、canonicalタグの設定を割かし、簡単にできます。

ここで、canonicalタグを設定する前に1つ気を付ける点があるのですが、
canonicalタグは正規化すべきURLをグーグルのクローラーに伝達することができますが、
強制力がないので、評価させたいURLが絶対にインデックス登録されるとは断定できません。

ですので、canonicalタグの設定以外にも、ワードプレスの管理画面の一般設定にある
「サイトアドレス (URL)」にインデックス登録させたいURLを
書きこむ.htaccessファイルを利用して、正規化させたいURLを301リダイレクトで設定する
といった、対策を並行することで、評価させたいURLをインデックス登録させることができるでしょう。

.htaccessファイルにX-robots-tagを記述している

リダイレクトや404エラーページの作成に使われる.htaccessファイルの中に
「X-robots-tag」が記載されていると、グーグルにサイトの記事がインデックス登録されません。

X-robots-tagというのは、クローラーにPDFファイルや画像ファイル等、
特定のファイルをインデックス登録させない際に活用されます。

ページをインデックス登録をさせなくする際に、metaタグの1つである
<meta name=”robots” content=”noindex”>が用いられます。

しかし、PDFファイルや画像ファイル等は、metaタグの設置が出来なく、
noindexの指定が出来ないので、代わりにX-robots-tagの使用でサイトの
記事をインデックス登録登録させないようにできます。

この、X-robots-tagを.htaccessファイルの中に記述した例が次になります。

上記に記述しているX-Robots-Tagの内容は、サイトの中にある全てのPDFファイルを指定しています。
ページをインデックス登録させたい時は、.htaccessファイルやhttpd.confファイル、
HTTPヘッダー等にX-Robots-Tagが記述されていないかチェックをして、
記述されていたら削除をしてください。

X-Robots-Tagの部分を消去すると、今までX-Robots-Tagで指定されていた
ページがインデックス登録されるようになるはずです。

ページが500エラーを起こしている

サイトで500エラーを起こしている記事は、グーグルにインデックス登録されないケースがあります。
500エラーというのは、サーバー側で特定の問題が起きた時に発生するステータスコードを意味します。

ページが500エラーを起こす理由は、ワードプレスのプラグインの
不具合やサーバーのディスク容量不足、.htaccessファイルの記述間違い、等があります。

ページが500エラーを起こしている状態で、クローラーが記事にやってきた時、
500エラーによりクローラーが記事の情報を取集することができなく、
結果的にインデックス登録登録ができません。

元々、500エラーは常日頃より起きるので、短期的な500エラーだったら、
再びクローラーが記事にやってきて記事の情報を収集して、

インデックス登録登録がされれば何一つ心配する必要はないのですが、
長期間の500エラーが続くようでしたらページのインデックス登録登録がされません。

まずは、エラーが発生しているかチェックをするために、
サーチコンソールの「カバレッジ」機能を利用して、
エラーを起こしているページの調査をしましょう。

それから、長時間のサイトメンテナンスが続くようなら、
ステータスコードの503エラーを返すことによって、
クローラーにサイトがメンテナンス中だと認識させることが出来ます。

新規ドメインでサイト運営をしている

中古ドメインでサイト運営しているアフィリエイターには、
これは該当しませんが、新規ドメインでサイトやブログ運営をしているケースだと、

グーグルに記事がインデックス登録されないことがあります。
前にちょっと触れましたけど、クローラーはリンクを辿ってサイト内の記事を発見します。

リンクを辿ってきたクローラーは、そのページの情報を収集して、
グーグルのデータベースに保存され、インデックス登録されます。

新規ドメインでサイトやブログ運営し始めた頃は、リンクの数が少ないので、
クローラーがサイトを認識できない、すなわちインデックス登録されないケースが頻繁にあります。

新規ドメインでサイトやブログの記事をインデックス登録させるには、アクセス数を増やしたいものです。
新規ドメインでサイトやブログ運用をしていって、サイト内のトラフィック数が増えると、
クローラーに探し出してもらいやすくなります。

サイトやブログの運用方法によって違うので、一口では言えませんが、
概ね、新規ドメインでサイトやブログ運用してから、
数週間から数か月したらサイトの記事がインデックス登録されます。

サイト内のアクセス数を増やすためには、検索エンジン最適化が不可欠です。
検索キーワードによって、訪問者の疑問や知りたい検索意図を理解して、
その回答を記事内に加えることが検索エンジン最適化で肝の1つです。

クローラーにインデックス登録されやすくするためにサーチコンソールを利用

・・・以上、ここまで、グーグルにインデックス登録されない理由と対策法について解説をしてきました。

前文でちょっと触れましたが、グーグルのクローラーにサイトの記事の存在を認識されるためには、
サーチコンソールの「URL検査ツール」の機能を使うようにしましょう。

サーチコンソールのURL検査ツールを使用すると、グーグルのクローラーに
クロールあるいは再クロールをさせるようにリクエストをすることが可能です。

スピーディーにグーグルのクローラーに記事をクロールしてもらうためには、
URL検査ツールの活用が必須です。

中古ドメインがインデックスされない

中古ドメインがインデックスされない理由はいくつか考えられます。以下にいくつかの可能性を挙げてみます。

検索エンジンのクローラーが中古ドメインを見逃している: 検索エンジンのクローラーが中古ドメインを見つけることができず、インデックスに含めない可能性があります。これは、中古ドメインが適切にリンクされていない場合や、クローラーが中古ドメインのリンクを辿れないように設定されている場合に起こり得ます。

中古ドメインに重複コンテンツがある: 中古ドメインに他のウェブページと同じようなコンテンツがある場合、検索エンジンはそれを重複コンテンツとして判断し、インデックスしない場合があります。検索エンジンは、ユーザーに高品質のコンテンツを提供するため、重複コンテンツを排除する傾向があります。

中古ドメインがスパム行為を行っている: 中古ドメインがスパム行為を行っている場合、検索エンジンはそれをスパムと判断し、インデックスしない場合があります。スパム行為には、キーワードスタッフィングやリンクスキームなどの不正なSEOテクニックが含まれます。

中古ドメインが新しくインデックスされたばかりである: 中古ドメインが新しく作成されたばかりであり、まだ検索エンジンのクローラーが訪れていない場合、インデックスされない場合があります。検索エンジンのクローラーが中古ドメインを訪れるまで、インデックスされるまでには時間がかかることがあります。

これらは一般的な理由であり、中古ドメインがインデックスされない具体的な理由には、さらなる調査が必要かもしれません。中古ドメインを適切に最適化し、検索エンジンに適切に認識されるようにするには、SEOのベストプラクティスに従うことが重要です。また、Googleなどの検索エンジンのウェブマスターツールを使用して、中古ドメインのインデックス状況を確認し、必要に応じて再インデックスを要求することもできます。以下は、中古ドメインのインデックスを促進するためのいくつかの一般的な方法です。

1.高品質のコンテンツを提供する: 中古ドメインには、ユーザーに有益な高品質のコンテンツを提供することが重要です。オリジナルのコンテンツを作成し、キーワードを適切に使用することで、検索エンジンに中古ドメインの価値を示すことができます。

2.適切なメタデータを設定する: 中古ドメインの各ページに適切なメタデータ（タイトルタグ、メタディスクリプション、ヘッダータグなど）を設定することで、検索エンジンにページの内容や目的を理解しやすくなります。

3.内部リンクを最適化する: 中古ドメイン内のページ同士を適切に内部リンクすることで、検索エンジンが中古ドメインの全体的な構造や関連性を理解しやすくなります。また、他のサイトからの外部リンクも増やすことで、中古ドメインの評価を向上させることができます。

4.不正なSEOテクニックを避ける: 中古ドメインでのキーワードスタッフィングやリンクスキームなどの不正なSEOテクニックは避けるべきです。これらのテクニックは検索エンジンにスパム行為と判断され、逆効果になる可能性があります。

5.検索エンジンのウェブマスターツールを活用する: Googleや他の検索エンジンのウェブマスターツールを活用して、中古ドメインのインデックス状況を確認し、必要に応じて再インデックスを要求することもできます。

中古ドメインがインデックスされない場合、上記のような方法を試して最適化を行い、検索エンジンに中古ドメインの価値を伝えることが重要です。また、時間をかけて検索エンジンのクローラーが中古ドメインを訪れるのを待つ必要もあるかもしれません。SEOの専門知識を持つ人やウェブ開発者と協力することで、より効果的な方法で中古ドメインをインデックスさせることができます。

6.ロボット.txtファイルを確認する: 中古ドメインのロボット.txtファイルを確認し、クローラーがアクセスできるように設定されているかを確認してください。必要に応じて、クローラーのアクセスを許可する設定を追加することで、インデックスを促進できます。

7.サイトマップを作成する: サイトマップは、中古ドメインのページを検索エンジンに通知するための効果的な方法です。XML形式のサイトマップを作成し、検索エンジンに提出することで、中古ドメインのページを効率的にインデックスさせることができます。

8.ユーザーエクスペリエンスを向上させる: 中古ドメインのユーザーエクスペリエンスを向上させることも、検索エンジンの評価に影響を与えます。ユーザーフレンドリーなサイト設計、高速なページ読み込み速度、モーバイルフレンドリーなデザインなど、ユーザーエクスペリエンスを向上させる取り組みを行いましょう。

9.ソーシャルメディアを活用する: ソーシャルメディアを活用して中古ドメインの知名度を向上させることも、検索エンジンに対する信頼性を高める効果的な方法です。中古ドメインのプロモーションをソーシャルメディアで行い、多くの人に知られるようにすることで、インデックスを促進することができます。

10.時間をかける: 検索エンジンのクローラーが中古ドメインを訪れるには時間がかかる場合があります。定期的に中古ドメインのインデックス状況を確認し、必要に応じて上記の方法を試しながら、時間をかけて待つことも大切です。

中古ドメインのインデックスが遅れる場合、焦らずに上記の方法を組み合わせて最適化を行い、検索エンジンに中古ドメインの価値を伝える努力を続けることが重要です。また、定期的に検索エンジンのアルゴリズムやガイドラインの変更をチェックし、最新の情報に基づいた最適化を行うこともお勧めです。

さらに、中古ドメインのコンテンツを定期的に更新し、オリジナルの価値ある情報を提供することも重要です。独自性のあるコンテンツは検索エンジンに評価されやすく、インデックスを促進することができます。

また、中古ドメインのリンクプロファイルを見直し、高品質なバックリンクを獲得する取り組みを行うことも効果的です。信頼性のあるサイトからのリンクは、中古ドメインの評価を向上させ、インデックスを促進することができます。

最後に、Google Search ConsoleなどのWebマスターツールを使用して、中古ドメインのインデックス状況や検索エンジンのクロールエラーを監視し、必要な修正を行うことも大切です。

総じて、中古ドメインがインデックスされない場合には、多角的なアプローチを取り、コンテンツの最適化、テクニカルSEOの改善、リンクの獲得などを組み合わせて取り組むことが必要です。時間をかけて持続的な努力を続けることで、中古ドメインのインデックスを促進し、検索エンジンでの可視性を向上させることができます。また、SEOの専門家に相談することもお勧めです。