中古ドメインがクローラーにインデックスされない?

こんにちは、空条たろうです。

この記事は、中古ドメインがGoogleのクローラーにインデックスされない時の
対処について、解説します。
次のような疑問を持っている方におすすめの記事です。

・中古ドメインは新規ドメインより、インデックスが早いって聞いたけど・・・
・中古ドメインで作ったサイトが、インデックスされない原因

中古ドメインを利用してサイト運用していると、サイトのページがグーグルの
クローラー(検索エンジン)にインデックスされないケースがあります。

グーグルのクローラーに、運営しているサイトの記事がインデックスされなければ、
グーグルの検索結果に表示されないでに自然(オーガニック)検索で、
ページ内に流入させることが不可能です。

サイト・ブログの記事がインデックスされない理由はいくつか考えられますが、
中古ドメインそれ自体による原因でサイトの記事が、
グーグルにインデックスされないケースがあります。

この記事では、、中古ドメインでサイト運営していて記事が、
グーグルにインデックスされない原因と解決方法について、詳しく解説をしていきます。

 

ドメインがクローラーにインデックスされない原因

入手した中古ドメインでサイト運営をスタートしたとき、
Google検索エンジンにページがインデックスされない原因に、
該当のドメインのペナルティが挙げられます。

そもそもペナルティというのは、グーグルが規定している
「品質に関するガイドライン」に違反している・準拠していないサイト・
ブログに対して、グーグルが実施する処置です。

サイト・ブログ、正確にはドメインがペナルティを受けてしまったら、
Google検索エンジンのクローラーから検索順位を下げられたり、
インデックスの削除をされる、等検索結果の上位に表示することが行えなくなります。

こういったペナルティを受けている中古ドメインを取得して、
いざサイトやブログ運営を開始しようとしても、
グーグルにページをインデックスさせることができないです。

入手した中古ドメインがペナルティを受けているかを調べるには、
グーグルが提供しているツールである「サーチコンソール」を使います。

サーチコンソールに取得したドメインの登録(プロパティの追加)をして、
左側のメニューにある「セキュリティと手動に対する対策」→「手動による対策」の画面に移行すると、
ドメインがペナルティを受けているか、チェックをすることが可能です。

(※画像をクリックすると、拡大します)中古ドメインがクローラーにインデックスされない

取得した中古ドメインがペナルティを受けていなければ、
サーチコンソールの「手動による対策」画面に「問題は検出されませんでした」と表示されます。

(※画像をクリックすると、拡大します)

しかしながら、ドメインに手動ペナルティを受けていたら
「手動による対策」画面にエラー表示が出ます。

中古ドメインがペナルティを受けていた場合

サーチコンソールから入手した中古ドメインがペナルティを
受けていたと分かった場合、サイトの記事をインデックスさせるには、
ペナルティの解除をするか、その中古ドメインを放棄するかのどちらかです。

ペナルティを解除する

ペナルティを解除するには、最初にペナルティの原因を把握することが不可欠です。
ペナルティの原因を確認するためには、サーチコンソールの
「セキュリティと手動に対する対策」→「手動による対策」の画面を開きます。

「手動による対策」の画面にある項目「検出された問題」の箇所を選ぶと、
ペナルティを受けた原因が記載されているはずです。

ペナルティの原因をハッキリさせて対策をしたら、
ペナルティの解除申請をサーチコンソールからグーグルに申請します。

ただし、Google社にペナルティの解除の申請をしても、絶対に解除されるとは限りません。
それに、解除されるまでの期間や申請回数もケースバイケースです。
だから、サイト公開が遅くなっても、支障ないようならペナルティの
解除をするといいと思います。

中古ドメインを放棄する

あるいは、取得した中古ドメインの購入価格にもよりますが、
対費用効果を考えると、中古ドメインを放棄して、
新しく中古ドメインを入手したほうが良い場合もあります。

ペナルティを解除するのか、ドメインを放棄するのか、
どっちが望ましい選択なのかは、ケースによります。

その他のインデックスされない原因と対策方法

サイトの記事がインデックスされない原因はペナルティ以外にもあります。
もしも、入手した中古ドメインがペナルティを受けていないとすると、
他の原因が考えられます。

ペナルティ以外の理由で、サイトの記事がインデックスされない原因は概ね7つあります。

インデックスされない原因

・クローラーが巡回しにくいリンク構造になっている
・meta robotsタグでnoindexを指定している
・robot.txt側の設定でクロールを拒否している
・canonicalタグの記述を間違っている
・.htaccessファイルにX-robots-tagを記述している
・サイトのページが500エラーを起こしている
・新規ドメインでサイトを運営している

 

ここからご紹介するサイトの記事がインデックスされない理由は、
中古ドメインだけじゃなく、新規ドメインでサイト運営しているケースにも該当します!

 

クローラーが巡回しにくいリンク構造になっている

クローラーからしたらサイト内が巡回しにくいリンク構造になっている場合だと、
グーグルに記事がインデックスされない恐れがあります。

そもそも、クローラーはサイト内の記事にあるリンクを辿って、
各ページの情報をグーグルのデータベースに保存し、インデックスされます。

このクローラーが何かの理由でリンクを辿れない、クロールしにくいリンク構造だったら、
インデックスされないケースがあります。

クローラーが辿りにくいリンク構造の例に挙げると、下記になります。

・リンク階層が深すぎる(サイト内の階層構造に従ってリンクを辿るため)
・低品質コンテンツの記事(インデックスする価値がない)
・どの記事からもリンクが設置されていない(孤立した状態)

クローラーが円滑にリンクを辿りやすくするには、クローラビリティを良くする必要があります。
クローラビリティの修正には、内部リンクの改善が必須です。

 

1つの例として、内容が似ているコンテンツをカテゴリーとして1個にまとめて、
ディレクトリ構造を調整します。

ディレクトリ構造を改善することによって、カテゴリーとしてのテーマ性が高まり、
クローラビリティの向上以外にも、来訪者にとっても使いやすいサイトになるはずです。

meta robotsタグでnoindexを指定している

HTMLファイルのmeta robotsタグ内にnoindexを指定すると、
クローラーはインデックスしないページとみなします。

meta robotsタグにnoindexを指定した記事は、グーグルにインデックスされません。
meta robotsタグにnoindexを指定した記述例は次の通りです。

〈meta name=”robots” content=”noindex”〉

meta robotsタグは、headタグの中に記述しています。
インデックスさせたい記事にnoindexが記述していないかチェックをして、
もしもnoindexがページに記述していたら解除をしてください。

 

ワードプレスでサイト運営をしている場合、noindexの解除はワードプレスの
管理画面から「設定」→「表示設定」にある「検索エンジンがサイトを
インデックスしないようにする」にチェックが入っていないか確かめましょう。

それから、プラグインの「All in One SEO Pack」を利用している場合、
それぞれの固定ページ・投稿ページにnoindexを設定していないか確かめましょう。

その後、noindexの解除をグーグルのクローラーに通達するために、
サーチコンソールの「URL検査ツール」という機能を使って、クローラーに記事を
クロールしてもらえるように、リクエストをしておいてください。

robot.txt側の設定でクロールを拒否している

robot.txtファイル内に、検索エンジンのクロールを拒否する項目が記述されていたら、
グーグルに記事がインデックスされません。

robot.txtファイルでクロール拒否をしている記述例は、次の通りです。

User-Agent:*
Disallow: /sample/

上記、記述例のように「Disallow」で指定された対象ページや対象ディレクトリは、
「User-Agent」で指定されたクローラーにクロールされずに、
グーグルにインデックスされないという構造です。

User-Agentで指定している「*」はワイルドカードと言って、全てのクローラーを対象にしています。
User-Agentの指定部分を「Googlebot」にしたら、Googleだけクロール拒否ができます。

robot.txtファイル内に、クロール拒否をする内容が書き込まれていないかチェックをしましょう。
もしクロール拒否をする内容が記載されていたら、
その箇所を消去してrobot.txtを再度アップロードしてみてください。

robot.txtファイルは、FTPソフトを使えばアップロードが可能です。
robot.txtファイルを再度アップロードしたら、グーグルのクローラーが
サイト内にやって来たときにrobot.txtファイルを見ます。

robot.txtファイルにクロール拒否をする内容が記載されていなければ、
サイトの記事がインデックスされるはずです。

robot.txtファイルのアップロード先は、ルートドメイン直下です。
アップロード先を誤ると、ファイルを認識されなくなるのでご注意下さい。

canonicalタグの記述を間違っている

重複コンテンツの対策で、URLの正規化である「canonical」タグを使用することがあります。

canonicalタグというのは、類似であったり同一の記事が2つ以上存在する場合、
グーグルはどのページをインデックスすれば一番いいのかが分からず、
重複コンテンツとして低評価を受ける恐れがあります。

グーグルに重複コンテンツとして判断されないためにも、
canonicaタグで正規のページを示すことができるというわけです。

このcanonicaタグでインデックスさせたい記事(URL)とは違っている場合、
本来の目的じゃない他の記事(URL)がインデックスされる可能性があります。

同一のページでアクセスできる状態を例にすると、下記になります。

http://example.com/
http://www.example.com/
http://example.com/index.html

上記、URLの中からインデックスさせたい、すなわち評価させたいURLを1つ決めて、
canonicalタグを次のように記述します。

 

この記事では、、「http://www.example.com/」と「http://example.com/index.html」のURLに
「http://example.com/」のURLを指定して正規化をしている一例です。

ワードプレスでサイトやブログ運営をしている人は、プラグインの
「All in one SEO Pack」を使ったら、canonicalタグの設定を割かし、簡単にできます。

ここで、canonicalタグを設定する前に1つ気を付ける点があるのですが、
canonicalタグは正規化すべきURLをグーグルのクローラーに伝達することができますが、
強制力がないので、評価させたいURLが絶対にインデックスされるとは断定できません。

ですので、canonicalタグの設定以外にも、ワードプレスの管理画面の一般設定にある
「サイトアドレス (URL)」にインデックスさせたいURLを
書きこむ.htaccessファイルを利用して、正規化させたいURLを301リダイレクトで設定する
といった、対策を並行することで、評価させたいURLをインデックスさせることができるでしょう。

.htaccessファイルにX-robots-tagを記述している

リダイレクトや404エラーページの作成に使われる.htaccessファイルの中に
「X-robots-tag」が記載されていると、グーグルにサイトの記事がインデックスされません。

X-robots-tagというのは、クローラーにPDFファイルや画像ファイル等、
特定のファイルをインデックスさせない際に活用されます。

ページをインデックスをさせなくする際に、metaタグの1つである
<meta name=”robots” content=”noindex”>が用いられます。

しかし、PDFファイルや画像ファイル等は、metaタグの設置が出来なく、
noindexの指定が出来ないので、代わりにX-robots-tagの使用でサイトの
記事をインデックス登録させないようにできます。

この、X-robots-tagを.htaccessファイルの中に記述した例が次になります。

Header set X-Robots-Tag “noindex”

上記に記述しているX-Robots-Tagの内容は、サイトの中にある全てのPDFファイルを指定しています。
ページをインデックスさせたい時は、.htaccessファイルやhttpd.confファイル、
HTTPヘッダー等にX-Robots-Tagが記述されていないかチェックをして、
記述されていたら削除をしてください。

X-Robots-Tagの部分を消去すると、今までX-Robots-Tagで指定されていた
ページがインデックスされるようになるはずです。

ページが500エラーを起こしている

サイトで500エラーを起こしている記事は、グーグルにインデックスされないケースがあります。
500エラーというのは、サーバー側で特定の問題が起きた時に発生するステータスコードを意味します。

ページが500エラーを起こす理由は、ワードプレスのプラグインの
不具合やサーバーのディスク容量不足、.htaccessファイルの記述間違い、等があります。

ページが500エラーを起こしている状態で、クローラーが記事にやってきた時、
500エラーによりクローラーが記事の情報を取集することができなく、
結果的にインデックス登録ができません。

元々、500エラーは常日頃より起きるので、短期的な500エラーだったら、
再びクローラーが記事にやってきて記事の情報を収集して、

インデックス登録がされれば何一つ心配する必要はないのですが、
長期間の500エラーが続くようでしたらページのインデックス登録がされません。

まずは、エラーが発生しているかチェックをするために、
サーチコンソールの「カバレッジ」機能を利用して、
エラーを起こしているページの調査をしましょう。

それから、長時間のサイトメンテナンスが続くようなら、
ステータスコードの503エラーを返すことによって、
クローラーにサイトがメンテナンス中だと認識させることが出来ます。

 

新規ドメインでサイト運営をしている

中古ドメインでサイト運営しているアフィリエイターには、
これは該当しませんが、新規ドメインでサイトやブログ運営をしているケースだと、

グーグルに記事がインデックスされないことがあります。
前にちょっと触れましたけど、クローラーはリンクを辿ってサイト内の記事を発見します。

リンクを辿ってきたクローラーは、そのページの情報を収集して、
グーグルのデータベースに保存され、インデックスされます。

新規ドメインでサイトやブログ運営し始めた頃は、リンクの数が少ないので、
クローラーがサイトを認識できない、すなわちインデックスされないケースが頻繁にあります。

新規ドメインでサイトやブログの記事をインデックスさせるには、アクセス数を増やしたいものです。
新規ドメインでサイトやブログ運用をしていって、サイト内のトラフィック数が増えると、
クローラーに探し出してもらいやすくなります。

サイトやブログの運用方法によって違うので、一口では言えませんが、
概ね、新規ドメインでサイトやブログ運用してから、
数週間から数か月したらサイトの記事がインデックスされます。

サイト内のアクセス数を増やすためには、検索エンジン最適化が不可欠です。
検索キーワードによって、訪問者の疑問や知りたい検索意図を理解して、
その回答を記事内に加えることが検索エンジン最適化で肝の1つです。

 

クローラーにインデックスされやすくするためにサーチコンソールを利用

・・・以上、ここまで、グーグルにインデックスされない理由と対策法について解説をしてきました。

前文でちょっと触れましたが、グーグルのクローラーにサイトの記事の存在を認識されるためには、
サーチコンソールの「URL検査ツール」の機能を使うようにしましょう。

サーチコンソールのURL検査ツールを使用すると、グーグルのクローラーに
クロールあるいは再クロールをさせるようにリクエストをすることが可能です。

スピーディーにグーグルのクローラーに記事をクロールしてもらうためには、
URL検査ツールの活用が必須です。

 

 

ブログランキング・にほんブログ村へ
「読んでくれた証に、ポチッと押してくれたら喜びます^_^」