記事が突然Google検索に表示されなくなる
原因を調査する。
記事が検索にヒットしない
どういうわけかBLOGのデザインを新しくしてから記事が検索にヒットしない状況が現れた。
Google Search Console上でもエラーはない。
なおこのエラーは2021になってほかサイトでも多発している模様。
現状のまとめ
2021/12/10追記
こちらの記事は投稿してしばらくGoogle Searchに登録されなかったが、本日登録されたのを確認。
こういった内部アルゴリズムを調査するような記事は検閲されるアルゴリズムへ変化したと考えていたがそうではないようだ。
1週間程度登録されなくても、時間が経てばある程度の内容のある記事なら登録されそうなので安心して記事を書いてほしい。
2021/12/10更新
次の記事にて現状行った対策をまとめた。
症状
Google Search ConsoleにてURL検査をかけると次の結果。
カバレッジにて「検出 - インデックス未登録」
これはなにか。
次のページにて詳細が書かれている
インデックス カバレッジ レポート - Search Console ヘルプ
検出 - インデックス未登録: ページは Google により検出されましたが、まだクロールされていません。これは通常、Google が URL をクロールしようとしたものの、サイトへの過負荷が予想されたため、クロールの再スケジュールが必要となった場合です。そのため、レポート上で最終クロール日が空欄になっています。
原因は「サイトへの過負荷」となっている。
突然これになるのはおかしい。
可能性
ひとまず考えられた可能性
- Blogのデザイン変更で再調査されている
- 記事を追加したのが半年ぶりで再調査されている
- Gatsby.jsのプラグインのGoogle系に設定ミスがある
- 低品質コンテンツとみなされている
- URLにより記事重複と判断されている
プラグインに関しては何度もチェックしているので問題ないと思うが、上の2つは可能性が高いと判断して3日経過。
もしかして一番下の可能性もあると思い始めた。
URLを一部変更した
2021/11/26追記：新記事を旧URL形式にしたが効果なし。どうやらURLが原因ではなさそう。
このWEBサイト自体がBLOGというより学習に使ってもらうサイト風にしていきたいという思いがあったのでURLから/blog/というディレクトリを消去し新しく記事を執筆し始めたが、旧記事をリダイレクトしていたらきりがないのでディレクトリは残してある。
ここで気づくのだが/blog/というURLを除けばその直下/2021/1/といった数字が旧記事と新記事で重複しているため、もしやこれが重複扱いになっている可能性がある。
日記の大量URL変更が原因？
2021/11/26更新
どうやらURL変更でもダメだったので、そちらが原因ではなさそうであることが判明。
以前日記を記事にしており、こちらは記事としての価値が低いと私が考えているためトップにインデックスされないように更新し、こちらの記事を大量にURL変更したのが原因の可能性も出てきた。
もしそうだとしたらクロールが前記事を再調査中で新しい記事が保留になっている可能性は十分にある。
2021/11/28更新：次の項の可能性が高いがURLが多数変更されているのでクロールが遅い可能性も未だ捨てきれない。
gatsbyのnavigateが原因の可能性
2021/11/27追加
search consoleのクロール結果を見ていて気づいたのだが、内部リンクが認識していない。
初めは全ページに巡回が行っていないだけだと思っていたが、もしかして本当にリンクが認識されていない可能性を確認。
当サイトのリンクをすべてgatsbyのnavigate関数で行っていたが、ブラウザでマウスをオーバーしても左下にURLが出ない状況を確認。
当然ではあるがjsの関数でリンクしているのでaタグによるリンクにっていなかった。これが原因の可能性あり。
急遽navigate関数をすべて廃止して、gatsbyのLinkコンポーネントへ移植する対応を行った。
クロールしたもののインデックスされなかった記事は、この状態で「どこからもリンクされていないページ」だったので現状一番可能性が高い。
この対応後すぐサイトを更新し、時間を置くことにする。
これで解決した場合は別記事にしたい。
URLを再整理
2021/11/29追加
翌日になっても何も解決されていない。
インデックスは再クロールされているのでnavigateだけの問題ではない可能性がある。
さすがにまともに書いた記事も「クロール済み インデックス未登録」になってしまうのはおかしい。
新記事すべてがURLだけ見て「重複」と判断(内容を見る前に無視)され、サイト全体のクロールが止まっている可能性がある。
そこで一旦すべての新記事を旧記事形式のURLへ移行することとした。
また、日記として公開していた記事がgatsbyの不具合で「日本語が使えない」という理由でそのままリネームして記事移行していたが、こちらも一部がインデックス未登録で表示されたままとなっているので、残念ながら「日記記事の全消去」を行うことにした。
もうだめなのだろうか・・・
gatsby-plugin-offlineを消去
2021/11/29追加
google検索で自分のトップページを検索するとこちらは表示されている。
これは以前から変わりないのだが、なぜかタイトルに「404 not found」という文字列が追加されている。
調べていた所古い記事ではあるが404へ遷移することがるとの情報。
Twitterアプリから開くと発生とのことなのでGoogleのクローラーという特殊ブラウザからの遷移がコレに当てはまる可能性が捨てきれない。
私だけ発生しているとしたら、かなり特殊な無限スクロールとの相性が良くない可能性は大きい。
次のBLOGライター者様へ感謝。
例えば、Service Worker をやめる | 9mのパソコン日記
そもそもgatsby-plugin-offlineは細かい記事の更新が反映されないというデメリットもあるので削除することとした。
次のページを読んでアンインストール後gatsby-plugin-remove-serviceworkerを入れる必要があることに気づいたため導入。こちらもBLOGライター様に感謝(こちらのインスト推奨は公式にちゃんと書いてあるが読んでいなかった)
GatsbyのブログでServiceWorkerを辞めてみる | gg-box Blog
記事がひとつだけ登録
2021/11/29
上の項の処理を行った後６時間後、ひとつだけ記事が登録されていることを確認。
BLOG更新を再開後の記事としては初めてで、新規追加した記事5つのうちひとつ。
参照元ページは復活
クロール済み - インデックス未登録のページのうちいくつかで「参照元ページ」は正しくリンクされているようになった。依然登録されてはいない記事も多いが、いろいろな対策に効果はあった模様。
さいごに
2021/12/02追加
ようやく新しく追加した記事の多くがインデックスされはじめたため次の記事にて対策を纏めた。
ひとまずここでこの記事を終わりとするが、継続して観察する。
