フォローする

クロールについて

概要

Cxense Analytics のクローラーは、サイトを巡回するタイプではなく、アクセスがあったページに対してのみクロールを行いサイトへの負荷を軽減するように設計されております。

参考:Crawling

クローラーがページへアクセスすることにより、そのページのタイトルやキーワードなどを取得します。また、このタイミングで、Cxense SearchやCxense Contentでもそのページが対象となります。

クロール条件

Cxense Analyitcsのタグが挿入され公開されたページは、6時間に3回アクセスされるとクロール待ちの状態となります。待ち状態になっているページを、クローラーが順番にクロールします。

 

再クロール間隔

1時間に3回アクセスされるとクロール待ちの状態になります。1時間毎に再クロールが行われません。下記の期間、クロール待ちの状態となり、その後クロールが行われます。

  • 初回クロールの後、1時間後、10時間後、4日後、1ヶ月後

手動での再クロール

再クロールは、Analyticsの画面でも行うことができます。

1. 「コンテンツ」→「ページの統計」を選択

2. その画面内でURLを入力し検索

3.URLの下部に表示されるタブの中から「ページの管理」を選択

4. 「再クロール」ボタンがあるので、それをクリックすることにより、手動で、任意のタイミングで行うことが可能です。

 

また、/profile/content/push APIを利用することにより、同様に再クロールを行うことができます。

 

クローラーの判別

クローラーのユーザーエージェントは、cXensebotを含む文字列として判別できます。

 

他にご質問がございましたら、リクエストを送信してください

コメント

Powered by Zendesk