フォローする

認証ページへのクロールに関して

認証ページをクロールし、正常にそのページのタイトルやコンテンツ情報を取得するには、下記のいずれかの方法でご対応いただく必要があります。

 

1.IPアドレス

シーセンスクローラーIPアドレス範囲に対して、認証なしにアクセス許可を設定頂く方法です

シーセンスクローラーのIPアドレス:     5.9.190.96/27

 

2.ユーザーエージェントヘッダー

シーセンスクローラーのユーザーエージェントの場合に、認証なしでコンテンツにアクセスできるようにして頂く方法です。

シーセンスクローラーのユーザーエージェント: cXensebot

 

3.リバースDNS参照

接続元IPからドメインを逆引きし、シーセンスクローラーのドメインからのアクセスに対して、認証なしでコンテンツにアクセスできるようにして頂く方法です。

シーセンスクローラーのドメイン:     *.cxensebot.com

他にご質問がございましたら、リクエストを送信してください

コメント

Powered by Zendesk