Apple、SpotlightやSiriのWeb検索情報を収集するWebクローラー「Applebot」をアップデート。新しいユーザーエージェントや検索ランキングについての情報を公開。

Apple

2020.07.122020.07.29

記事内に広告が含まれています。

　AppleがSiriのWebサイト検索候補に使用する情報を集めるWebクローラー「Applebot」の情報をアップデートしています。詳細は以下から。

　Appleはインデックス検索機能「Spotlight」や音声アシスタント「Siri」で表示するWeb検索候補の情報を集めるため、2014年頃から「Googlebot」に似た独自のWebクローラー「Applebot」を開発し、各Webサイトのインデックス化やランキングを行っていますが、

2015年05月
▶ Apple、SiriやSpotlightのWebサイト検索候補に使用する情報を集めるWeb クローラー「Applebot」の情報を公開。

2018年03月
▶ Apple、SiriやSpotlightのWebサイト検索候補に使用する情報を集めるWebクローラー「Applebot」のカスタムルールを公開。

Appleは現地時間2020年07月10日、このApplebotの情報をアップデートし、新たに以下の情報を公開しています。

Applebot is the web crawler for Apple. Products like Siri and Spotlight Suggestions use Applebot.

About Applebot – Apple Support

Applebot 2020

hostコマンドを使ったApplebotの確認

　アップデートされたサポートドキュメントでは、まず、Applebotからのトラフィックの確認として、macOSのhostコマンドを利用してたApplebotのDNSリバースルックアップ方法や、取得したドメイン名から同じくhostコマンドを利用してIPアドレスを確認する方法が記載されています。

$ host 17.58.101.179
179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

$ host 17-58-101-179.applebot.apple.com
17-58-101-179.applebot.apple.com has address 17.58.101.179.

Applebotのユーザーエージェント

　また、Applebotのユーザーエージェント情報もアップデートされており、以前はIntel Mac OS X 10.10.1 YosemiteとSafari 8.0.2のみでしたが、新たにmacOS 10.14.5 MojaveとSafari 12.1.1やiOS 13.4.1とMobile Safari 13.1のユーザーエージェントが追加されたようです。

デスクトップ・ユーザーエージェント

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5
(KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1)

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/605.1.15
(KHTML, like Gecko) Version/12.1.1 Safari/605.1.15 (Applebot/0.1)

モバイル・ユーザーエージェント

Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4
(KHTML, like Gecko) Version/8.0 Mobile/12B410 Safari/600.1.4 (Applebot/0.1;
+http://www.apple.com/go/applebot)

Mozilla/5.0 (iPhone; CPU iPhone OS 13_4_1 like Mac OS X) AppleWebKit/605.1.15Z
(KHTML, like Gecko) Version/13.1 Mobile/15E148 Safari/604.1 (Applebot/0.1)

robots.txtについて

　今回のアップデートではrobots.txtのディレクティブについての変更はなく、robots.txtにApplebotの指定がない場合はGooglebotの指示に従うようになっていますが、ApplebotはWebコンテンツをブラウザでレンダリングする場合があるため、robots.txtによりJavascriptやCSS、その他のリソースがブロックされている場合はApplebotがコンテンツを最適にインデックス化できない可能性があるとコメントされています。

In order for Applebot to index the best content for the page, make sure that everything needed for a user to render the page is available to Applebot. Alternatively, make sure that the website renders cleanly, even if all of the resources are not available. This is often referred to as graceful degradation.

About Applebot – Apple Support