AppleがSiriやSpotlightのWebサイト検索候補に使用する情報を集めるWebクローラ「Applebot」の情報を公開しています。詳細は以下から。
Appleが先日公開したサポートドキュメント「Applebot について」によると、Appleは自社のSiriやSpotlightで使用する情報を集めるため、GoogleのGooglebotの様なWebクローラー”Applebot”を使用している事を認めた様です。
Applebot は、Apple の Web クローラーです。Siri や Spotlight 検索候補などの製品で使用されています。慣習的な robots.txt の規則と robots meta タグを尊重します。アクセス元は 17.0.0.0 ネットワークブロックです。
[Applebot について – Apple サポート]
Daring FireballのJohn Gruberさんによると、Applebotの存在は2014年（少なくとも2014年8月頃）から複数のWeb／サーバー管理者[1, 2]によって確認されており、アクセス元のIPは17.0.0.0のネットワークブロックで以下のユーザーエージェント情報が記載されているそうです。
michael mittelstadt@meekmichael
@janmoesen Started seeing it 27 Oct. But traffic wasn’t intense until 2 Nov. This crawler is a double-digit %age of my traffic.
@janmoesen Same thing on 2 sites we host. 5k hits from 3 ips. 17.147.18.24, 17.147.18.29, 17.147.18.34 Started 8/8/14. No hits to robots.txt
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1)
[Applebot について – Apple サポート]
Cult of Macは今年2月にAppleが”Apple Search”のエンジニアやプロジェクトマネージャーを募集中だということを記事にしており、The Next WebはiOSのデフォルト検索エンジンにGoogleを使用する契約の有効期限が迫っており、Appleが独自の検索エンジンを構築していると予想しています。
The company’s deal to use Google as the default search engine on iOS is reportedly due to expire soon and rumors have indicated in the past that Apple may be quietly building a search engine of its own.
[Apple Details Web Crawler, May Indicate Future Search Push – The Next Web]
Applebotはrobots.txtの指示に従い、Applebotについての言及が無くGooglebotについての指示がある場合Googlebotに対する指示に従うそうで、Appleとしては珍しく専用の問い合わせメールアドレス”Apple-NOC[at]apple.com”も用意しているので、6月8日に開催されるWWDC 2015では更に詳しい情報も公開されるかもしれません。
関連リンク：
- Applebot について – Apple サポート
- Apple Confirms Their Web Crawler: Applebot – Daring Fireball
コメント