Appleのパーソナル人工知能システム「Apple Intelligence」のトレーニングにはWebクローラApplebotで収集した情報をプライバシーに配慮して使用し、Applebot-Extendedでオプトアウトも可能。

　Appleがパーソナル人工知能システム「Apple Intelligence」のトレーニングにはWebクローラー「Applebot」で収集した情報をプライバシーに配慮して使用していると発表しています。詳細は以下から。

　Appleは2014年にリリースしたOS X 10.10 YosemiteやiOS 8でSpotlightとインターネット検索を融合させ、SpotlightやSiriにキーワードを入力すると検索クエリや位置情報がAppleに送信され関連性の高い情報を表示したり、macOS 13 Venturaからはスポーツ選手やミュージシャン、テレビ番組、映画、ニュースなどの情報をWebページを開かずに表示できるようになりましたが、

Appleは現地時間2024年06月10日、世界開発者会議WWDC24の基調講演の中で発表した次期macOS 15 SequoiaやiOS 18, iPadOS 18の生成AIとして採用するパーソナル人工知能システム「Apple Intelligence」のトレーニング用データにも、このApplebotで収集したデータを採用していると発表しています。

ApplebotとApple Intelligence

　Appleが公開した「Applebot model training and individual privacy rights」によると、Apple製品に使用するApple Intelligenceやサービス、Developer Toolsなどの生成AIを支える基盤モデルを構築するために、Appleはサードパーティからライセンスされた情報やインターネット上で公開されている情報をWebクローラ「Applebot」で収集しトレーニングを行っており、

Applebot model training and individual privacy rights

その際Appleは、不適切なコンテンツや低品質なWebサイトのコンテンツをフィルタリングにより削除している他、個人データを収集するWebサイトからのデータの削除やインターネット上に公開されているいる社会保障番号やクレジットカード番号などの個人を特定できる情報もフィルターリングして削除するなど、プライバシーに配慮したデータ収集を行っているそうですが、

Apple applies filters prior to training our models to remove profane and other low-quality website content. We take steps to reduce the likelihood of personal data being included in our models, such as by omitting data from websites that aggregate large amounts of personal data and applying filters to remove personally identifiable information like social security and credit card numbers that are publicly available on the internet. Apple does not make any attempt to identify individuals or create profiles from publicly available data on the internet.

Applebot model training and individual privacy rights – Apple

前述の通り、Apple Intelligenceのトレーニング用データはApplebotを使用して収集しているため、Webサイトを公開している方はrobots.txtにルールApplebot-Extended Disallow: /private/を記載しておくことで、Webサイトに公開されているコンテンツがAppleの基盤モデルをトレーニングするのに利用されることを許可しない(オプトアウト)ように設定できるそうです。

User-agent: Applebot-Extended
Disallow: /private/

　このルールはOpenAI(ChatGPT)の「GPTBot」やGoogle(Gemini)の「Google-Extended」と同じで、Applebot-Extendedを禁止してもSpotlightやSiriの検索結果には含まれるそうなので、Webサイトを管理している方はチェックしてみてください。

Applebotサポートページのアップデート履歴

• 2015年05月
  ▶ Apple、SiriやSpotlightのWebサイト検索候補に使用する情報を集めるWeb クローラー「Applebot」の情報を公開。
• 2018年03月
  ▶ Apple、Webクローラー「Applebot」のカスタムルールを公開。
• 2020年07月
  ▶ Apple、Webクローラー「Applebot」のインデックス化ルールのカスタマイズ方法を追加。
• 2024年06月
  ▶ Webクローラー「Applebot」で収集した情報をもとにトレーニングしたパーソナルインテリジェンスシステム「Apple Intelligence」を発表。

• About Applebot – Apple Support
• Applebot model training and individual privacy rights – Apple Support