macOS 12 MontereyやiOS 15のSafari 15ではWebサイトやツイートに挿入されている画像内のテキストも「Live Text」で抽出可能に。

　macOS 12 MontereyやiOS 15のSafari 15ではWebサイトやツイートに挿入されている画像内のテキストも「Live Text」で抽出可能になるそうです。詳細は以下から。

　Appleは現地時間2021年06月07日に完全オンラインで開催したWWDC21の基調講演の中で、macOS 12 MontereyやiOS/iPadOS 15の新機能として「Live Text」という写真内にあるテキストを検出し、編集可能なテキストとしてコピー＆ペーストできる機能を発表しました。

Live Text in photos
Live Text intelligently unlocks rich and useful information in images, so you can make a call, send an email, or look up directions with just a tap on the highlighted text in a photo.

iOS 15 – Apple

　この機能はTRexアプリと同じように顔やテキスト、バーコードなどオブジェクトのトラッキングをオンデバイスで実行できるVisionフレームワークを利用しているようで、基調講演の中でもお店の看板から電話番号を抽出＆間違い電話をして、「お店の写真にディープニューラルネットワーク(DNN)を適用していただけ」と冗談を言う場面がありましたが、このLive Textはカメラや写真アプリだけでなく、Safari 15にも拡張されているそうです。

　　Apple Web Developer Experience Teamでエバンジェリストを務めるJen Simmonsさんによると、macOS 12 MontereyおよびiOS/iPadOSのSafari 15ではLive TextによりWebサイトで利用されている写真からもテキストを抽出して編集＆アクセシビリティに役立てることが可能になるそうです。

　これにより、例えばWebサイトをキャプチャした画像を含んだツイートがTwitterに流れてきても、そのツイートからテキストをコピー＆ペーストするといったことも可能になりますが、このテキストは視覚的に表示されるものの、Webコンテンツの一部ではなくShadow DOMとして挿入されるためJavaScriptの影響は受けません。

　macOS 12 Monterey/iOS 15段階でLive Textが可能になる言語は、英語と中国語(簡体字と繁体字)、フランス、イタリア、ドイツ、スペイン、ポルトガル語の7言語で、今後対応言語を増やしていくようですが、Live TextサポートデバイスはA12 Bionicチップを搭載したiOS/iPadOSデバイス及びApple Silicon M1チップを搭載したMacのみとなっているので注意してください。

• iOS 15 – Apple
• Design for Safari 15 – Apple Developer