macOS 12 MontereyやiOS 15のSafari 15ではWebサイトやツイートに挿入されている画像内のテキストも「Live Text」で抽出可能に。

スポンサーリンク

 macOS 12 MontereyやiOS 15のSafari 15ではWebサイトやツイートに挿入されている画像内のテキストも「Live Text」で抽出可能になるそうです。詳細は以下から。

macOS 12 Monterey logo icon

 Appleは現地時間2021年06月07日に完全オンラインで開催したWWDC21の基調講演の中で、macOS 12 MontereyやiOS/iPadOS 15の新機能として「Live Text」という写真内にあるテキストを検出し、編集可能なテキストとしてコピー&ペーストできる機能を発表しました。

WWDC21 Keynote iOS 15-Live Text features

Live Text in photos
Live Text intelligently unlocks rich and useful information in images, so you can make a call, send an email, or look up directions with just a tap on the highlighted text in a photo.

iOS 15 – Apple

 この機能はTRexアプリと同じように顔やテキスト、バーコードなどオブジェクトのトラッキングをオンデバイスで実行できるVisionフレームワークを利用しているようで、基調講演の中でもお店の看板から電話番号を抽出&間違い電話をして、「お店の写真にディープニューラルネットワーク(DNN)を適用していただけ」と冗談を言う場面がありましたが、このLive Textはカメラや写真アプリだけでなく、Safari 15にも拡張されているそうです。

ディープニューラルネットワーク(DNN)を利用したLive Text

  Apple Web Developer Experience Teamでエバンジェリストを務めるJen Simmonsさんによると、macOS 12 MontereyおよびiOS/iPadOSのSafari 15ではLive TextによりWebサイトで利用されている写真からもテキストを抽出して編集&アクセシビリティに役立てることが可能になるそうです。

 これにより、例えばWebサイトをキャプチャした画像を含んだツイートがTwitterに流れてきても、そのツイートからテキストをコピー&ペーストするといったことも可能になりますが、このテキストは視覚的に表示されるものの、Webコンテンツの一部ではなくShadow DOMとして挿入されるためJavaScriptの影響は受けません。

Here's an image on Twitter that's full of text.

 macOS 12 Monterey/iOS 15段階でLive Textが可能になる言語は、英語と中国語(簡体字と繁体字)、フランス、イタリア、ドイツ、スペイン、ポルトガル語の7言語で、今後対応言語を増やしていくようですが、Live TextサポートデバイスはA12 Bionicチップを搭載したiOS/iPadOSデバイス及びApple Silicon M1チップを搭載したMacのみとなっているので注意してください。

コメント

  1. 匿名 より:

    非常に良い機能だと思うんだけど、日本語は文字種が多いのでむずかしいのかなぁ…

  2. 匿名 より:

    活字だけ先行でもいいから早く日本語対応してほしいですね。
    iPadのスクリブルのように一年やそれ以上待つのは辛い。