TrueDepthカメラを搭載したiPhoneやiPadを利用し、ユーザーの頭の動きと顔の表情でMacのマウス操作を行うことが出来るアクセシビリティ・アプリ「Hawkeye Access」がリリース。

仕事効率化

2020.02.23

記事内に広告が含まれています。

　iPhone X/iPad Pro以降のTrueDepthカメラを利用し、Mac上のマウスカーソルを頭の動きだけで操作できるアプリ「Hawkeye Access」がリリースされています。詳細は以下から。

　AppleはWWDC 2018でiOS 12を発表するとともに、拡張現実フレームワーク「ARKit」をバージョン2.0へアップデートし、iPhone XなどTrueDepthカメラを搭載したデバイスでユーザーの舌やウィンクを認識する「Face Tracking」、視線を認識する「Gaze Tracking」をサポートしましたが、

この機能が利用可能なTrueDepthカメラを搭載したiPhone XおよびiPadr Pro以降のデバイスを利用し、Macと連携してユーザーの頭の動きと顔の表情でMac上のマウスカーソルおよびアクションを操作できるアクセシビリティ・アプリ「Hawkeye Access」がリリースされています。

Hawkeye Access lets you control your Mac using head movements. Rotate your head to move the mouse and make facial expressions to click, drag, and scroll. Powered by your iPhone’s TrueDepth camera.
NOTE: Hawkeye Access requires an iPhone or iPad with a TrueDepth camera. This includes iPhone X, XS, XR, 11, 11 Pro, and the new iPad Pro.

‎Hawkeye Access – Mac App Store

Hawkeye Access

　Hawkeye Accessを開発したのはAppleのWWDC奨学生に3年連続選出され、現在はHawkeye Labs, Inc.を設立し、TrueDepthカメラを搭載したiPhoneやiPadで目線だけで操作可能なブラウザアプリ「Hawkeye Access for iOS」を開発しているMatt Mossさんで、Mac版Hawkeye Accessを利用するにはMacアプリの他に、TrueDepthカメラを搭載したiPhone/iPadにコンパニオンアプリ「Hawkeye Sidekick」をインストールします。

　次に、Hawkeye Access for MacとHawkeye Sidekickを両方起動し、Macではシステム環境設定アプリの[セキュリティーとプライバシー]パネルから「✅Hawkeye Access.app」にコンピュータの制御許可を、iPhoneではTrueDepthカメラの使用許可を与え、両アプリをペアリングして、必要ならばキャリブレーションを行います。

　Mac/iPhone or iPadをペアリングしてキャリブレーションが終了すると、MacでHawkeye Accessの設定にアクセスすることができ、macOS標準のアクセシビリティでは利用できない頭の動きでマウスカーソルを移動し、笑顔(Smile)や顔をしかめる(Pucker)、眉毛を上げる/下げる(Brows Up Down)、舌を出す(Tongue)といった顔の表情で、マウスのクリックや右/ダブルクリックといったアクションを実行できるようになります。

　Hawkeye AccessとSidekickは現在のところ無料で、今後は頭を振るUndoアクションやHey Siriの実行などの機能も追加していきたいとコメントされているので、興味のある方は試してみてください。

MossさんによるHawkeye Access for Macを利用したiMoveのプロジェクト作成。

おまけ

　また、Appleは現在開発者向けに公開している「macOS 10.15.4 Catalina」で、アクセシビリティの新機能としてMacのFaceTimeカメラなどを利用しユーザーの頭の動きとマウスポインターの動きを連動させる「ヘッドポインタ」を搭載するようですが、MacのFaceTimeカメラはiPhoneのTrueDepthカメラほど高性能ではないため、視線や顔の表情での操作は出来ないようです。