TrueDepthカメラを搭載したiPhoneやiPadを利用し、ユーザーの頭の動きと顔の表情でMacのマウス操作を行うことが出来るアクセシビリティ・アプリ「Hawkeye Access」がリリース。

Hawkeye Access for Mac - Hawkeye 仕事効率化
記事内に広告が含まれています。
スポンサーリンク

 iPhone X/iPad Pro以降のTrueDepthカメラを利用し、Mac上のマウスカーソルを頭の動きだけで操作できるアプリ「Hawkeye Access」がリリースされています。詳細は以下から。

Hawkeye Access for Mac

 AppleはWWDC 2018でiOS 12を発表するとともに、拡張現実フレームワーク「ARKit」をバージョン2.0へアップデートし、iPhone XなどTrueDepthカメラを搭載したデバイスでユーザーの舌やウィンクを認識する「Face Tracking」、視線を認識する「Gaze Tracking」をサポートしましたが、

iOS 12のARKit 2 Gaze Tracking

この機能が利用可能なTrueDepthカメラを搭載したiPhone XおよびiPadr Pro以降のデバイスを利用し、Macと連携してユーザーの頭の動きと顔の表情でMac上のマウスカーソルおよびアクションを操作できるアクセシビリティ・アプリ「Hawkeye Access」がリリースされています。

Hawkeye Access for Mac - Hawkeye

Hawkeye Access lets you control your Mac using head movements. Rotate your head to move the mouse and make facial expressions to click, drag, and scroll. Powered by your iPhone’s TrueDepth camera.
NOTE: Hawkeye Access requires an iPhone or iPad with a TrueDepth camera. This includes iPhone X, XS, XR, 11, 11 Pro, and the new iPad Pro.

‎Hawkeye Access – Mac App Store

Hawkeye Access

 Hawkeye Accessを開発したのはAppleのWWDC奨学生に3年連続選出され、現在はHawkeye Labs, Inc.を設立し、TrueDepthカメラを搭載したiPhoneやiPadで目線だけで操作可能なブラウザアプリHawkeye Access for iOSを開発しているMatt Mossさんで、Mac版Hawkeye Accessを利用するにはMacアプリの他に、TrueDepthカメラを搭載したiPhone/iPadにコンパニオンアプリHawkeye Sidekickをインストールします。

Hawkeye AccessとHawkeye Sidekick

 次に、Hawkeye Access for MacとHawkeye Sidekickを両方起動し、Macではシステム環境設定アプリの[セキュリティーとプライバシー]パネルから「✅Hawkeye Access.app」にコンピュータの制御許可を、iPhoneではTrueDepthカメラの使用許可を与え、両アプリをペアリングして、必要ならばキャリブレーションを行います。

Hawkeye Accessへアクセシビリティの許可

 Mac/iPhone or iPadをペアリングしてキャリブレーションが終了すると、MacでHawkeye Accessの設定にアクセスすることができ、macOS標準のアクセシビリティでは利用できない頭の動きでマウスカーソルを移動し、笑顔(Smile)や顔をしかめる(Pucker)、眉毛を上げる/下げる(Brows Up Down)、舌を出す(Tongue)といった顔の表情で、マウスのクリックや右/ダブルクリックといったアクションを実行できるようになります。

Hawkeye Access for MacとHawkeye Sidekickの設定

 Hawkeye AccessとSidekickは現在のところ無料で、今後は頭を振るUndoアクションやHey Siriの実行などの機能も追加していきたいとコメントされているので、興味のある方は試してみてください。

MossさんによるHawkeye Access for Macを利用したiMoveのプロジェクト作成。

おまけ

 また、Appleは現在開発者向けに公開している「macOS 10.15.4 Catalina」で、アクセシビリティの新機能としてMacのFaceTimeカメラなどを利用しユーザーの頭の動きとマウスポインターの動きを連動させるヘッドポインタを搭載するようですが、MacのFaceTimeカメラはiPhoneのTrueDepthカメラほど高性能ではないため、視線や顔の表情での操作は出来ないようです。

macOS Dwell Control and Head Pointer

macOSのDwell Control と Head Pointer

コメント

  1. 匿名 より:

    いやあ見事に動くねぇ
    ニッコリandクリック!

タイトルとURLをコピーしました