OpenAIのWhisperを利用しオンデバイス処理でシステムオーディオやマイク入力からの音声のリアルタイム文字起こしを行い、Macのノッチに字幕として表示してくれるアプリ「Subtitly」がリリース。

　OpenAIのWhisperを利用したオンデバイス処理でMacBookのノッチ付近にシステムオーディオやマイク入力からの音声のリアルタイム文字起こしを表示してくれるアプリ「Subtitly」がリリースされています。詳細は以下から。

　OpenAIが2022年09月に音声認識モデルWhisperを公開して以来、このWhisperを利用した様々な音声文字起こしアプリがリリースされていますが、このWhisperを利用しMacBookのノッチにリアルタイムでシステムオーディオやマイク入力からの音声を文字起こし/字幕をつけてくれるアプリ「Subtitly」が新たにリリースされています。

Subtitly is an app that provides real-time subtitles for any conversation, meeting, or media, designed to work seamlessly with a wide range of popular apps […]It’s perfect for professionals, students, and educators who need reliable and private live transcription on macOS.

Subtitly: Live Meet Captions – Mac App Store

　Subtitlyを開発＆公開したのはドバイTools Products FZ-LLCのRustyさんで、Whisperを利用してZoomやGoogle Meet、Microsoft Teamsなどのオンライン会議アプリの文字起こしを行うために開発したそうです。

　Subtitlyの使い方はアプリを起動してマイク入力とシステムオーディオの録音許可を与えた後、メニューバーに表示されるSubtitlyのアイコンから[Settings…]で設定ウィンドウを開き、

利用するWhisperのモデルを選択＆ダウンロードします。音声認識モデルはOpenAIのWhipserと、Hugging FaceがWhisperを蒸留し軽量化したDistill-Whisperが選択でき、Apple M1チップのMacではWhisper.baseが、M2以降ではdistil-Whisper-v3 tubroが推奨されています。

　後は、メニューバーアイコンから[Turn on Subtitles]か[Turn on Subtitles & Record]を選択すると、システムオーディオやマイク入力からの音声の字幕がMacのノッチ下に表示されていきます。

　さらに設定からは、利用時間やタイムスタンプの表示、プロンプト/キャッシュ・プレフィル、ソース言語などWhisperの詳細設定を行うことが可能で、使用モデルによっては日本語の文字起こしも可能です。

　Subtitlyのシステム要件はmacOS 14.2 Sonoma以降のApple Silicon Macで、現在はBeta期間ため無料で利用できますが、正式リリース後は翻訳機能などを実装したPreimum版を買い切りの19.99ドル(3,000円)で提供するそうなので、興味のある方は試してみてください。

PV

• Live Subtitles in your Mac’s Notch – Subtitly
• Subtitly: Live Meet Captions – Mac App Store