OpenAIのWhisperを利用して音声をテキストへ変換できるアプリ「Hello Transcribe for Mac/iPhone」がMetalに対応し、M1 Maxでは400%高速な変換が可能に。

　OpenAIのWhisperを利用して音声をテキストへ変換できるアプリ「Hello Transcribe for Mac/iPhone」がMetalに対応し、M1 Maxでは400%高速な変換が可能になったそうです。詳細は以下から。

　OpenAIがWeb上から収集した68万時間の音声データを利用し学習させた自動音声認識モデル「Whisper」のC++実装「whisper.cpp」を開発するGeorgi Gerganovさんは11月16日にリリースした「whisper.cpp v1.5」でCUDAやMetalをサポートし、Apple Silicon Macでは、より高速なGPUを利用した変換が可能になったと発表していますが、

Encoder performance on Apple M1 Max – before and after

このwhisper.cppをベースにBen Nortierさん開発している音声書き起こし/文字起こしアプリ「Hello Transcribe for Mac/iPhone」が最新のバージョン3.2アップデートで、whisper.cpp v1.5を利用しApple SiliconのGPUによる、より高速な変換が可能になったと発表しています。

　Nortierさんによると、Hello TranscribeはこれまでCoreML(Apple Neural Engine)を利用して音声エンコードを行っていたそうですが、CoreMLには最適化やキャッシュに問題があったため実験的な機能として実装されていました。そんな中、今回新たにエンコードをMetal(GPU)で行えるようになったことから、M1 MaxではLageモデルで最大400%、iPhone 14 ProでもMediumモデルで100%高速化されたそうです。

Exciting day today for Hello Transcribe, because version 3.2 is now available, and it about 400% faster. It also adds support for the new Large Version 3 model and fast aborts.

Hello Transcribe 3.2 🚀 – bjnortier

　Hello Transcribe v3.2ではMetal (GPU)のサポートに加え、OpenAIのLarge-V3モデルもサポートされ、単語誤り率(WER:Word Error Rate)と処理時間を考慮してもLarge-V2より優れているそうなので気になる方はProサブスクリプションの14日間トライアルを試してみてください。

Hello Transcribe 3.2.5

• Support for Whisper 1.5 with Metal and removal of CoreML. Big performance improvement over CoreML but a massive speed improvement for Medium and Large (which didn’t have CoreML). On an M1 Max a 400% increase for Large. On an iPhone 14 Pro 100% increase for Medium.
• Support new Large-V3 model from OpenAI.
• Support beam search size of 0 (= Greedy).
• New fast abort mechanism (will abort or stop immediately where before it could take a long time when using big model).

おまけ

　同じく先週リリースされたWhisperを利用したMacアプリ「Whisper Transcription v6.0」もMetal(GPU)に対応し、Apple Silicon Macでは平均して2~3倍高速な変換が可能になっています。

• Hello Transcribe – Mac App Store
• Hello Transcribe 3.2 🚀 – bjnortier