Primate LabsがWindowsやMac、Linux、iOS、Androidに対応した機械学習ベンチマークアプリ「Geekbench ML (Preview)」を「Geekbench AI 1.0」として正式にリリースしています。詳細は以下から。
カナダPrimate Labs Inc,は2021年05月、ここ数年でプロセッサにおける機械学習処理の性能がより重要になっているとして、ハードウェアの機械学習処理スコアを測定できるベンチマークアプリ「Geekbench ML (Preview)」を公開していましたが、現地時間2024年08月15日付けで、このGeekbench MLを「Geekbench AI v1.0」として正式にリリースしたと発表しています。
Following years of feedback and test iteration with our customers, partners, and the AI engineering community, our machine learning benchmark is now ready for general use, and it has a new name: Geekbench AI.
Geekbench AI 1.0 – Primate Labs Blog
Primate LabsのJohn PooleさんはGeekbench MLからAIへの名称の変更について、プレビュー版リリース以降、多くの企業がワークロードやマーケティングで「AI」という用語を使うようになったため、これに合わせて変更したとコメントしており、各プラットフォームでのシステム要件や使用されるAPI、コンパイラーは以下の通りで、Geekbench ML (Preview)と比較してmacOSとiOS、Linuxのシステム要件がアップグレードされ、WindowsとLinuxでは新たにOpenVINOフレームワークがサポートされています。
| Platform | System Requirements | API | Compilers | Backend |
|---|---|---|---|---|
| Android | Android 12 | TensorFlow Lite | Clang 16 | CPU/GPU NPU |
| iOS | iOS 17 | Core ML | Xcode 15 | CPU/GPU Neural Engine |
| Linux | Ubuntu 22.04 LTS | TensorFlow Lite ONNX OpenVINO |
Clang 16 | CPU/GPU NPU |
| macOS | macOS 14 | Core ML | Xcode 15 | CPU/GPU Neural Engine |
| Windows | Windows 10 | ONNX OpenVINO |
Clang 16 | CPU DirectML |
Geekbench AIスコア
Geekbench AI 1.0は複雑なAIタスクの評価に対応するため、総合スコアをSingle/Half Precision Score (適合率スコア)とQuantized Score (量子化スコア)の3つの値で評価しており、このスコアはGeekbench Browserにアップロードされ比較できるようになっている他、
Geekbench AI 1.0では、新たに各ワークロードのスコアをパフォーマンスと精度で評価しており、例えばホットドッグのObject Detectionモデルを高速に行えるハードウェアで、実際に検出できたホットドッグは0.2%だとすると精度としてはよくないため、開発者はこの値を確認し相対的な効率を確認することが可能になっているそうです。
Geekbench AI 1.0の各ワークロードスコア
Geekbench AIアプリはデータをGeekbench BrowserへアップロードしないStandalone ModeとOffline Resultsが可能な「Geekbench AI Pro」ライセンスがWindowsとMac、Linuxのデスクトップ版に対して99ドルで提供されていますが、非Proアプリは引き続き無料で提供されているので、デバイスのMLスコアを比較したい方は試してみてください。
- Geekbench AI – App Store
- Geekbench AI – Google Play
- Geekbench AI – Cross-Platform AI Benchmark – Primate Labs
コメント