Hugging Face、Appleデバイス上で大規模言語モデルを実行するためのSwiftパッケージとDemoアプリを公開。


 Hugging FaceがApple Siliconを搭載したMacなどAppleデバイス上で大規模言語モデルを実行するためのSwiftパッケージとDemoアプリを公開しています。詳細は以下から。

SwiftChat for Swift Transformers LLM

 学習済みの機械学習モデルやデータセットなどを公開/共有するHugging FaceのMLエンジニアで、Mac用Stable DiffusionクライアントDiffusersなどを開発しているPedro Cuencaさんは現地時間2023年08月08日、Apple Silicon MacなどAppleデバイス上で大規模言語モデル(LLM)を実行するためのSwiftパッケージとDemoアプリを公開しています。

Today, we are publishing this guide to go through the steps required to run a model such as Llama 2 on your Mac using Core ML. We are also releasing alpha libraries and tools to support developers in the journey.

Releasing Swift Transformers: Run On-Device LLMs in Apple Devices – Hugging Face Blog


Swift Chat using swift-transformers

Swift Chatは現在のところアプリケーション化されていないので、利用するにはXcodeでBuildする必要があります。

GPTやSantaCoder, StarCoder, Falcon, Llama 2などの大規模言語モデルで利用できるようになっているそうなので、大規模言語モデルを利用したAppleデバイス向けアプリを開発したい方はHugging Faceの公式ブログをチェックしてみてください。



 ちなみに、WWDC23のセッション10047Use Core ML Tools for machine learning model compressionによると、Appleが2023年秋にもリリースを予定しているiOS 17やmacOS 14 SonomaではCoreMLランタイムがアップデートされCore ML Stable Diffusionなどでメモリ使用率が削減&パフォーマンスが向上するそうです。

Use Core ML Tools for machine learning model compression

With iOS 17 and macOS 14, compressed weights for Core ML models can be just-in-time decompressed during runtime (as opposed to ahead-of-time decompression upon load) to match the precision of activation tensors.This yields significant memory savings and enables models to run on devices with smaller RAM (e.g. iPhone 12 Mini).

apple/ml-stable-diffusion: Stable Diffusion with Core ML on Apple Silicon – GitHub