Hugging Face、Appleデバイス上で大規模言語モデルを実行するためのSwiftパッケージとDemoアプリを公開。

　Hugging FaceがApple Siliconを搭載したMacなどAppleデバイス上で大規模言語モデルを実行するためのSwiftパッケージとDemoアプリを公開しています。詳細は以下から。

　学習済みの機械学習モデルやデータセットなどを公開/共有するHugging FaceのMLエンジニアで、Mac用Stable Diffusionクライアント「Diffusers」などを開発しているPedro Cuencaさんは現地時間2023年08月08日、Apple Silicon MacなどAppleデバイス上で大規模言語モデル(LLM)を実行するためのSwiftパッケージとDemoアプリを公開しています。

Today, we are publishing this guide to go through the steps required to run a model such as Llama 2 on your Mac using Core ML. We are also releasing alpha libraries and tools to support developers in the journey.

Releasing Swift Transformers: Run On-Device LLMs in Apple Devices – Hugging Face Blog

　新たに公開されたのはテキスト生成にフォーカスし、SwiftでTransformersライクなAPIを実装するために開発したSwiftパッケージ”swift-transformers”と、Demoアプリ”swift-chat”、加えてTransformersモデルをCoreMLへ変換するコンバーター”transformers-to-coreml”で、

GPTやSantaCoder, StarCoder, Falcon, Llama 2などの大規模言語モデルで利用できるようになっているそうなので、大規模言語モデルを利用したAppleデバイス向けアプリを開発したい方はHugging Faceの公式ブログをチェックしてみてください。

おまけ

　ちなみに、WWDC23のセッション10047“Use Core ML Tools for machine learning model compression“によると、Appleが2023年秋にもリリースを予定しているiOS 17やmacOS 14 SonomaではCoreMLランタイムがアップデートされ「Core ML Stable Diffusion」などでメモリ使用率が削減＆パフォーマンスが向上するそうです。

With iOS 17 and macOS 14, compressed weights for Core ML models can be just-in-time decompressed during runtime (as opposed to ahead-of-time decompression upon load) to match the precision of activation tensors.This yields significant memory savings and enables models to run on devices with smaller RAM (e.g. iPhone 12 Mini).

apple/ml-stable-diffusion: Stable Diffusion with Core ML on Apple Silicon – GitHub

• Releasing Swift Transformers: Run On-Device LLMs in Apple Devices – Hugging Face Blog
• huggingface/swift-transformers: Swift Package to implement a transformers-like API in Swift – GitHub