iPhone 18 Pro がローカルで 27 億パラメータ Bonsai‑27B を実行

iPhone 18 Proにおける画期的なデモンストレーション

2023年9月19日、一般に公開されたデモンストレーションでは、iPhone 18 ProがBonsai-27B言語モデルを完全にデバイス上で実行している様子が示されました。この実演は、リモートサーバーに依存せずに27億パラメータのモデルがコンシューマー向けスマートフォン上でローカルに実行できる唯一の直接的証拠となります。

デモでは、生成速度が前モデルであるiPhone 17 Proで観測された速度の約2倍に達したと報告されています。この主張は大幅な性能向上を示唆していますが、独立した検証プロトコルが存在しないため、速度向上の正確な規模は報告された観測値以上に確認できません。

デバイス上AIのハードウェア基盤

iPhone 18 ProはA20 Proプロセッサを搭載しており、2つのニューラルエンジンがそれぞれ16コアで構成されています。合計で32個の専用AIコアを提供し、大規模言語モデルのような集中的な推論ワークロードを直接サポートするハードウェア構成となっています。

メモリアーキテクチャも重要な役割を果たします。iPhone 18 Proとその上位機種であるPro Maxは、96ビットバスを介してアクセスされる12 GBのLPDDR5Xメモリを搭載しています。メーカーは統一メモリ帯域幅を115.2 GB/sと発表しており、これはプロセッサ、ニューラルエンジン、メモリ間でデータがモデル実行中に移動できる最大速度を示す数値です。

モデルサイズ、量子化、メモリ上限

Bonsai-27Bは1ビット量子化方式を採用しており、保存領域を劇的に縮小しています。この削減により、モデルはiPhone 18 Proの12 GBメモリ枠内に収まり、9月19日のデバイス上実行が可能となりました。

対照的に、Bonsai-2モデルの2ビット量子化版は同じメモリ空間に完全に収まるには大きすぎると、同デモンストレーションは指摘しています。この観測は、量子化精度を僅かに上げるだけでもモデルサイズが現在のスマートフォンメモリ容量を超える明確な境界を浮き彫りにしています。

ニューラルエンジンの生の処理速度だけではメモリボトルネックは解消されません。32個のAIコアはテンソルを高速に処理できる一方で、同時に保持・アクセスできるデータ量は12 GBのメモリプールとその帯域幅に制限されます。その結果、モデル密度やデバイス上推論の品質はこれらのメモリ特性によって制約を受けます。

ローカル実行の潜在的利益とトレードオフ

大規模モデルをローカルで実行すると、データが外部サーバーへ送信される必要がなくなるため、エンドツーエンドのレイテンシが削減されます。この往復時間の短縮は、即時応答が求められるインタラクティブなアプリケーションに特に価値があります。

ローカル実行はユーザーデータをネットワーク越しに送信する必要もなくなるため、プライバシーの向上が期待できます。ただし、デモンストレーションは消費電力や熱影響の定量的測定を提供していないため、こうした規模の推論を継続的に行った場合のバッテリー寿命やデバイス温度への影響は未解明です。

導入を検討する企業は、次の3つの主要要素を慎重に評価する必要があります：量子化モデルの精度、継続的運用に必要なエネルギー予算、そして負荷下で安全な動作温度を維持できるデバイスの能力です。デモ自体はこれらの次元に関するデータを提示していません。

• 精度と量子化レベルのトレードオフ
• 推論時のエネルギー消費
• 持続的負荷下での熱管理
• クラウド推論との比較レイテンシ

上記のリストは、iPhone 18 Proプラットフォーム上でデバイス内大規模言語モデルを採用する前に、あらゆる組織が評価すべき主要な側面を要約したものです。

デモが独立したベンチマークを欠いているため、報告された2倍の速度向上は他デバイスやクラウドベースの推論パイプラインと直接比較できません。ニューラルエンジン、メモリ帯域幅、量子化方式それぞれの寄与を分離するには、体系的な追加テストが必要です。

将来的な研究では、混合精度といった代替量子化戦略が、同一メモリ制約内でより大きなモデルを収めつつ、精度を高く保つことが可能かどうかを探求できるでしょう。このような調査は、モデルサイズ、精度、そして32個のAIコアが提供する処理能力とのトレードオフを明らかにする必要があります。

要約すると、9月19日の実演は、重度に量子化された27億パラメータモデルがiPhone 18 Proのデバイス内ハードウェア上で実行可能であるという具体的証拠を提供します。同時に、ニューラルエンジン性能が向上し続けても、メモリ容量が依然として制約要因であることを強調しています。