要点: GGUFは、Llama、Mistral、Phiなど多くのローカルモデルが配布される形式です。Local AI Chatでは対応するGGUFファイルをURLからインポートしてモデルを選び、端末上でローカルに実行できます。
GGUFをインポートする理由
自分のGGUFをインポートすると制御の自由が得られます。iPhoneに合わせてモデル、サイズ、量子化レベルを選べます。小さく量子化されたファイルは高速で容量も少なく、大きいファイルはより良い応答が得られますが、より新しい端末が必要です。
モデルの選択Llama、Mistral、PhiなどのGGUF形式の対応モデルをインポート。
サイズと速度品質、メモリ、容量のバランスには4ビット(Q4)量子化がおすすめです。
プライベートかつオフラインインポート後、対応チャットは端末上で動作し、接続なしでも使えます。
言語と関連ページ
ダウンロード: App StoreでLocal AI Chatをダウンロードして、iPhoneに対応GGUFモデルをインポートしてください。