「ローカルLLMを試したいけど、RAMが足りなくて諦めた…」という方に朗報です。
2026年3月末、PrismMLが「Bonsai 8B」を公開しました。8B（80億パラメータ）クラスのAIが、たった1.15GBのストレージで動きます。
結論を先に言うと、AnythingLLMというアプリを使えば、MacでもWindowsでも10分以内に動かせます。
初めてローカルLLMに挑戦する方は基本編から、すでにOllamaやLM Studioを使っている方は応用編からどうぞ。
この記事では、仕組み・セットアップ手順・実際の使い勝手・よくあるトラブルまでまとめて解説します。
1-bit LLMとは？30秒で分かる基礎知識
通常のAIモデルは、各パラメータを16ビットや32ビットの数値で管理しています。
1-bit LLMは、その数値を「-1か+1か」の1ビットだけに圧縮したモデルです。
情報量は大きく減りますが、計算速度とメモリ使用量が劇的に下がります。
Bonsai 8Bは、埋め込み層・アテンション層・MLP層・言語モデルヘッドまで、全レイヤーが真の1-bit構造で設計されています。
これが「1-bit Bonsai」と従来の量子化モデルの大きな違いです。
サイズと速度の比較
| モデル | ファイルサイズ | 速度（M4 Pro） |
|---|---|---|
| 通常の8Bモデル（16-bit） | 約16GB | 基準 |
| Bonsai 8B（1-bit） | 約1.15GB | 約8倍速 |
| Bonsai 4B（1-bit） | 約0.5GB | — |
| Bonsai 1.7B（1-bit） | 約0.24GB | — |
通常モデルの14分の1のサイズで、8倍速く動く。これが1-bit LLMのインパクトです。
ライセンスはApache 2.0なので、商用利用も無料で使えます。
Bonsai 8Bを動かすために必要なもの
必要なものはシンプルです。
- 空きRAM：1.5GB以上（モデル本体＋処理用のオーバーヘッド分）
- ストレージ：2GB以上の空き
- OS：macOS / Windows / Linuxのいずれか
- GPUは不要。Apple SiliconのMacやAVX2対応CPUがあると推論が速くなります
ここで使うツールは以下の2つです。
- HuggingFace（モデルファイルの配布元）
- AnythingLLM（チャットUIとして使う無料アプリ）
AnythingLLMはコードなしでローカルLLMを扱えるデスクトップアプリです。インストールも操作も直感的なので、初心者の方にとくにおすすめです。
【基本編】3ステップでBonsai 8Bを起動する
ステップ1：モデルファイルをダウンロードする
HuggingFaceで「prism-ml/Bonsai-8B-gguf」を検索してください。
ファイル名は「bonsai-8b.gguf」のような形式です。約1.15GBのファイルをダウンロードします。
保存先はデスクトップや「ドキュメント」フォルダが分かりやすいです。
ステップ2：AnythingLLMをインストールする
AnythingLLMの公式サイト（useanything.com）からデスクトップアプリをダウンロードします。
macOS・Windows・Linux向けのインストーラーが用意されています。インストールは通常のアプリと同じです。
ステップ3：モデルを読み込んでチャットを始める
AnythingLLMを起動したら、設定画面でモデルプロバイダーに「LlamaCPP」を選びます。
ダウンロードしたGGUFファイルのパスを指定して保存。新しいワークスペースを作ってメッセージを送ると、ローカルでAIが返答します。
ここまでの所要時間はダウンロード込みで10分程度です。
💡 公式ドキュメントに沿って検証
PrismMLの公式ガイドとHuggingFaceのモデルカードの手順通りに進めたところ、コンテキストウィンドウの設定で注意が必要でした。
AnythingLLMのデフォルト設定だとコンテキストが2048トークンになっている場合があります。長い質問や複数ターンの会話では、4096に変更することを推奨します（メモリに余裕があれば8192も可）。
ドキュメントには書かれていないポイント：RAMの空きが1.5GB未満の環境では、モデルの読み込みは成功するものの、2〜3ターン目以降にレスポンスが止まることがありました。他のアプリを全て閉じてから試すのが確実です。
検証環境：macOS Sequoia / AnythingLLM最新版 / Bonsai-8B-gguf
かかった時間：ダウンロードから最初の返答まで約10分
つまずいたポイント：コンテキストウィンドウのデフォルト値（要変更）
結果：温度設定0.7・コンテキスト4096でメール文章作成・要約・Q&Aが安定して動作しました
【応用編】得意な用途・苦手な用途と活用アイデア
Bonsai 8Bが得意なこと
- メール・文章の下書き作成
- ドキュメントの要約（箇条書き3〜5行）
- マルチターンの会話・Q&A
- ツール呼び出し（Function calling）
- オフライン環境での使用（インターネット不要）
Bonsai 8Bが苦手なこと
- 複雑なコード生成（動くコードにならない場合が多い）
- 複数ステップにわたる複雑な推論
- 構造化JSONの安定した出力
- 最新情報に関する質問（ハルシネーションが起きやすい）
「GPT-4の代替」ではなく、「いつでも手元で動くプライベートAI」として使うのが正解です。データを外部に送りたくない場面に向いています。
VPSで常時稼働させる選択肢
Bonsai 8Bは軽量なので、低スペックのVPSでも動かせます。
「自宅PCを常時起動したくない」「外出先からもAPIで呼び出したい」という方は、VPS上でllama.cppサーバーを立てる方法があります。
ここで使えるのがConoHa VPSです。月額1,000円台からのプランで、Bonsai 1.7B〜4Bなら安定して動作します。8Bを動かすなら2GBメモリプランが目安です。
よくあるトラブルと対処法
Q. モデルの読み込みが完了しない
A. RAMの空きが足りていない可能性が高いです。
他のアプリ（とくにChromeのタブ）を閉じてから再試行してください。Bonsai 8Bには最低1.5GBの空きRAMが必要です。
Q. 返答がとても遅い
A. CPUのスペックが影響しています。
Apple Silicon Mac（M1以降）やAVX2対応CPUなら高速です。M4 Proでは131トークン/秒の速度が出ます。古いIntel MacやAtom系プロセッサでは大幅に遅くなります。
Q. 途中で返答が止まる
A. コンテキストウィンドウの設定を確認してください。
4096トークンに変更すると安定します。会話履歴が長くなりすぎた場合は、新しいワークスペースを作り直すと改善します。
Q. 英語で返答してくる
A. システムプロンプトを設定してください。
AnythingLLMのワークスペース設定で「You are a helpful assistant. Always respond in Japanese.」と入力しておくと、毎回「日本語で」と書かなくて済みます。
まとめと次のステップ
- Bonsai 8Bは1.15GBのファイルで8Bクラスのローカル推論が可能
- GPUなし・コードなしでAnythingLLMからすぐ使える
- 得意領域は文章作成・要約・Q&A。コード生成は苦手
- RAMは最低1.5GB空き必要。コンテキストは4096推奨
- Apache 2.0ライセンスで商用利用も無料
1GBのLLMをまず試してみて、「もっと高精度なものを使いたい」と感じた方へ。
12Bや27Bクラスのモデルを自宅で常時稼働させるなら、Mac mini M4（Amazon）とOllamaの組み合わせが現実的な選択肢です。こちらの構成については別記事で詳しく解説しています。
0人が役に立ったと評価
コメント