ローカル AI モデルを動かすための PC の設定方法

ステップ 1 — PC で何が動くかを確認する

モデルのサイズを最初に制限するのはメモリです。グラフィックカードの VRAM に収まるモデルは高速に動きます。収まらない場合はシステム RAM と分担することになり、動きはしますがかなり低速です。どちらにも収まらなければ、そもそも読み込めません。

20 GB の重みをダウンロードして確かめるのは遠回りなので、先に調べておきましょう。

ステップ 2 — Ollama をインストールする

お使いの OS 向けのインストーラーをダウンロードして実行します。Windows ではバックグラウンドサービスが導入され、ollama コマンドが使えるようになります。その後に設定することは何もありません。

Windows、macOS、Linux に対応。必ず ollama.com からのみダウンロードする習慣をつけてください。人気のある AI ツールの偽サイトは、別のものを配布する常套手段です。

ステップ 3 — 最初のモデルをダウンロードして実行する

ターミナル（Windows ならコマンドプロンプトか PowerShell、macOS や Linux ならターミナル）を開き、コマンドを 1 つ実行します。初回はモデルをダウンロードし、そのままチャットが始まります。

ollama run gemma3

完了するとプロンプトが表示されます。質問を入力して Enter を押すと、回答が自分のハードウェア上で生成されます。チャットを終了するには /bye と入力します。

PC に余裕があっても、まずは小さいモデルから始めてください。3B や 4B のモデルなら数分で全体が動くことを確認でき、それから大きくしていけます。名前はカタログにある好きなモデルに置き換えられます。カタログには必要な要件が載っています。

ステップ 4 — 覚えておきたいコマンド

日常的に使うのは、ほぼこの 5 つです。

ollama pull qwen3:8b

ollama list

ollama rm qwen3:8b

ollama show gemma3

ollama ps

qwen3:8b のような名前は、モデル名とビルドの組み合わせです。コロンより後ろの部分がサイズと量子化を指定します。省略するとデフォルトが使われ、多くの場合は中くらいのサイズの 4 ビット版です。このサイトの各モデルページには、利用できるビルドと、それぞれに必要なメモリが記載されています。

モデルの保存場所

重みは 1 つあたり数ギガバイトあり、既定ではシステムドライブに保存されます。

システムドライブの空きが少ない場合は、環境変数 OLLAMA_MODELS に別のドライブのフォルダーを指定して Ollama を再起動してください。すでにダウンロード済みのモデルは、自分で移動しない限りそのままの場所に残ります。

自分のアプリケーションから使う

Ollama は実行中、ポート 11434 でローカル API を提供します。デスクトップのチャット画面やエディタの拡張機能はここに接続しており、自分のコードからモデルを呼び出すときも同じです。データがマシンの外に出ることはありません。

curl http://localhost:11434/api/generate -d "{\"model\":\"gemma3\",\"prompt\":\"Why is the sky blue?\"}"

動作が遅いとき

• GPU が使われているか確認する。 モデルを読み込んだ状態で ollama ps を実行すると、どれだけが GPU 上にあるかが表示されます。すべて CPU 上と表示される場合が、応答が遅い最も一般的な原因です。
• より小さいビルドを使う。 VRAM に収まらないモデルはシステム RAM と分担され、はみ出した部分の速度は大きく落ちます。サイズを 1 段階下げるだけで劇的に速くなることがよくあります。
• コンテキストを短くする。 KV キャッシュはコンテキスト長に比例して大きくなり、重みと同じメモリを奪い合います。長いコンテキストは、本来なら収まるモデルを VRAM から押し出してしまいます。
• GPU ドライバーを更新する。 アクセラレーションはドライバーに依存しており、古いままだと GPU がまったく使われないことがあります。

よくある質問

ローカルで AI モデルを動かすのにグラフィックカードは必要ですか。

必須ではありませんが、実用性が変わります。Ollama はシステム RAM を使って CPU だけでも動作し、小さなモデルなら十分ですが、大きなモデルでは低速です。専用 GPU があればモデルを VRAM に置けるため、多くの場合ははるかに高速です。つまり VRAM の量は「動くかどうか」ではなく「快適に使えるかどうか」を決めます。

RAM と VRAM はどれくらい必要ですか。

目安として、4 ビット量子化のモデルはパラメーター 10 億あたり約 0.6 GB を必要とし、これにコンテキスト長の分と実行時のオーバーヘッドが加わります。8B のモデルなら短いコンテキストで約 6 GB の VRAM が目安です。あくまで概算なので、このサイトのスキャンでは実際のハードウェアと実行予定のビルドから計算します。

Ollama は無料ですか。オフラインでも動きますか。

Ollama は無料のオープンソースで、アカウントは不要です。モデルのダウンロードにはインターネット接続が必要ですが、重みがディスクに入ったあとはマシン上だけで完結し、オフラインで動作します。入力した内容がどこかに送信されることはありません。

Ollama はモデルをどこに保存しますか。

Windows では %USERPROFILE%\.ollama\models、macOS では ~/.ollama/models、Linux では /usr/share/ollama/.ollama/models に保存されます。1 つあたり数ギガバイトになるため、システムドライブの空きが少ない場合は環境変数 OLLAMA_MODELS で別の場所を指定できます。

最初はどのモデルを選べばよいですか。

小さいものから始めてください。3B や 4B のビルドなら数分でダウンロードでき、控えめなハードウェアでも動き、設定が正しいことを確認するには十分です。問題がないと分かってから、ハードウェアが余裕をもって扱える最大のモデルに移行しましょう。

コマンドラインを使わずに Ollama を利用できますか。

できます。Ollama はポート 11434 でローカル API を公開しており、複数のデスクトップ用・ブラウザー用のフロントエンドがそこに接続してチャット画面を提供します。コマンドラインは、最初のモデルを動かすのに最も手早い方法というだけです。