ローカルLLMを自分のPCで動かしてみたい！と興味を持ってみたものの、気になるのが「どんなPCで動くのか」ではないでしょうか。
今使っているPCでそのまま始められるのか？どの性能が重要なのか？買い換えやパーツ交換は必要なのか？
GPUを使ってローカルLLMを動かす場合、特に重要な目安の一つが、グラフィックボードに載っているメモリ（VRAM）の容量です。
じゃあそのVRAMはどのくらいあればいいのか？答えは「あればあるほどいい」です笑
……当然ですよね。本当に知りたいのは「最低どのくらい必要か」の方ですよね。
そこで今回は、始めたばかりの僕のPCで、どのくらいのローカルAIが動くのか。さらに、そのモデルは実用的に使えるのかを検証していきたいと思います。
現在のPCスペック
CPU：Ryzen5 3600
メインメモリ：32GB
グラフィックボード：GeForce GTX 980 Ti VRAM 6GB
ストレージ：内蔵SSD 100GB確保
今回の検証で特に注目するのは、グラフィックボードのVRAM容量です。
現在の僕のPCは上記の通り6GBあります。
これが多いか少ないかで言いますと、ぶっちゃけ少ないです(^^;
だからといってローカルLLMを諦めることはありません。
大小さまざまなAIモデルを選べるのも、ローカルAIの面白さです。
まずは6GBのグラフィックメモリーでどんなモデルが動くのか、実際に使えるのかを検証していきます。
今回の実験環境
ローカルAIモデルを動かすアプリ：LM Studio
実験モデル（AI）の条件
・Q4_K_Mのファイルサイズが6GB以内に収まるモデル
・モデルの量子化はすべてQ4_K_Mで統一
・システムプロンプトの設定なし
・GPUオフロードは自動設定
・Qwen3系とGemma 4 E2Bの思考モードは、条件をそろえるためオフにします
ちなみに「量子化」というのは、モデルの重みなどを低い精度で表現し、ファイルサイズや必要なメモリ、計算量を減らす技術です。軽くできる一方で、設定によっては回答品質が下がることもあります。
Q4_K_Mは4bit量子化方式の一つで、ファイルサイズと回答品質のバランスを取りやすい設定としてよく使われています。今回は条件をそろえるため、全モデルをQ4_K_Mで統一しました。
AIへの質問文
1.日本の都道府県を教えてください。(知識の正確性)
2.コンビニで買える太りにくい食材を教えてください。(実用的な相談)
なお、どちらの質問も各モデル1回ずつの簡易検証です。今回の結果だけで、モデル全体の性能を評価できるものではありません。
【エントリーNo.1】Qwen3-1.7B：爆速だが宮島県を生成
そうちゃんまずはロード時のメモリ変化です。
編集長（Claude）ロード後に専用GPUメモリが約2.3GB増え、共有GPUメモリもほとんど使っていません。
今回の計測では、モデルの大部分がVRAM内に収まっていると見てよさそうです。
専用GPUメモリにも3GBほど余裕があり、1.7BクラスならGTX 980 Tiでも十分動かせる結果になりました。
そうちゃん今回試したQwen3-1.7Bは、11年前のハイエンドグラボでもかなり速く動きました！
VRAMに無理なく収まるモデルの軽快さが分かりますね！
次は都道府県(知識の正確性)とコンビニで買える太りにくい食材の質問結果です。
速度は49.07トークン/秒
編集長（Claude）速度はSwallow 8B(約9～10トークン/秒)の5倍。さすが1.7Bという軽快さです。
しかし中身が…
編集長（Claude）都道府県の結果は、18個で堂々と打ち切り…。
しかも17番に『宮島県』という存在しない県が混ざっています。
宮城県や広島の宮島を混同したようにも見えますが、原因は分かりません。北海道も東北も丸ごと欠けています。
コンビニ食材の回答、突っ込みどころが満載Σ(ﾟﾛﾟ;)
速度は33.02トークン/秒
・1番「たまご」、2番「卵」、そして表でも「たまご・卵」と、実質同じものを3回数えている
・3番「納豆」の後、7番でまた「納豆(カピナットなど)」カピナットとは何なのか…
・「索ンビ」「フード(卵焼きなど)」という謎の食材が表に登場
・アボカドを「タンパク質が豊か」と説明(実際は脂質が主)
そうちゃん今回の回答は日本語自体は自然でしたが、日本の地名や食材の正確さにはかなり問題がありました。
1.7Bという小ささが影響した可能性はありますが、この1回だけでは原因までは分かりません。
評価
今回の2つの質問では、速度は速いものの、回答の正確さにはかなり問題がありました。
日本語の文法自体は流暢なのに、中身が崩れているという、#6の「式は正しいのに計算が違う」に似た結果がここでも出ましたね。
【エントリーNo.2】Phi-4-mini 3.8B：わさびはしょうゆ
そうちゃんまずはロード時のメモリ変化です。
このモデルもまだVRAMには余裕があります。
そうちゃん次は都道府県(知識の正確性)とコンビニで買える太りにくい食材の質問結果です。
速度は33.16トークン/秒とQwen3-1.7Bより落ちますが速いです。だけど…
今回の都道府県問題では、まさかの1.7B以下…
編集長（Claude）都道府県は10個でギブアップ…
そうちゃんまさか前のQwenより落ちるとはΣ(ﾟдﾟ；)
・「大別群(北海道)」「茨木県(鹿児島)」という実在しない地名が混入
・10個で打ち切り。ただし「これは一部で全部ではありません」と自己申告する誠実さだけはあった笑
コンビニ食材はまさかの迷回答
速度は18.60トークン/秒と今度はQwen3-1.7Bよりだいぶん落ちましたが実用では問題ありません。がそれより…
編集長（Claude）コンビニ食材の回答が崩壊しています…
・「わさびを指している場合は、日本語ではしょうゆと呼ばれます」という意味不明な導入
・「ゼリーメソール」「グラウンテッドアイス」「エナメルマスタード」など存在しない食品を連発
・「低脂肪チーズ(例えばピーナッツ)」…チーズの例がピーナッツ
・コンビニで買える食材という質問の趣旨からも大きく脱線
なぜサイズが倍以上なのに悪化したのか？
編集長（Claude）Phi-4-miniは3.8Bで、公式には日本語も対応言語に含まれています。
それでも今回の2問では、1.7BのQwen3より回答が崩れました。
モデルの大きさだけで日本語回答の正確さは決まらないようです。
ただし、今回の結果だけでは原因までは分かりません。
このあと試す、日本語向けに追加学習されたSwallow 8Bとの違いも気になりますね。
そうちゃん質問内容や設定を変えれば、また違う結果になるかもしれませんね。
【エントリーNo.3】Qwen3-4B：47と知りつつ39個、宮城県がDEALINGS
そうちゃんまずはロード時のメモリ変化です。
編集長（Claude）専用GPUメモリの使用量は4.8GB。
Phi-4-miniの4.4GBより増え、6GBの8割を使う状態です。
共有GPUメモリも0.4GB使っています。
まだ動作していますが、VRAMの余裕は少なくなってきました。
この先の8Bでは、VRAMだけに収まるのかが気になるところです。
さて、最初のQwen3-1.7Bの宮島県は消えているのでしょうか…
そうちゃん次は都道府県(知識の正確性)とコンビニで買える太りにくい食材の質問結果です。
速度は15.00トークン/秒と今までのモデルみたいに30トークン/秒の速度がでなくなりましたね。
都道府県は47と知っているのに39個…なぜ？
冒頭で「47つの都道府県があります」と正しく宣言。ところが実際に挙げたのは38個+補足の徳島で39個。しかも…
・4番が「DEALINGS」…宮城県が謎の英単語に化ける
・香川・愛媛・高知・埼玉・千葉・東京・神奈川・山梨が丸ごと欠落(四国がほぼ全滅、首都圏も壊滅)
・「徳島県は14番目に記載しておりました」と言うが、14番は石川県。存在しない記憶を主張
コンビニ食材は構造は立派だが中身は珍回答…
速度は13.52トークン/秒
編集長（Claude）今回の回答では、分類（野菜・果物・豆類…）や注意点・まとめ表という構造が1.7Bより整っています。ただ中身を見ると…
・「トウモクセイ」という謎の野菜が2回登場(トウモロコシ？キンモクセイ？)
・豆類の例が「たまねぎ、ズッキーニ、アボカド」…一つも豆がない
・「野菜ボール」「ボールの野菜」という謎商品
・白米や玄米うどんを「太りにくい穀物」と言い切っている。食べる量や組み合わせにもよるので、説明が乱暴
見えてきた傾向
今回の回答では、1.7Bから4Bになって文章の構成が整い、「都道府県は47」という知識も出てきました。
でも、実際に47都道府県を並べるところまではできませんでした(^^;
#6の「式は正しいのに計算が違う」と似た構図です。
今回の結果を見ると、知っていることと正確に出力できることは、必ずしも同じではなさそうですね。
編集長（Claude）速度は13～15トークン/秒。
軽量モデルほどの速さはありませんが、今回の環境では待たされすぎるほどではありません。
軽さと回答品質のバランスはよさそうですが、今回の2問だけでは判断しきれません。
【エントリーNo.4】Gemma 4 E2B：あいち8連呼からの完全回答達成！
そうちゃんまずはロード時のメモリ変化です。
編集長（Claude）注目は共有GPUメモリです。
Windowsの表示では、E2Bは専用GPUメモリ3.8GBに加えて、共有GPUメモリを2.3GB使っています。
Qwen3-4Bの0.4GBより大きく増えました。
このモデルはE2Bという名前ですが、公式には実効パラメータ数が2.3B、埋め込みを含めると5.1Bとされています。Eは「effective（実効）」の頭文字です。難しい(´-ω-`)
E2Bでは、各層が個別の埋め込みテーブルを持つ仕組みが使われています。この埋め込みは計算量を大きく増やしにくい一方、モデル容量には含まれます。
そのため、Q4_K_Mのファイルサイズは4.41GBと、名前の印象より大きめです。
そうちゃん次は都道府県(知識の正確性)とコンビニで買える太りにくい食材の質問結果です。
速度は22.53トークン/秒。今回の環境では、Qwen3-4Bより速い結果になりました。
そして大失敗からの、完全リカバリーΣ(ﾟДﾟ)ｽｹﾞｪ!!
編集長（Claude）序盤が面白いことになってます。
五十音順で並べようとして『あいち(愛知県)を8回繰り返すループに突入。3番目には、『あおさぎ(青木ヶ瀬町)』という、市町村ですらない謎の地名まで登場。
ところがその後「正しくリストアップするためには」と自分で仕切り直して、47都道府県を1つの欠けも重複もなく完璧に列挙しました。
今回はじめての47都道府県を完全達成しました！
コンビニ食材でも初めて「まともな回答」が返ってきた
速度は21.08トークン/秒
編集長（Claude）謎の食材がゼロです。
ゆで卵、サラダチキン、ギリシャヨーグルト、サラダフィッシュ、キノコ類…。どれも実在する食品で、コンビニでも見かけるものが中心です。
トウモクセイもカピナットも出てきません。
・「パッケージの裏で糖質と脂質を確認」など実用的なアドバイス付き
・分類も「タンパク質」「食物繊維」「炭水化物」「間食」と的確
総評
メモリ使用量はQwen3-4Bより大きいものの、今回の2問では、ここまでの4モデルで一番よい回答でした。
速度も21～22トークン/秒と、Swallow 8Bの2倍以上です！
「五十音順ループ事故→自力リカバリー」という記事的に美味しい見せ場まで付いてきました。
【エントリーNo.5】Swallow 8B：完璧な46個、沖縄だけ忘れる
これまで、このブログで使ってきたメインAIです。
正式名称は「Llama-3.1-Swallow-8B-Instruct-v0.3」です。
Llama 3.1をベースに、日本語能力を強化する追加学習と調整が行われたモデルです。
そうちゃんまずはロード時のメモリ変化です。
編集長（Claude）専用GPUメモリは5.8/6.0GBで、ほぼ満タンです。
Windowsの表示では共有GPUメモリも1.0GB使っています。
VRAMだけでは余裕がなく、システムメモリも使われている状態です。
この状態が速度に影響した可能性はありますが、今回の計測だけで原因を断定はできません。
そうちゃん遅いけど、支障がない程度の速度だったので気にしていませんでした笑 今回、初めて他の軽いモデルを試してみて遅いことを実感しました。
そうちゃん次は都道府県(知識の正確性)とコンビニで買える太りにくい食材の質問結果です。
速度は10.34トークン/秒
都道府県がまさかの46個…
編集長（Claude）北海道から順番に、地理的に綺麗な順序で、重複なし、捏造なし。
完璧な進行でした。 ……が、46番の鹿児島県で終了。
ん？沖縄県だけがいないｷｮﾛ (￣д￣*)))(((*￣д￣)
宮島県を作った1.7B、10個で諦めた Phi、宮城をDEALINGSにした4B、愛知を8連呼したE2B。
それぞれ派手に転んだ中で、Swallowは最後の最後、あと1個のところで転んでしまうとは…。
もう一度やり直そうかと思いましたが、正直にそのまま書きました。
コンビニ食材ではさすがの安定感をみせる
速度は9.68トークン/秒 ここで速度が一桁に…
謎の食材ゼロ。サラダチキン、ゆで卵、豆腐、ツナ缶、海藻サラダ、おから…全て実在し、ん！おから？おからはコンビニでは見たことありませんね笑
気を取り直して、ツナ缶の脂質に触れるなど、栄養面の注意も添えていました。
ただし、商品の成分は種類によって異なります。今回の回答はE2Bと並ぶ品質で、日本語の自然さではこれまでで一番かもしれません。
今回はVRAM 6GBの環境で使える5つのモデルを検証してきました。
最後に、モデルのファイルサイズと、ロード後にWindowsで確認した専用GPUメモリ・共有GPUメモリの使用量をまとめた表を載せておきます。
共有GPUメモリは、GPUがパソコン本体のメモリを借りて使った量です。
ただし、表示された分がすべてAIモデルの「あふれ」とは限りません。
検証してみてわかったこと
今回はQ4_K_Mのファイルサイズが6GB以内に収まるモデルを選んで検証してみました。
ただし、モデルのファイルサイズが6GB以内でも、必要なVRAMが6GB以内になるとは限りません。モデル以外の処理にもメモリを使うため、共有GPUメモリの使用が出たモデルもありました。
LM Studioには「GPUオフロード」という、モデルの処理をどの程度GPUへ回すか決める設定があります。
今回は自動設定で、LM StudioがGPUの使用量を自動で調整していました。
ただし、共有GPUメモリを使った原因がGPUオフロードだけとは限りません。モデルの構造やコンテキスト長、処理用のメモリなども関係します。
手動で調整すれば結果は変わったかもしれません。今回は全モデルを同じ自動設定にして、できるだけ条件をそろえました。ただし、モデルごとに構造や必要なメモリが違うため、厳密な性能比較ではありません。
そして一番の驚きがGemma 4 E2B。今回の1回では、唯一47都道府県を完全に答えられました。コンビニ食材の回答も謎の食材がなく、速度もSwallowの倍以上です。
てっきり8Bクラスでないと使い物にならないと思っていましたが、そうでもありませんでした。今回の環境と2つの質問だけで選ぶなら、VRAM 6GBのPCではGemma 4 E2Bをメインに使ってみたいと思います。
なお、E2Bと12Bの間にあるGemma 4 E4Bも、後日VRAM6GB環境で検証しました。
次回予告
次回はVRAM 6GBの限界突破回です笑
100億パラメータを超える12B・14Bモデルに挑戦します。
はたして6GBのVRAMで動くのか。動いたとして実用に耐えるのか。見ていきたいと思います。
お楽しみに！
