ローカルLLM、またはローカルAIは自分のPCの中にダウンロードして使うので、ChatGPTやGemini、Claudeといった外のサーバーにあるクラウドAIとは違い、ローカル環境だけで動かせば、入力した文章や個人情報を外部サーバーへ送らずに使えるのが大きなメリットです。
あと、サブスクリプションや従量課金などの料金がかからないのもメリットですね。
そんなローカルAIですが…
「結局、何ができるのか？」
「ChatGPTなどのクラウドAIと何が違うのか？」
「普通のPCでも使えるのか？」
と疑問に思ったりするのではないでしょうか。
僕がローカルAIを知ったのは、Geminiに「自分のPCで動かせるAIがある」と教えてもらったことです。
月額0円で使えて、自分のパソコンの中でAIを動かせる。
それを知ってから、気づけばローカルAIの沼に片足どころか両足を突っ込んでいました笑
このページでは、少し自作PCをかじった程度の僕が、ローカルLLM・ローカルAIを日常生活でどう使えるのかを実際に試した記録をまとめていきます。
今はまだ試したことも少なく内容も濃いとは言えないですが、新しい実験記事を公開したら、このページに随時追加していく予定です。
初めてこのブログに来た方は、まずこのページから読んでもらうとどんなことをやっているのかが分かりやすいと思います。
ローカルLLM・ローカルAIでできることを生活目線でまとめます
このブログでは、難しい技術解説よりも、
「軽くPCをかじった程度の会社員がローカルAIを日常生活に活用するなら？」
をテーマにしています。
専門家のように完璧な検証をするというより、実際に使ってみて、
- 便利だったこと
- 思ったより微妙だったこと
- 失敗したこと
- 聞き方を変えたら改善したこと
- 今後もっと試したいこと
を記録していくブログとして進めていきます。
ローカルAIは大規模なクラウドAIに比べると性能は高くありません。
特に一般のPCやゲーミングPCで動かせる小〜中規模モデルは、ChatGPTやClaudeなどのAIと比べて、回答精度や知識量で劣る場合があります。
最新情報に弱いですし、クラウドAIより間違いを返してくることも多かったりします笑
それでも、自分のPCの中で動かせるAIには、クラウドAIとは違った面白さがあります。
ここからは、実際に試した活用例を順番に紹介していきます。
1. ローカルAIを始めたきっかけ
最初の記事では、僕がローカルAIを知って、AI沼にハマっていった流れを書きました。
きっかけは、GeminiにローカルLLMの存在を教えてもらったことです。
自分のPCでAIを動かせる。
月額料金を気にせず使える。
しかも、やり方次第では文章作成や勉強、日常の相談にも使えるかもしれない。
そう考えると、一気に興味が湧いてきました。
もちろん最初は分からないことだらけです。
モデルとは何か。
VRAMの容量はどのくらいあればいいのか。
どのAIを使えばいいのか。
日本語はどれくらい自然なのか。
何も分からない状態からのスタートでした。
ローカルAIに興味があってこれから導入を考えているけど、導入するPCのスペックは？導入方法は？なんだか難しそう…と思っている方はこの記事が参考になるかと思います。
導入自体は簡単です。ChatGPTやGeminiなどのクラウドAIに手順を聞きながら進めると、ローカルAI環境を構築しやすくなると思います。
【関連記事】
月額0円！使い放題のAIがある？AI沼にハマった話｜ローカルAIのある暮らし#1
2. プロンプト作りやAIへの指示出しを試す
ローカルAIを使い始めて感じたのは、モデルの性能だけでなくこちらの指示の出し方もかなり大事だということです。
AIに何かを頼む時、ただ適当にお願いするだけだと思ったような答えが返ってこないことがあります。
そこで大事なのが、プロンプト（AIへの指示）をきちんと渡すことです。
でもプロンプトって難しそうだし、それはそれで勉強しないといけないのでは？と思いますよね。
AIを使うためにプロンプトを勉強するのってなんだか本末転倒だと思うんですよね笑
本来はただ便利に使いたいだけなのに、そのために勉強するのって矛盾していると思います。
そこで試したのがClaudeにプロンプト作りを丸投げする方法でした。
じゃあなぜClaudeにプロンプトを作って貰おうと考えたのかは、日本語が一番自然で上手だからという単純な理由でした笑
ローカルAIをうまく使うには、
「何をしてほしいのか」
「どんな条件で答えてほしいのか」
「どんな口調や形式にしてほしいのか」
をある程度きちんと伝える必要があります。
なので、日本語が上手と評判のClaudeを選んだのです。
これはブログ記事の下書きを書かせたり、日常の相談をしたり、分からないことを聞いたりと、AIを使う時に、できるだけ良い答を引き出すのに役立ちます。
AIにどう頼めばいいか分からない人にとって、プロンプト作りは最初の壁になると思います。
この記事では、そのプロンプト作りをClaudeに任せてみた結果を書いています。
【関連記事】
Claude編集長にプロンプトを丸投げしてみた結果｜ローカルAIのある暮らし#2
3. コンビニで買えるダイエット飯の相談に使う
ローカルAIは、日常生活のちょっとした相談にも使えます。
僕が試したのは、コンビニで買えるダイエット飯の相談です。
ここ1年で体重が増えてしまい、その原因のひとつがコンビニ飯やスイーツでした。
そこで、ローカルAIに
「太りにくいコンビニ飯を教えて」
と聞いてみました。
実際にやってみると、AIはそれっぽい提案をしてくれます。
ただし、そこには注意点もありました。
ローカルAIは持っている情報が古いことが多く、おすすめされた商品名が実際の店舗にはすでに無かったり、商品名が変わっていたりします。
それでも、商品名からどんなものを選べばいいかくらいの参考にはなります。
そして、ローカルAIを生活改善の壁打ち相手として使うという最初の実験がこの記事です。
【関連記事】
お腹が出てきたのでローカルAIにコンビニダイエット飯を聞いてみた｜ローカルAIのある暮らし#3
4. 聞き方を変えてAIの弱点を補える
コンビニ飯の相談をして分かったのは、ローカルAIには弱点があるということです。
特に、最新の商品名や今売っている具体的な商品には弱いです。
これは、そのAIが学習した内容が数年前の過去の知識だからです。
そこで次に試したのが、聞き方を変えることでした。
商品名で聞くのではなく、
ズバリ！
「太りにくいコンビニ食材」
を聞いてみることです。
すると、商品名をそのまま出してもらうよりも、使いやすい答えが返ってきました。
これはローカルAIを使う上でかなり大事な気づきでした。
AIの答えがズレた時に、
「聞き方を変えたらどうなるか」
を試してみる。
ローカルAIは内容によっては、こちらが使い方を工夫しながら使う道具なのだと思いました。
この記事では、コンビニで買えるダイエット食材の相談を通して、ローカルAIへの聞き方を変えた実験を書いています。
【関連記事】
ローカルAIに太りにくいコンビニ食材を聞いたら商品名より使えた話｜ローカルAIのある暮らし#4
5. ブログや文章作成の下書きに使える
AIの得意分野といえば、文章作成を思い浮かべる人が多いと思います。
そこで、ローカルAIに文章作成を丸投げしてみました。
結果として分かったのは、ローカルAIは文章作成にも使えるけど、丸投げして完璧な記事が出てくるわけではないということです。
それっぽい文章は作ってくれます。
でも、内容がズレたり、事実と違うことが混ざったりすることもあります。
特にブログ記事の場合、自分の体験や考えを正しく反映させるには、情報をきちんと渡す必要がありました。
最初からそのままブログに投稿できる文章ではなく、下書きや構成のたたき台、文章の壁打ち相手として使うのがいいと思いました。
自分の考えを整理したい
ブログの見出しを考えたい
文章を書くきっかけがほしい
そういう場面では、ローカルAIも十分に役立つ可能性があります。
この記事では、ローカルAIに文章作成を丸投げしてみた結果と、その中で感じた注意点を書いています。
【関連記事】
ローカルAIに文章を丸投げしたら思わぬ結果になった話｜ローカルAIのある暮らし#5
6. 家計管理の計算に使えるか試す
ローカル環境で動かすAIなら、入力した家計の情報を外部サーバーへ送らずに扱えるので、家計管理にも向いていそうです。
そこで、実際に買った商品の価格を入力し、5品、10品、15品と増やしながら合計金額を計算させてみました。
ところが、計算式は正しく書けているのに、答えはすべて不正解。
15品では、正しい金額と857円もの誤差が出てしまいました笑
この記事では、ローカルAIの計算結果をそのまま信用する危険性と、家計管理では計算より分類や記録の整理に使う方がよさそうだと分かった実験を書いています。
【関連記事】
ローカルAIに買い物15品の合計を計算させたら誤差857円だった話｜ローカルAIのある暮らし#6
7. VRAM6GBで動くモデルを比べる
ローカルAIを自分のPCで使う時、気になるのが「今のPCでどのくらいのモデルまで動かせるのか」です。
そこで、GTX 980 TiのVRAM6GB環境で、1.7Bから8Bまでの5モデルを動かして比べてみました。
同じ質問をしても、回答の正確さや速度、使うメモリはモデルによってかなり違います。
今回の2つの質問では、Gemma 4 E2Bが唯一47都道府県をすべて答え、速度とのバランスも一番いい結果になりました。
この記事では、VRAM6GBで各モデルがどのくらいの速度で動くのか、モデルの大きさだけでは回答の良さが決まらないことが分かります。
【関連記事】
VRAM 6GBで動くローカルAI 5モデル対決。47都道府県を答えられたのは1つだけ｜ローカルAIのある暮らし#7
8. VRAM6GBで12B・14Bモデルに挑戦する
VRAM6GBに収まるモデルを試した後は、容量を超える大きなモデルも動かせるのか気になりました。
そこで、Gemma 4 12BとQwen3-14BをGTX 980 Tiで無理やり動かす限界突破実験です笑
どちらも読み込みと回答生成はできましたが、速度は4トークン/秒台。
Gemma 4 12BはGPUオフロードを下げると動いたものの、今回の環境では日常的に使うには厳しい速度でした。
この記事では、「動かせること」と「実用的に使えること」は別であることや、VRAMに少し余裕を残す設定の大切さが分かります。
【関連記事】
6GBのグラボで12Bモデルは動いた。ただし4トークン/秒｜ローカルAIのある暮らし#8
9. VRAM6GBでGemma 4 E4Bを試す
グラフィックボードを交換する直前、Gemma 4にはE2Bと12Bの間にE4Bがあることを思い出しました笑
そこで、GTX 980 Ti最後の検証として、VRAM6GBでE4Bが使えるのかを試しました。
E4Bは約10トークン/秒で動き、4回やり直しながらも47都道府県をすべて答えることに成功。
コンビニ食材の回答も実用的で、E2Bより遅いものの、用途によって使い分けられそうな結果でした。
この記事では、GTX 980 Tiで試した8モデルの速度とメモリ使用量を比べ、VRAM6GBで選ぶならGemma 4 E2Bをメイン、E4Bをサブにしたいと考えた理由をまとめています。
【関連記事】
VRAM6GBでGemma 4 E4Bは動くのか？980Ti最後の検証【#9】
今後試して追加したいこと
今はまだ、ローカルAIで試したことは多くはありません。
でも、今後はさらに生活に近いテーマで使い道を増やしていく予定です。
たとえば、次のようなことを試してみたいと思っています。
- 家計管理や節約相談に使えるか
- レシート画像やスクショを読み取れるか
- PCの性能を変えると使い勝手はどれくらい変わるか
- モデルごとに回答の違いはあるのか
- スマホでもローカルAIを使えるのか
新しい実験記事を公開したら、このページにも活用例として追加していきます。
まとめ｜ローカルAIは生活の中で少しずつ使い道が見えてくる
ローカルAIは、ChatGPTやGemini、Claudeといった大規模なAIほど高性能ではありません。
特に最新情報に弱いです。
それでも、実際に使ってみると、日常生活の中で使える場面は少しずつ見えてきます。
文章作成
食事の相談
生活改善の壁打ち
考えを整理するための相手
こうした使い方なら、普通の会社員でも十分に試せると思いました。
このブログでは、これからもローカルAIを日常生活でどう使えるのかを、実際に試しながら記録していきます。
ローカルAIに興味はあるけれど、何から見ればいいか分からない人は、このページを入口にしてもらえるとうれしいです。