GeminiにローカルLLMを教えてもらった
ある日いつものように、AI（Gemini）を質問攻めにしていました。
確かこんなことを聞いていました…
私「センシティブ（アダルト）な内容にはどこまで対応できる？」
私「資格の勉強とかも教えてもらえる？授業形式で！」
しつこく聞いていると、Geminiからこんな返答が…
Gemini「それなら、ローカルLLMをお勧めします…」
私「なにそれ？」
これがローカルLLMを知ったキッカケでした。
動機 面白そう＋難しそう＋無料＋使い放題
GeminiによるとローカルLLMとは、こういうものらしい。
・自分のPC内で動くAI
・ネットに繋がらないので、チャット内容や個人情報が外に漏れない
・ChatGPTやGeminiと違って規制が緩く、自由度が圧倒的に高い
・電気代以外は無料、月額を気にせず使い放題
センシティブな質問をしつこくしていた直後にこれを勧めてきたGemini…
おそらくこう思ったに違いない。
Gemini「あ、こいつやべぇ…センシティブ（アダルト）で使おうと必死に聞いてきやがる…」
そう思ったかどうかは分からないけど笑
でも規制が緩くて自由度が高いAIが月額無料で使い放題！
これは試すしかない、と俄然興味が湧いてきました。
環境構築の正直な話
早速、Geminiに聞きながら環境を構築していきます。
「難しいんだろうな…」と覚悟していましたが、GeminiがすすめるLM Studioをインストールするとあっさり完了。
拍子抜けするくらい簡単でした。
さて、後はモデル（脳）を入れるだけ…
LM Studioの検索窓にモデル名を入力するとダウンロードできるらしい。早速Geminiおすすめのモデルを検索してみると——
検索結果「0」………あれ？
Geminiに状況を伝えると「あちゃ～、じゃあこれ入れてみて！」
また検索してみると——
検索結果「0」
いや！どうなってんの！
そこからスクショを見せる→設定をいじる→スクショを見せる→設定をいじるの疲れるだけのループを約2時間…
ようやく原因判明。Geminiおすすめのモデルが単純に存在しなかっただけでした笑
気を取り直して別のモデル「Llama」をインストール。感動の瞬間。
Gemini「ドキドキしますね！」
私「ドキドキ」
……ん？日本語おかしくない？
言葉が堅い、理屈っぽい、文法もなんか変！
またループが始まります。
Llamaの返答をGeminiに渡す → プロンプトを修正 → Llamaに渡す → おかしな日本語が返ってくる → Geminiに渡す…
半日後。
Gemini「これはだめだ！他のモデルを探しましょう！」
私「……」
そしてようやく、まともな日本語を話せるモデルに辿り着きます。
それがSwallowでした。
ここまで、丸一日…
ようやく LM Studio＋Swallow 8Bで…
思い描いていた理想（流暢で自然な日本語）に近づいた！
まだまだ全然ですけどね笑
とりあえず今、僕のPCの中でLM Studio（体）にSwallow 8B（脳）が入って動いています。
ちなみに僕のPCスペックはこんな感じです。
・CPU：Ryzen 3600
・GPU：GTX 980Ti
・RAM：32GB
・SSD（SATA）：100GB確保済み
僕が今使っているGeForce GTX 980TiというグラフィックボードはVRAM（グラボに乗っているメモリのこと）は6GBしかないので8Bまでしか使えません。
なので、モデルのグレードは8Bクラスがメインになります。
グレードは2B～34B（個人で使える範囲）
さらに上の70B以上とまだまだ上があります。
とりあえず、いま僕が扱えるのは8Bまでで、全体的に下のグレードしか扱えないということです笑
そして、色々使ってみて気づいたことがあります。
プロンプト（AIへの指示書）がめちゃくちゃ重要。
チャットで都度、指示するプロンプトだけじゃなく、あらかじめチャット内のルールや性格を決めておく「システムプロンプト」というものがあって、これがAIの性格や言葉遣い、話し方に大きく影響します。
そのプロンプトを作ってくれていたのがGeminiなんですが……
実はここまで大活躍してくれたGeminiさん、無料版の高速モデルで頑張ってくれていました笑
つまりGeminiの本気じゃなかった。
ということは…
日本語が上手いAIに、日本語でシステムプロンプトを書かせたら、Swallow 8Bはもっと自分が思い描いていた理想に近づけるんじゃないか？
だったらもっと日本語が上手いAIに頼めばいいじゃん。
というわけで、プロンプトをAIに丸投げして、私はコピペ職人になろうと思います笑
Geminiを有料版にすればより良いプロンプトが書けるでしょう。
でも、日本語が一番上手いと定評のあるAIに心当たりがあります。
それは………
このブログが生まれた理由
日本語が上手いと定評のあるAI……
知っている人は知っている……
そう、そのAIはClaudeです！
私の場合、ChatGPTやGeminiに比べると使用頻度はめちゃめちゃ低かったClaude…
いやだって、すぐトークンが切れて使えなくなるから、無料でも比較的長く使えるChatGPTやGeminiになっちゃうんですよね笑
でも、ChatGPTやGeminiに比べると日本語は上手いんですよ笑
そんな訳でClaudeがおそらく1番いいプロンプトを書いてくれるのではないかと思ったんです笑
でもしばらくGemini書いてもらったプロンプトでモデルを昼頃から翌日の朝までぶっ通しでいじり倒していました笑
ああ…これアカンやつや…AI沼にハマってもうた……
もう抜けられないかも……
多分これで、夜更かしの日々を送ることになるに違いない…
そんなことを思いながらボーっとしていると、あることを閃きます。
「どうせハマってしまうならブログにしちゃえ！」です笑
ただ1人でAI沼にハマっているじゃ勿体ないじゃないですか？
AI沼をブログにして収…いや、読んでくれる人を楽しませるっていう方がいいじゃないですか笑
そう決心して、ローカルLLMをブログにしたいとClaudeに相談すると、彼（Claude）は編集長を買って出てくれたって訳です笑
次回、Claude AI編集長と一緒にブログを作っていく。お楽しみに！
ちなみにこの記事、Claude AI編集長に添削してもらってます笑
