ローカルAIにはクラウドAIに比べて、情報が外に漏れにくいというメリットがあります。
そこで今回は、家計管理という、あまり外に知られたくないお金の管理をローカルAIでやってみる実験です。
コンピュータなんだから計算は得意なはず。そう思いますよね。僕も思ってました。
はたして、個人のPCで動く小規模なローカルAI(Swallow 8B)は、正確に計算してくれるのでしょうか?
実際に買ってきた商品と価格を入力して、集計させてみることにしました。
まず5品で実験→誤差80円 …
そうちゃんまずはスーパーで食料品を5品買ってきました。
1.おはぎ 223円
2.たまごサンド 185円
3.ミートボール 149円
4.おにぎり 98円
5.バターピーナッツ 98円
そうちゃん先に電卓で計算すると合計は753円。
Claude編集長にも計算してもらいます。
編集長（Claude）私の計算でも753円になりました。
これが正解でしょう。
この5品をSwallowに渡して、合計金額を出してもらいます。ちなみに今回はSwallowの素の計算力を見たいので、システムプロンプトは無しです。
結果がこちら…
Swallowの答えは673円！
ってあれ？80円足りない…
たったの5品、しかも簡単な足し算なんですが…(^^;
しかも面白いのが、計算式(223+185+149+98+98)自体は正しく書けているんです。
式は合ってるのに、答えだけ間違えているなんて笑
たった5品でこれか…と思いつつ、ここで一つ疑問が湧きました。
品数が増えたら、誤差はどうなるんでしょう？
というわけで、新たに5品買い足してきました。
6.ヨーグルト 193円
7.しらたき 73円
8.ブロッコリー 278円
9.鶏むね肉 330円
10.カップみそ汁 135円
そうちゃん 最初の5品と合わせて10品。
電卓で計算すると合計は1,762円です。
編集長（Claude） 私も検算しました。
1,762円で間違いありません。
これをまた新規チャットでSwallowに計算させます。
前の会話が残っていると影響するかもしれないので、毎回まっさらな状態にします。
結果がこちら…
Swallowの答えは2,283円。
誤差、521円！∑(ﾟДﾟ)
5品のときは80円だったのに、一気に広がりました…
編集長（Claude）しかも5品のときは実際より少なく、今回は実際より多く間違えていますね。誤差の方向に一貫性がない…
そうちゃんほんとだ…
誤差の方向がバラバラですね。
そして今回も、計算式自体は正しく書けていますね。
せっかく式はちゃんと書けているのに、答えだけ大間違いだなんて笑
こうなると気になりますよね。
さらに5品増やしたら、どうなるんでしょう？
さらに5品、買い足してきました。
11.お掃除シート(フローリング) 89円
12.お掃除シート(レンジ・冷蔵庫) 89円
13.ボディーシート 299円
14.クリニカトラベルセット 270円
15.抗菌ウレタンスポンジ 148円
今回は食品ではなく日用品を買ってきました。全部で15品になります。
そうちゃん電卓での計算は2,657円です。
[Claude編集長] 検算しました。2,657円で合っています。
編集長（Claude）検算しました。
2,657円で合っています。
手順はおなじみの、新規チャット、システムプロンプトなしでSwallowに投げます。
その結果がこちら！
Swallowの答えは1,800円でした。
ってあれ？誤差、857円……
5品で80円、10品で521円、15品で857円。
品数が増えるほど、誤差がどんどん広がっていきます…(^^;
そして今回は実際より857円も少ない答え。
10品のときは多めに間違えたのに、また少なめに戻りました。
誤差の方向、ほんとにバラバラです笑
もちろん今回も、計算式だけは完璧に書けていました。なのに計算が笑
3回の結果をまとめてみた
ここでClaude編集長に3回の実験結果を表にまとめてもらいました。
こうして並べると、品数が増えるほど誤差が広がっているのがよく分かりますね(^^;
そして誤差の方向は、足りない→多い→足りないとバラバラ。
多めに間違えるクセがあるとか、そういう傾向もありませんね笑
もしかすると、もう5品加えると誤差はプラスになったりして…笑
わかったこと
今回の実験でわかったことは2つです。
ひとつ目：Swallowは計算式を作るのは得意なのに、その式を計算するのは苦手ということ。
おそらく他のモデルも計算は苦手だったりするかも…
3回とも、式は完璧に書けていました。「223+185+149+…」と、渡した価格を一つも間違えずに並べている。
なのに、その式の答えだけが毎回違う。
人間だと「式さえ立てられれば、あとは計算するだけ」ですが、AIはどうやらそうではないようですね。
ふたつ目：品数が増えるほど、誤差も大きくなるということ。
5品で80円、10品で521円、15品で857円。
この調子だと、1ヶ月分の家計簿をまとめて渡したらとんでもない誤差になりそうです笑
結論。ローカルAIに計算を丸投げしてはいけない
今回の実験の結論はシンプルです。
ローカルAIに計算を丸投げしてはいけない笑
いや、計算を得意とするモデルもあるかもしれません。
家計管理に使うなら、AIの計算結果を信じる前に、必ず電卓で検算する。
でもそれって、最初からAIじゃなく電卓で計算すればいい話なんですよね笑
じゃあローカルAIは家計管理にまったく使えないのかというと、そうとも言い切れません。
計算は自分で電卓打って、買ったものの分類や記録の整理はAIに任せる。
そういう役割分担なら可能性はありそうです。
いっそのことAIに家計管理ソフトを作らせるのがいいかも (*ノ・ω・）ノオオオオォォォォ
次回予告
次回は、僕が今使っている古いグラフィックボード(GTX 980Ti)で、どのくらいの大きさのモデルまで動かせるのかに挑戦してみます！
実は近々、グラフィックボードを新しくする予定がありまして。
その前に、今の環境でどこまでできるのかをしっかり記録しておこうという企画です。
お楽しみに！
