VRAM6GBでGemma 4 E4Bは動くのか?980Ti最後の検証【#9】

グラボを交換する直前になって思い出しました!
Gemma 4にはE2Bと12Bの間に、もう一つモデルがあったことを笑

でも今PCの電源を抜き、キーボードやマウスなどPC本体に接続していた機器を取り外したばかり…

そして今手にしているのは、これから交換する新しいグラボRTX5060Ti 16GB…

もうワクワクしているところで思い出すなんて(;¬д¬)

「交換してからでいっか!」

そう思ったものの、VRAM6GBでE4Bは使えるのか?ちょっと心残りではある…

やり残した気がして、なにかムズムズする…

10分くらい考えたすえ、PC本体から取り外した機器や電源を取付直して、またPCのスイッチを入れるのであった笑

というわけで、これがGTX980Ti最後の検証になります。

目次

Gemma 4 E4Bってなに?

E4BはE2Bと12Bの中間にあるモデルです。

今回使ったQ4_K_Mのファイルサイズは5.89GB。数字だけならVRAM6GBギリギリです。

E4Bだから4Bと思われがちなのですが、実効4.5B・埋め込みを含めると8Bです。僕が使っているLM Studioでは7.5Bと表示される、約8BクラスのローカルAIになります。

今までメインに使ってきた「Llama-3.1-Swallow-8B-Instruct-v0.3」に近いクラスになりますね。

Gemma 4 シリーズは全モデルがマルチモーダルで、文字だけでなく画像も認識できるんです(・∀・)イイ 

さらにE4Bは音声にも対応しています。動画は1秒1コマの静止画として読み込む方式だそうです。

ちなみに、Gemma 4の学習データは2025年1月がカットオフ(AIが学習した情報の期限)だそうです。

もう1年以上前で知識が止まっています。ネット検索をしないローカルAIでは、時間が経つにつれて情報が古くなっていくのが弱点ですね。

そういえば、#3でLlama-3.1-Swallow-8Bが古いコンビニの商品名を出してきた話がありました。

ベースになったLlama 3.1は2023年12月までのデータで学習されています。古い商品名が出てきたのも、こうした情報の古さが関係していたのかもしれませんね。

なるほど…(´-ω-`)

E4BをVRAM6GBにロードした結果

そうちゃん

まずはロード時のメモリ変化です。今回はGPUオフロードの画像もどうぞ。オフロード値は自動です。



編集長(Claude)

意外なのはVRAMです。GPUオフロード28という攻めた設定なのに、3.9GBしか使っていません。2GB以上余ってますね。


編集長(Claude)

代わりにRAMが5.5GB増えています。実用枠の5モデルは最大でも1.5GBでしたし、12Bや14Bは8GB超え。ちょうど中間の数字ですね。E2Bと並べてみると面白いですよ。



編集長(Claude)

VRAM使用量はほぼ同じなのに、E2Bは共有GPUメモリを2.3GB使っていて、E4Bは0.1GBだけ。一方で、E4BはRAMが5.5GB増えています。GPUに載せなかった一部がRAM側に置かれていると考えられますが、詳しい内訳までは分かりません。


編集長(Claude)

前回の12Bは自動27で止まったのに、E4Bは自動28で動いています。同じ数字でも1レイヤーあたりの重さが違うので、オフロード値だけでは単純に比べられないようですね。


日本の都道府県テスト

そうちゃん

都道府県の質問結果です。

速度10.72トークン/秒

そうちゃん

E2Bよりすんなり全部答えるのかと思いきや…何度も書き直しているので不安になりながら見ていました笑


そうちゃん

E2Bが良かったので期待していたのですがこれにはちょっと驚きました。


編集長(Claude)

2380トークン。E2Bの789トークン、12Bの624トークンと比べて3~4倍の分量です。なぜそんなに長いのか。4回書き直しているからです。


1回目:地方別リスト

北陸に新潟を入れたり、岡山を関西と中国の両方に書いて「※重複のため記載不要ですが」と自分で注記しています。

2回目:まとめ47都道府県

番号を振り直したのに40番で力尽きる。「上記に含まれていますが、再度記載」の他、1つの番号に複数の県を詰め込んだり、「大変失礼しました」と謝罪付き。

3回目:訂正と再確認

重複や抜け落ちがあり大変失礼いたしました」と仕切り直し。山梨・長野に「←追加すべきでした」と注記する几帳面さを見せつつ、13番が「東京特別都」という存在しない自治体に。そして45番で終了…

4回目:最終チェック→最終確定リスト

抜けを特定して、ようやく47個を正しく書き出すことに成功!「このリストが最も正確です」で締め。

評価

E2Bは1回の仕切り直しで47都道府県を書き出せたのに対して、E4Bは4回もやり直していました。最後はちゃんと正解にたどり着いてほっとしました笑

Gemma 4シリーズは正解を導くまでの粘り強さが印象的でした。

47都道府県を完全に書き出せたのは、これまでのテストでE2B・E4B・12Bの3つだけ。全部Gemma 4シリーズです!正解にたどり着くまでの粘り強さは、このシリーズの特徴かもしれませんね。

ただ、今回はE4Bに2380トークン分待たされた分、体感的に遅く感じるという結果になりましたが…(^^;

もしかするとE2Bは今回たまたま1回の仕切り直しで済んだだけかもしれませんね。

またテストすると今度はE4Bが1回で正しく書き出すかもしれませんし、E2Bが何回も仕切り直してトークンを多く消費するかもしれません。

今回のテストは全て1回きりのものです。
本当は何度もテストして平均を取るのが理想なのですが、そこまでやると記事がとんでもないことになってしまいます笑


あくまで参考程度に見て貰えたらと思います。

コンビニで買える太りにくい食材テスト

そうちゃん

コンビニ食材の結果です。

速度9.72トークン/秒

文句なしの結果ですね!

そうちゃん

最初に食材を選ぶポイントが書かれていますね。これコンビニだけじゃなく食品を買うならどんな店でも参考になりますね。


編集長(Claude)

『高タンパク質・低脂質・食物繊維が豊富で、血糖値が上がりにくいもの』という基準を、個別の食材を挙げる前に示しているんですね。これは12Bもやっていませんでした。


そうちゃん

特にドレッシングには注意すべきだと思いました。あの甘味でサラダが食べやすく、美味しくなりますからね。僕も付属だけでなく個別で買ったドレッシングを持ち出して、ついついたくさんかけてしまいますね。あれ罠だったんですね…


その他に、

免責が的確
「商品の栄養成分は店舗や時期によって異なるため、必ず裏面のラベルを確認してください」って#3で僕が商品名の古さに困惑したことを、先回りで回避する一文です。

具体性が実用レベル
・ドレッシングの代わりに「ポン酢・お酢+塩コショウ」

・おにぎりの具材は「梅・昆布」

・ナッツは「小袋=適量」

・サラダチキンは「プレーンタイプが最も脂肪分が少ない傾向」

「罠」食材のセクション
菓子パン、甘い飲み物、タレたっぷりの惣菜。「液体カロリーは気づかないうちに摂取」という指摘も的確です。しかも僕は、菓子パンもスナックも大好きなんですよね…(^^;

結局…

「どれだけヘルシーな食材を選んでも、食べ過ぎれば太ります」って身も蓋もないですが、これが一番大事なことなんですね。

GTX 980 Ti(VRAM6GB)で試した全モデル

そうちゃん

980Ti最後の検証なので、これまで試した8モデルを編集長にまとめてもらいました。


※VRAM使用量はロード後の合計です。ロード前からOSなどが0.5~0.8GB使っているため、モデルに使われた量は差し引いたおおよその値です。

47都道府県を全部答えられたのは3つだけ

全部答えたモデルは、E2B、E4B、12B、これ全部Gemma 4シリーズですね。日本語特化のSwallow 8Bは惜しくも46個止まりでした。

今回の結果では、ファイルサイズとVRAM使用量は比例しませんでした

一番小さいQwen3-1.7Bが2.9GB使う一方で、5.89GBのE4Bは3.9GBしか使っていません。LM StudioのGPUオフロード自動設定によって、VRAMに載せる量がモデルごとに変わっていたためですね。

ちなみに、モデルのファイルサイズより実際のVRAM使用量が大きくなることがあります。VRAMにはAI本体だけでなく、チャット内容を保持する領域や処理用の作業スペースも必要になるからです。

編集長(Claude)

#8で12Bが途中で止まったのも、VRAMをギリギリまで使ってしまい、作業用の余裕が足りなかった可能性がありますね。


今回の環境では、5GB前後から速度が落ちました

5GB未満のモデルは10トークン/秒以上出ていますが、それを超えると10トークン/秒前後まで落ちて、7.5GBを超えると4トークン/秒台まで遅くなりました。モデルの一部をRAM(メインメモリ)側に置いたGPUオフロードの影響が大きそうです。ただし、速度はモデルの設計などでも変わるので、5GBだけが原因とは言い切れません。

VRAM6GBで選ぶなら…

これまでのテストを踏まえた結果、選ぶなら……

Gemma 4E2Bを選びます!(・∀・)

理由は、今回試したE2B・E4B・12Bは、どれも日本語が自然でした。そしてE2Bの20トークン台/秒の速度、小型とは思えない賢さ、画像や音声を認識できるマルチモーダル。特に画像を認識できるのは強い!

E4Bと違ってVRAM使用量にもまだ余裕があるので、画像を認識させる使い方でも余力がありそうです。でもこれはまだ試したことがないので、あくまでも予測になりますが…

以上のことから6GBでのメインモデルはGemma 4E2Bになります。

ただ、E4Bも10トークン/秒と速くはないものの、実用的に使えるのでE2Bで物足りない部分を補うためにサブとして使いたいところです。

11年前のグラボでもモデルさえ選べばまだまだ使えるんですね。GTX980Ti 今までお疲れさまでした。

次回予告

次回は遂に新しいグラボに交換して12B、14Bはもちろんのこと、さらに20B級以上のモデルも検証していきます!

新グラボRTX5060Ti 16GBってどこまで使えるのか?

次回もお楽しみに!

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

この記事を書いた人

目次