Qwen– tag –

前回はVRAM6GBに収まる5つのモデルをテストしてみました。 AIのサイズが上がるにつれて速度が落ちていき、8BのSwallowでは9トークン/秒まで下がりましたが、僕的には実用に支障を感じるほどではありませんでした。 そこで今回は、VRAM6GBには収まらないサ...

ローカルLLMを自分のPCで動かしてみたい！と興味を持ってみたものの、気になるのが「どんなPCで動くのか」ではないでしょうか。 今使っているPCでそのまま始められるのか？どの性能が重要なのか？買い換えやパーツ交換は必要なのか？ GPUを使ってローカルL...