限界突破枠– tag –

前回はVRAM6GBに収まる5つのモデルをテストしてみました。 AIのサイズが上がるにつれて速度が落ちていき、8BのSwallowでは9トークン/秒まで下がりましたが、僕的には実用に支障を感じるほどではありませんでした。 そこで今回は、VRAM6GBには収まらないサ...