timetraintimetrain のブックマーク 2025/08/17 14:08

その他

このブックマークにはスターがありません。
最初のスターをつけてみよう!

GPUメモリ4GBあればGPT-oss 20Bが14tok/secで動く - きしだのHatena

    llama.cppにMoEに適したCPU/GPUの振り分けのオプションが入って、LM Studioでもそのオプションに対応したことによって、MoEモデルであるGPT-ossが少ないGPUメモリでもそれなりに動くようになりました。拡大すると...

    \ コメントが サクサク読める アプリです /

    • App Storeからダウンロード
    • Google Playで手に入れよう