GPUメモリ4GBã‚ã‚Œã°GPT-oss 20BãŒ14tok/secã§å‹•ã - ãã—ã ã®Hatenallama.cppã«MoEã«é©ã—ãŸCPU/GPUã®æŒ¯ã‚Šåˆ†ã‘ã®ã‚ªãƒ—ションãŒå…¥ã£ã¦ã€LM Studioã§ã‚‚ãã®ã‚ªãƒ—ションã«å¯¾å¿œã—ãŸã“ã¨ã«ã‚ˆã£ã¦ã€MoEモデルã§ã‚ã‚‹GPT-ossãŒå°‘ãªã„GPUメモリã§ã‚‚ãã‚Œãªã‚Šã«å‹•ãよã†ã«ãªã‚Šã¾ã—ãŸã€‚拡大ã™ã‚‹ã¨ã‚ã‹ã‚Šã¾ã™ãŒã€LM Studioã®å³ä¸‹ã®è¡¨ç¤ºã«ã‚ˆã‚‹ã¨ã€ãƒ¡ã‚¤ãƒ³ãƒ¡ãƒ¢ãƒªã¯12GBãらã„使ã„ã¾ã™ã€‚ 14tok/sec出ã¦ã„ã¾ã™ã€‚ CPUã ã‘ã§å‹•ã‹ã™ã¨10tok/secã ã£ãŸã®ã§ã€5割マシã§ã™ã。 0.3.23.0ã«ã€ŒForce Model Expert weight onto CPUã€ã¨ã„ã†ã‚¹ã‚¤ãƒƒãƒãŒå…¥ã£ã¦ã„ã‚‹ã®ã§ã€ã“れをOnã«ã™ã‚‹ã¨Expertã®ã‚¦ã‚§ã‚¤ãƒˆãŒã™ã¹ã¦CPUã«ä¹—るよã†ã«ãªã‚Šã¾ã™ã€‚アテンションã¯GPUã§ã€‚ 詳ã—ãã¯ãƒªãƒªãƒ¼ã‚¹ãƒŽãƒ¼ãƒˆã«ã‚ã‚Šã¾ã™ãŒã€llama.cppã®--n-cpu-moeã®ä»•çµ„ã¿ã‚’使ã£ã¦ã‚‹ã¨ã®ã“ã¨ã€‚ https://lmstudio.a
ビデオカードã®ãƒ¡ãƒ¢ãƒªãŒå¢—è¨ã§ããªã„ç†ç”±ã«ã¤ã„ã¦ã€æ˜”ã“ã®æ¥ç•Œã«é–¢ã‚ã£ãŸ..
Google Colab ã§ã€ãŠæ‰‹è»½ Text-to-Image
{{#tags}}- {{label}}
{{/tags}}