  |
何いってんだ？
ローカルLLM使えばいいじゃん。ローカルLLMだからインターネット接続不要、情報が外部に漏れることが原理的に起こり得ない。
delphiとか過去の技術の話なんだから、新しい情報は不要。インターネットを検索する必要もない。
現時点の学習済みモデルなり、テキストとかマニュアルをあらかじめ全部ローカルに置くだけでAIは機能するぞ。
性能に関しても、nVIdiaのH100程度のサーバ用意すれば、oss-gpt で150tokens/secぐらいでる。 150tokens/secだよ？どれくらいすごいか判る？
これで chat GPT 3.5よりは賢く、コーディングぐらいなら普通に実用レベルのシステムが手に入る。
ポンコツ社員を一人リストラして、代わりにH100サーバを導入すれば電気代込でも半年で元が取れるぞ。
俺はH100４台買ってAIぶん回してる。すでに社員10人ぐらいの投資効果が出ている。これが今のAIの世界だし、これからの世界のあり方だ。
15
