LMStudioでLlama4 Scout-MLX-4bit版にこないだ書いた同人誌(5万字)を与えて「各章100文字で要約しろ」と言ったらローカルでこんな要約ができた。

MacBookPro M4(128GB)を使用

第一章：ローカルLLM革命 - Mac Studio 512GBが切り拓く新時代

2025年上半期、AI技術の進化でローカルLLMが注目され始めた。特にAppleのMac Studio 512GBは、クラウドに頼らず個人で高性能LLMを実行可能にする象徴的な存在だ。これにより、プライバシーを確保しながらAIを利用する新しいパラダイムが現実のものとなった。

第二章：ローカルLLMと動画生成AI

ローカルLLMの進化に伴い、個人でも高性能なAIモデルを手軽に実行できるようになった。同時に動画生成AIの技術も進化し、誰でもアイデアを元に動画を作成できるようになった。これらの技術は創造性を飛躍的に高め、個人の手元で高度なAIを実行する新しい時代を切り開いている。

第三章：大規模コンテキストLLMとインコンテキストラーニング

Claude4、OpenAIのo4、Google Geminiが100万トークン以上のコンテキスト長を実現し、インコンテキストラーニングが主流となった。これによりLLMに大量の情報を一度に処理させ、文脈を理解した上で推論することが可能になり、複雑なタスクや長大なドキュメントの処理が容易になった。

第四章：注目すべきその他の技術動向

ローカルLLM、動画生成AI、超長文脈LLM以外にも、エージェント技術、3D生成、マルチモーダルAI、音声関連技術、プログラミング支援AIなど多様な分野で進展が見られた。これらの技術は互いに連携し合い、AIの応用範囲を広げている。

第五章：AI開発と社会 - 課題と展望

AIの急速な進化は社会構造に大きな影響を与える可能性を持ち、克服すべき課題も浮き彫りになった。オープンソースとクローズドソースの動向、AI倫理、著作権問題、AIチップ開発競争と規制、そしてAIが雇用に与える影響などが重要テーマとなっている。これらの課題に対処し、AIの恩恵を享受しながらリスクを管理することが求められている。

おわりに

2025年上半期は、AIがよりパーソナルに、よりクリエイティブに、そしてよりインテリジェントに進化した半年間だった。AIと共に自らの知性と創造性を拡張し、これまで誰も見たことのないネクストステージへと足を踏み入れようとしている。その興奮と期待を胸に、新たな価値の創造に貢献していきたい。

完璧やん。
これより先は50歩100歩。もはや誤差でしかないし、与えるプロンプトの方が重要になりそうだ。

ちなみにデフォルトだと長い文章与えるとエラー出てへこたれるので先に設定画面でContext Lengthを目一杯でかくしておくこと

狂ってるね。こんなのローカルで動いちゃうんじゃ。しかも100万円でお釣りが来るノートパソコンで。

みんなは知らないかもしれないけど、昔はGPU搭載したノートPCって70万円くらいした。俺は仕事でMicrosoftHQに70万円のノートPCを2台買えと言ったら買ってくれた。けど、レドモンドのエグゼクティブに嫌味の一つくらいは言われた。「なぜそんな高価なPCが必要なんだ?」と。

今、その時と同じスペックのPCは売ってない。その時のPCの100倍高性能なPCが5万円で買える。技術とは常にそういうものなのだ。

つい去年までは、まともに日本語で機能するLLMはクラウドの向こう側、ネットの向こうの情報発電所(AIこそこう呼ぶべきではないか?)にしかあり得なかった。

それが今日はカバンに入れて持ち運べる。512GBもメモリいらなかった。どうやら128GBで充分みたいだ。

256GBのMacStudioなら90万円で買える。M4 Maxでよければ60万円で買える。ラクショーじゃんかよ!

サーバーだと考えたら破格の安さ。このサイズなら4Uラックに2,3台入りそう。

そういうわけで、LLM競争にはそろそろピリオドが入りそう。
少し前に、ILSVRCの画像認識タスクの精度を競ってたけど、気がついたら中国のよくわかんない会社しか競わなくなった。実タスクとかけ離れてて精度を上げても意味がないことにみんな気付いたから。

LLMの実用的な応用は目下のところコーディングだけど、それも時間の問題なんじゃないかな。いやマジでね。今、書かせるコードを考える方が大変だから