FreeAIの仲間である川崎くんがスタンフォードの人間中心AI研究所(HAI)のレポートをAIに分析させたものを読んでくれというので日本在住の技術者視点で読んだ。400ページもあるもとの英語レポートを読んだわけじゃないのでAIによるハルシネーションがそもそもある可能性があることを注意しておく。

各章についての感想と、違和感を感じた部分をまとめて書いておく。
基本的に社内向け文章なので、そうでない人が読んで参考になるかどうかはわからない。

タイトルと要約は川崎レポートから引用。気になる人は本文を読んだ上で答え合わせ的に読んでいただけると。

第1章：生成AIと小型モデル時代の到来

要約

OpenAIやGoogle DeepMindによる大型モデル競争の陰で、2024年は“小型で高性能な生成AI”の台頭が鮮明になった。特にMistralやPhi-3-miniといった数十億パラメータ規模の軽量モデルが、クローズドモデルに迫る性能を達成。これにより、資金や計算資源が限られたスタートアップでも、独自LLMエージェントやSaaSへの組み込みが現実的となり、「垂直特化LLM」の潮流が本格化した。

shi3zコメント

大筋は間違っていないが、このレポートの作者はベンチマークの数字ばかり見て実際に触っていないことがよくわかる。Phi3-miniの性能はクローズドモデルに「迫っている」ようにベンチマーク上は見えるが、実際の使用、特に日本語環境での実用性には疑問が残る。もちろん、スタンフォードのレポートだから英語環境での使用感をベースにしていると思うが、ChatGPTなどのクローズドモデルは多国語性能が素晴らしく、単に英語以外を手抜きすれば小さいモデルでも性能が上がったとも受け取れる。

また、実用的に使う場合に重要な指標となるコンテキスト長についての考察や実際の使用レポートがなく、さわりもしないで想像だけで書いてるんだなという印象。Phi-3とかPhi-4とかよりはもっと言及すべきオープンウェイトモデルはたくさんある(まあでも2024年の定点観測だからな)。