  |
はてなキーワード: 機械学習とは
推薦システムを作ってると、ふと機械学習って本当に必要か？と疑問に思う瞬間がある。
たとえばユーザーをいくつかのグループに分けるだろう。そして各グループがどんな属性のアイテムをクリックするのかを見ていく。
すると、実はそのクリック分布を眺めるだけで、ユーザーの行動領域なんてほぼ特定できてしまうんだよな。
つまり、ユーザー×アイテムの関係性は、結局データベースの設計レベルで決まってしまう。
結合の仕方や属性の粒度をどう設計するかのほうが支配的で、クリック履歴をわざわざ機械学習モデルに食わせて学習させる意味は、想像以上に小さい。
仮に機械学習が役立つとすれば、それはユーザーやアイテムの未知属性を推定するような補完的な部分だけなんだよ。
たとえば年齢層が不明なユーザーに対して、クリック傾向から年代を推測するとか、アイテムの特徴を自動抽出するとか。
けどそれは、推薦の核心ではない。推薦の本質はクリックさせることにある。
そしてその瞬間、重要なのはアルゴリズムじゃなく、デザインや文言、つまり心理的なトリガーなんだ。ボタンの色ひとつ、コピーの一文ひとつでCTRなんて平気で変わる。
クリック率を上げるって話になると、もはやエンジニアリングの領域じゃなくて心理設計の領域なんだよ。
だからプログラマーの俺がどれだけアルゴリズムを磨いたところで、根本的な改善にはならない。
A/Bテストで調整する手もあるけど、それも何度も繰り返せばユーザーは離脱する。
つまり、理屈の上でどんなに精巧なモデルを作っても、現実の行動を左右するのは心の動きであって、数式じゃない。
そう思うと、機械学習の出番って案外、思われてるよりもずっと狭いんだよな。
元増田です。この記事は手羽先氏本人に向けてというよりは、「若者が少人数で国産LLMすげぇ！！」って手羽先氏を持ち上げている人に向けて書いています。ご本人については、何を書いてもまともに読むつもりはなさそうなので特にコメントはありません。
「自分は素人だからよくわからないけど、手羽先って人はなんだかすごいことをしているみたいだぞ！」と思って持ち上げている人、あなたのその行為は本当に本人のためになっていると断言できますか。
彼が今やっている国産LLMに向けての研究が実を結ぶ可能性が低いことは、本人もわかっていることでしょう。私は別に、可能性が低いからチャレンジするべきではないと言いたいわけではありません。困難に果敢にチャレンジするからこそ、そこで失敗しても得られるものはたくさんあるでしょう。とは言え、困難にチャレンジしさえすれば、無条件で失敗から有益な教訓が出てくるわけではありません。失敗から教訓を得るための必要十分条件みたいなものが存在するのかは私にもよくわかりませんが、少なくとも、自分がなににチャレンジしていて、なにができれば成果であると言えるかを理解していなければ、チャレンジとして成立すらしないでしょう。MNISTの分類精度が90%を超えた、はどこをどうひっくり返しても2025年に素晴らしい成果とは呼べないですし、「い」「よ」「し」で構成される文を生成して「ついに自然言語生成に成功！」に至っては自然言語処理の人からは「まず自然言語の定義を調べましょう」と突っ込まれても仕方がないでしょう。
こんな状態にしてしまった責任の一端は、無責任に持ち上げた人々にもあります。AIや機械学習がわかる、わからないの問題ではなく、私が元記事で指摘した内容の大半は、普通の常識があれば理解できることですし、「い」「よ」「し」で構成される文を生成して「ついに自然言語生成に成功！」についてもそうです。問題から目をそらして「すごいチャレンジだ、応援します！」とやってしまうのは、本人のためになりません。
こんなところで多少駄文を連ねたところで世の中が変わるとも思えませんが、物事の行く末に思いを馳せ、やるせない気持ちになったので。
本日発表された「生成AI時代の創作と権利のあり方に関する共同声明」は、表面上は高尚な倫理を装いながら、実際には旧来の出版・映像業界が自らの利権と支配を維持するために発した時代錯誤の自己防衛声明にすぎません。文化の担い手を名乗りながら、彼らは文化を盾にして独占し、創作の自由を自らの縄張りに囲い込もうとしています。AIという新たな知的基盤を「脅威」と決めつけ、法律や科学的事実を踏みにじってまで、自分たちの都合に合わせた“新しい原則”を作り出そうとする姿勢は、文化の発展を自ら人質に取る行為と言わざるを得ません。
声明で繰り返される「オプトイン原則」なる主張は、法的根拠のない作り話にすぎません。日本の著作権法第30条の4は、情報解析、すなわち機械学習を適法な行為として明確に認めています。これは国会で正式に審議され、国際的にも承認された条文です。それをあたかも存在しないかのように無視し、独自の“原則”をでっち上げているのは、法の支配を自分たちの感情で上書きしようとする行為にほかなりません。法治国家の根幹を軽んじるこうした態度こそ、社会にとって最大の脅威です。
声明では「WIPO著作権条約の原則にも反する」との一文が見られますが、これは国際法を理解していないか、あるいは意図的に誤解させる表現です。WIPO著作権条約第10条は、各国が技術革新との調和を図るために例外を設けることを明確に認めています。日本の著作権法第30条の4は、その条項に基づく正当な立法です。にもかかわらず、これを「国際的に反する」と断じるのは、国際法の権威を自らの商業的利益のために悪用する詭弁にすぎません。法を装いながら法を捻じ曲げる態度は、文化への裏切りです。
声明が要求する「学習データの透明性」は、AI技術の基本構造を理解していない人々の発想です。生成AIは著作物を丸ごと保存しているわけではなく、膨大な情報を数学的に抽象化して学習しています。どの作品を学習したのかを特定することは、理論的にも不可能です。にもかかわらず、それを“透明性”という美辞麗句で求めるのは、AI研究を停止させるための方便に見えます。理解できない技術を「危険」と断じて封じ込めようとする態度は、科学の否定であり、知の進歩への挑戦です。
著作権法第1条は、「著作物の公正な利用を通じて文化の発展に寄与する」ことを目的としています。声明はこの理念を真っ向から踏みにじり、創作の自由を業界の利権で縛りつけようとしています。もし学習をすべて許諾制にすれば、日本のAI研究は立ち行かなくなり、創作者自身もAI支援という新しい表現手段を奪われるでしょう。つまり、彼らは「創作者を守る」と言いながら、実際には創作の未来を殺そうとしているのです。
声明全体に共通するのは、「自分たちだけが正義である」という思い込みです。AIに学習されることを「搾取」と呼びながら、彼ら自身は長年、他人の文化を引用し、再構成してきました。著作物の「利用」は自分たちの権利であり、AIの「利用」は侵害だという二重基準は、もはや論理ではなく自己保身のための感情論です。著作権を対価交渉の武器に変え、創作の自由を締めつける構図は、文化産業ではなく利権産業の姿です。
7．未来に向けて
AIは人間の創造性を奪うものではなく、拡張するものです。学習を犯罪扱いし、技術革新を恐れ、自由な発想を封じることこそ、文化への裏切りです。私たちは、旧来の特権構造に縛られた声ではなく、法と科学と自由の原理を信じる社会の声を支持します。AIと人間の創造性は対立するものではなく、共に進むべき文明の両輪です。文化を守るとは、未来を拒むことではなく、未来に開かれることです。
【発出者】
去年の春、僕は東京の小さなWeb制作会社でフロントエンドエンジニアとして働いていた。
入社して3年目、ようやく後輩もできて、上司にも「次のリーダー候補だな」なんて言われていた。
でも、あれはChatGPTのAPIを社内に導入した直後のことだった。
## ある日、突然の“置き換え”
昼休みに同僚のケンタがノートPCを見せてきた。画面には、僕が午前中に組んでいたUIとほとんど同じデザインが、一瞬で生成されていた。
その時はまだ笑っていられた。
でも1か月後、上司に呼ばれた会議室で「業務の自動化に伴って、再配置を検討している」と告げられた。
再配置なんて言葉は、聞こえは柔らかいけど実質リストラの前触れだ。
## 抜け殻になった1か月
失業保険の申請に行ったハローワークの待合室で、隣に座っていた女性も言っていた。
> 「AIにシナリオ作られて、私のライターの仕事なくなっちゃって。」
その時、初めて気づいた。僕だけじゃない。
一日中スマホで求人を見ても、「AIスキル必須」「Python経験者歓迎」の文字が並ぶ。
皮肉な話だと思った。
## それでも、学び直す決意
「手打ちのコードなんてもう時代遅れか」と思いながらも、画面の端に表示された自分の名前を見て、なぜか涙が出た。
“人間が作る”ということの価値を、もう一度取り戻したいと思った。
AIに勝とうなんて思っていない。
現状のPixivはAIによる粗製濫造に侵されている。いや、AI投稿作品は棲み分けされてるでしょ？と思うかもしれないが、普通に「AI生成作品」にチェックを入れずに投稿されているにも関わらず、その実AIのポンだしというものが少なくない。というかかなり多い。
※ここでいうイラストとは少なくともAIによるポン出しは含めない
これは我々がインターネットをする上で心情としている「嫌なら見るな」に反するものだ。嫌なのに見せつけられている例のAAのような状況だ。
これは（AI絵を投稿するユーザー以外の）全てのユーザーにとって不利益だ。ではなぜPixivは厳格に規制せずユーザーのモラルに甘える（と言っても崩壊しているのだが）態度を貫くのか。
現状のAI絵はわかりやすい。t2iかi2iのポン出しか、良くて微修正したくらいだ。細部を見れば溶けている画像は絵というより絵っぽいものだ。
いわゆる「AI絵師」を自称する人にはそれなりの主張があるかもしれないが、描くという工程を得ていない画像はイラストとも言えない出来のものだ。
まぁそういう絵を規制するのは簡単だ。「下絵すら描かずにAIで作成した作品はAI生成作品とします。AI生成作品は投稿しないでください」とするだけでいい。
じゃあ「下絵（線画）は自分で描きました。塗りはAIに任せました」という作品はどうなるのだろうか。まぁこれも塗りという一番厄介な工程をすっ飛ばしてるのでAI生成作品に含まれるかもしれない。
少なくとも全ての工程で手描きしてる絵師からすれば自分と同じ列に同じ作品として展示されるのは「ふざけんな」と思うだろう。
じゃあ定義を広げて「作成過程における大半をAIに依存して作成した作品をAI生成作品とする」という基準に改める。…というかこれが現状のPixivの規制なのだが。
まぁこんな曖昧な基準じゃ「いや、t2i/i2iで画像を生成するのもプロンプトという技術とガチャという試行錯誤が必要で〜」と訳のわからん理屈で「手間をかけたからこれはイラスト！」という主張で投稿する奴が現れているのが現状。
じゃあやっぱり「制作過程の一瞬にでもAIが関わっていたらAI生成作品です」とすると、疑いの余地なくAIの関わりを断つことができる。できるが……
例えば「塗るといい感じに影を着色できるブラシ」とか「環境に適応していい感じに光を表現できるブラシ」というのが現れるとする。
現実的な悩ましい色の選択と難しいレイヤーの合成方法をすっ飛ばして『ビル街の中にある街路樹から漏れる淡い光を表現できるブラシを作成して』というだけで望ましいブラシと色を簡単に作成してくれるツールが現れたら？
アンチAI過激派なら「機械学習によって生成されたブラシによる着色なんて味がない」というだろう。
しかしこれから現れるAIネイティブ世代にとっては「いや、ブラシが生成されてもそれでうまく描けるかは結局力量だから」となる可能性は高い。あくまでブラシはツールで、最適解のブラシを手に入れたとして最高の絵が描けるわけではない。
というかこれは現状でも議論できる話で、例え完成品のイラストに1ピクセルも反映されていないとしても、AIによって生成された画像を参考に構図を決めたり着色してたりしてたら？
お気持ちの話をするなら「そういう楽はすべきではない、芸術とは自分の魂を込めることで手間を省いたものに魂は込められない」という人もいるかもしれない。
が、それは紙と違って簡単にRedo/Undoができるツールを使ってる人が言うべきではない。パソコンで絵を描いていない人だけが彼に石を投げなさい。
我々がコンピューターという便利なツールで描かれたイラストを当たり前に受け入れている以上、AIという便利なツールによって描かれたイラストを受け入れるのもまた時間の問題なのだ。
話を戻すとPixivがそういう「少しでもAIが関わってたらダメ！」という表明をすると、短期的にはいいが長期的にはユーザーが離れていく。
Stable Diffusionの登場はかなりの驚きだったが、既に歴史の中で似たようなことが起こってるのは承知だと思う。世界史で習ったイギリスの産業革命しかり、あるいはこの文脈でよく語られる「コンピューターが登場したことによって生まれたデジタルイラストには味がないと過去には言われていた」とかそういうのだ。
我々が今どんなに「AIはクソ」と主張しても10年後にはみんな使って当たり前のツールになっている。
想像の話だが、パソコンが生まれる前に存在していた「イラスト投稿雑誌」なるものがあったとする（※私はWindowsが生まれてから産まれているので、ガチでここら辺は私の想像）
そのイラスト投稿雑誌が「コンピューターイラストは誰でも簡単に描けて味がない！紙のイラストのみ受け入れます！」という主張をし、実践していたら簡単に時代の波に埋もれるのは想像がつくと思う。現実はパソコンで作成したイラストも受け入れる雑誌が現れて、そっちが生き残ると思う。
もちろんそれを現状のPixivにまんま当てはめることができるとは思えない。AIによるポン出し絵を投稿する人間にファンがつくとは思えない。ただ、AIを活用したブラシなどを使って描かれた絵なら、普通にファンはつくと思う。
まぁ結局、「AI絵は一律排斥しろ」というのは難しい。線引きが難しいからだ。またそうなった場合、厳格にAIを排斥するサービスは投稿者・閲覧者共に減っていくのは間違いない。
だからPixivは（現状では否定意見が多い）AIをある程度受け入れつつ、将来のAIネイティブ世代を受け入れる体制を作り続けないといけない。
そうじゃないと、AIを活用するイラストレーターがPixivから離れていくからだ（AI絵師(笑)ではなく）
そしてChatGPTから始まったAIサービスが普通の人間でも使えるようになった以上、AIに対して抵抗がある人間が減ることはあれど、増えることはない（まさしく産業革命に対するラッダイト運動のようなことは起きるかもしれないが、望むと望まないとに限らず、我々が機械に反発なく生活しているように、もはやAIを避けて生きていくのは無理なのだ……）
これが「AI絵は一律、厳格に対応しろ」と言う声にできない理由だと私は考える。もろちん、人的リソースの限界もあるだろうけど。
これはPixivに限った話じゃなくて、全ての芸術（音楽とか小説とか、あるいは動画とか）に及ぶ話だ。望むと望まないと、AIは使われてゆく……
「いや技術的な話じゃなくて、自分が描いた絵が無断で学習されて、それを使ったものが投稿されてるのが嫌なんだが」という人には『それはそう！！！！！！』と声を大にして賛同しておく。
しかし残念ながら、みんな大好きChatGPTですら著作権に対しては舐めた態度を取っている(Sora2とか…)ので、もうまじで残念ながら諦める以外の選択肢は極めて少ない。
だからこれを書いている私のスタンスは『』 もう時代の流れに身を任せて全てを諦め、そして自分の益になることは人から怒られない程度にAIから掠め取っていこう』だ。今の私の業務はChatGPTで成り立っている。
だからこの文章も別に「だからPixivはこうしろ！」とか主張するつもりはない。
「PixivはさっさとAI絵じゃないと偽ってAI絵の投稿するやつをどうにかしろ」という程度のことは常々思ってるが、それ以上のことを望むのは難しいんじゃないか、という考察をただ垂れ流しただけ。
ユーザーの行動履歴を変換したベクトル(ユーザーベクトル)は、最終的にユーザーの属性推定やターゲティング入札のための非常に強力な特徴量として利用されます。
まず、ユーザーのウェブサイトでのクリック、検索クエリ、購入履歴、動画視聴などの生の行動データは、そのままでは機械学習モデルで扱えません。これを、意味的な情報を保持した固定長の数値の並び、つまりベクトルに変換します。
得られるベクトルは、ユーザーがどのような興味や関心を持っているかを数値的に表現したものとなります。
例えば、スポーツ用品の購入が多いユーザーのベクトルと、クラシック音楽の視聴が多いユーザーのベクトルは、ベクトル空間上で大きく離れることになります。
この行動履歴ベクトルを、そのまま機械学習モデルの特徴量 (Feature)として使用します。
| 目的 | モデルの入力（特徴量） | モデルの出力（予測） |
| ユーザー属性推定 | 行動履歴ベクトル (およびその他のコンテキスト情報) | 年齢層、性別、職種、推定年収、ライフステージなど |
行動履歴ベクトルは、ユーザーの顕在的および潜在的な興味を捉えているため、これらの属性と高い相関を持つことが多く、精度の高い属性推定が可能になります。
例えば、「特定ブランドの高級車のウェブページ閲覧」という行動は「高年収」という属性と強く関連づけられるといった具合です。
推定された属性情報、またはより直接的に行動履歴ベクトル自体を、広告のターゲティングや入札ロジックに組み込みます。
推定された「若年層のエンジニア」という属性に対して、特定の採用広告の入札額を上げる。
ある商品の購入者と行動履歴ベクトルが類似しているユーザー群（Lookalike Audience）に対して、その関連商品の広告を出す。
広告オークションの際、このベクトルを特徴量として利用し、広告が表示されたときのコンバージョン確率を予測するモデル（Click-Through Rate (CTR) や Conversion Rate (CVR) 予測モデル）の精度を向上させ、最適な入札価格を決定します。
このように、行動履歴をベクトル化するプロセスは、デジタルマーケティングにおけるパーソナライゼーションと収益化の基盤となります。
フェミニズムの分類が多すぎると聞いて
記述集合論（Borel階層, Projective階層, 汎加法族）
モデル理論（型空間, o-極小, NIP, ステーブル理論）
再帰理論/計算可能性（チューリング度, 0′, 相対計算可能性）
構成主義, 直観主義, ユニバース問題, ホモトピー型理論（HoTT）
体論・ガロア理論
表現論
K-理論
初等数論（合同, 既約性判定, 二次剰余）
解析数論（ゼータ/ L-関数, 素数定理, サークル法, 篩法）
p進数論（p進解析, Iwasawa理論, Hodge–Tate）
超越論（リンドマン–ヴァイエルシュトラス, ベーカー理論）
実解析
多変数（Hartogs現象, 凸性, several complex variables）
関数解析
バナッハ/ヒルベルト空間, スペクトル理論, C*代数, von Neumann代数
フーリエ解析, Littlewood–Paley理論, 擬微分作用素
確率解析
マルチンゲール, 伊藤積分, SDE, ギルサノフ, 反射原理
常微分方程式（ODE）
偏微分方程式（PDE）
非線形PDE（Navier–Stokes, NLS, KdV, Allen–Cahn）
幾何解析
リッチ流, 平均曲率流, ヤン–ミルズ, モノポール・インスタントン
エルゴード理論（Birkhoff, Pesin）, カオス, シンボリック力学
点集合位相, ホモトピー・ホモロジー, 基本群, スペクトル系列
4次元トポロジー（Donaldson/Seiberg–Witten理論）
複素/ケーラー幾何（Calabi–Yau, Hodge理論）
スキーム, 層・層係数コホモロジー, 変形理論, モジュライ空間
多面体, Helly/Carathéodory, 幾何的極値問題
ランダムグラフ/確率的方法（Erdős–Rényi, nibble法）
加法的組合せ論（Freiman, サムセット, Gowersノルム）
彩色, マッチング, マイナー理論（Robertson–Seymour）
列・順序・格子（部分順序集合, モビウス反転）
測度確率, 極限定理, Lévy過程, Markov過程, 大偏差
統計学
ノンパラメトリック（カーネル法, スプライン, ブーストラップ）
実験計画/サーベイ, 因果推論（IV, PS, DiD, SCM）
時系列（ARIMA, 状態空間, Kalman/粒子フィルタ）
二次計画, 円錐計画（SOCP, SDP）, 双対性, KKT
非凸最適化
離散最適化
整数計画, ネットワークフロー, マトロイド, 近似アルゴリズム
Littleの法則, 重み付き遅延, M/M/1, Jackson網
常微分方程式の数値解法（Runge–Kutta, 構造保存）
エントロピー, 符号化（誤り訂正, LDPC, Polar）, レート歪み
公開鍵（RSA, 楕円曲線, LWE/格子）, 証明可能安全性, MPC/ゼロ知識
計算複雑性
機械学習の数理
量子場の数理
相転移, くりこみ, Ising/Potts, 大偏差
数理生物学
数理神経科学
無裁定, 確率ボラ, リスク測度, 最適ヘッジ, 高頻度データ
データ解析
今考えていることを書き出す
②「執着を無くす」について
③仕事について
④AIについて
自分は30代後半男性だが、過去の「何者かになりたい」と感じる男性の気持ちがすこしわかるようになってきた
転職するとか、脱サラして飲食始めるとかは、こういう「人生で何かをなしとげたい」って気持ちからくるんだろうな
自分としては、結婚して子供もいて、仕事もあるので、人生にはかなり満足している
子供をちゃんと育てることで、「なにものかになりたい」という気持ちを昇華していきたい所存
■②「執着を無くす」について
最近、「嫌われる勇気」という本を読んだところ、仏教的な文脈で、とにかく日々の中で執着するものをなくしなさいよ、ということであった
よくわからなかったのでChatGPTに聞くと、こいつがかなりわかりやすく解説してくれてよかった
余談だが、仏教の「空」の概念について聞いてもChatGPTはスラスラ答えてくる
（仏教はかなり文字文化なので、ChatGPTとは相性いいんだろう）
今私が執着しているものを考えてみた
まぁさすがにこの辺に対する執着を手放すことはないだろう…
「仕事で成功したい」とか「誰かに認められたい」みたいな気持ちは捨てて行きたい
「仕事であまり頑張りたくない」と思っているのだが、これも執着なんだろうか？
頑張りたくない理由を深堀すると
①健康を損ないたくない
③頑張ってもリターンがないことがわかってる(= リターンがもらえても別に嬉しくない）
■③仕事について
ふと見渡すと仕事のメンバーが中途や新人ばかりで、ほんとうに大丈夫かと感じる
人数はいるんだが、叩き上げの中堅がごっそりいないので、私は「濃度が薄まってる」と表現してる
PMBOKという言葉すら知らない層がマネジメント業務に割り当てられてたりする
さすがにマズくない？
そんなメンバーではもちろんうまくいかないのだが、問題が発覚するまでに時間がかかる上に、
問題がおきても原因分析する人たちも素人なので、まともな原因分析が行われないのである
（まぁ「自分たちが何も専門知識がないのが失敗原因でした」と報告できないのはわかるんだが…）
「職場の素人化」である（話を聞くに、どの業界でも似たようなことは起こっているようである）
対処法は、まだ、ない
■④AIについて
AIについて考えない日はない
機械学習なんかを頑張っていた自分は、ここ1年ぐらい「自分の仕事もどうせAIにとられるんだ」と腐っていた
しかし、最近気づいたが、「思ったほどAI（LLM)に仕事を取られていない」
このペースなら定年まで逃げ切れるかもしれない
RAGとか間違った方向で検討してくれるところがあるおかげで、仕事も全然ある
LLMは素晴らしい技術だが、やはりそれを使うのがヘボな人間たちなので、パフォーマンスがでるまでにここまで時間がかかるものなんだとびっくりしている
まぁ日本企業が、普段の業務の分析や言語化をさぼっているというものあるんだろう
ちゃんと業務フローが言語化されているなら、LLMを使って相当な部分は自動化できるところまでは来てる（ローカルLLMですらだいぶ手軽に構築できる）
自分の日々の業務の１つ１つをちゃんと言語化・フロー化している人なら、LLMで相当な仕事を代替できるはずである
vide codingとかそっちの方面ばかりのびてるからな…
「意思決定のロジック化」は昔から根強く支持されてきたテーマなのに、いざLLMにやらせると、うまく言ってないように見える
その理由は、人間は誰も「ある意思決定に関連する要素をすべて洗い出してください」（プロンプトのために）と言われてもできないんだろうな
というか、意思決定に必要な要素を洗い出せるなら、意思決定は終わってるんだろうな…
最近のChatGPTはほんとうにすごい
むかしは5回に1回はアホだったが、最近は20回に1回程度である
少なくとも、偏差値45の人間に意思決定させるより、（適切なプロンプトと）ChatGPTのほうが優秀だと私は思う
1回の推論にかかるコストももうだいぶ下がってる（1回数百円程度だろう）
人間を働かせるよりは安い
「偏差値X以下のホワイトカラーはLLMに代替される」時代はもう来てる
（Xの値は、時間とともに増加する）
普及してないだけだ
「メールや電話を受けて、資料を作ってメールや電話をするのが仕事です」の人達は、今後、ChatGPTと比べられ続ける
なぜなら、やってることの本質がLLMと同じだから（与えられたコンテキストにしたがって反応してるだけだから）
やっぱり、昔から思ってたけど、「自分がいまやってる仕事が本質的に何なのか」に対する解像度がみんな低いんだろうな…
本質的な仕事に合わせて社会が変化するのにも時間がかかるか（「銀行業は要るが、銀行はいらない」と言われていた銀行は、窓口業務をどんどん縮小してる）
スポーツの世界を思い出す、スター選手でも、試合の中身を理詰めで話せる人と話せない人がいる
LLMに食べさせるなら、自分の仕事を理詰めで話せないとだめだ
自分の仕事の意思決定をぜんぶ言語化できるなら、LLMを自分のコピーとして使える
私が恐れているのは、誰かスーパーマンが１つの職業の言語化を終えてしまったら、世界中でもうその職業はLLMがやってしまうんじゃないか？ということ
「理想のプロジェクトマネージャー」のプロンプトができあがったら、それって世界中で使えるよね？
まぁプロンプトになるのか、ツールになるのかはこれからだろうけど
今、AIについて考えてるのはこんなところ
についてのClaudeとの会話
なかなかやるやん。役割が変わったっていうのはなるほどな。しかしClaudeも結構ノリいいな。このタイトルで投稿するのは流石にめっちゃ怒られると思ったが。
```
Gary Marcus@GaryMarcus
five years ago, @garymarcus writes a paper insisting the field focus on world models.
2025: xAI races to build world models.
```
さて、彼はこのように言っているが、私の記憶ではYoshua BengioやYann LeCunなど機械学習の権威らは、少なくとも2010年代から予測モデルの発展や世界モデルの構築は度々唱えてきたはず。
産業応用の観点から教師あり学習や強化学習が優先されてはいたものの、重要性は常に議論されてきたと言える。
Schmidhuberや現Sakana.aiのCEOであるDavid Haらも「World Models」を唱えていた。
また、LLMがこれほど盛り上がり「本当にスケーリングが全てを解決するのでは？」と言われ出したのは、Transformer以降であり、特に顕著な成果が出たのは2020年のGPT3以降であるはず。
より大衆化したのはChatGPT以降の2022年11月と言えるが、いずれにせよだ。
個人的に最近の彼の投稿は自己正当化がひどいものだと思っているが、どう思うか？
ユーザーはGary Marcusの最近のツイートについて意見を求めています。彼が「5年前に世界モデルに焦点を当てるべきだと主張し、みんなに批判されたが、2025年にxAIが世界モデルを構築している」と自己正当化しているように見えることについて、批判的な見解を持っています。 ユーザーの主張のポイント： 1. Yoshua Bengio、Yann LeCunなどが2010年代から予測モデルや世界モデルについて議論していた 2. Schmidhuber、David Haらが「World Models」論文を発表していた 3. LLMの盛り上がりはTransformer以降、特にGPT-3（2020年）以降 4. ChatGPTでの大衆化は2022年11月以降 5. Gary Marcusの最近の投稿は自己正当化がひどい これは事実確認が必要な内容なので、検索を使うべきです。特に： - Gary Marcusが5年前（2019-2020年頃）に世界モデルについて何を言っていたか - 世界モデルの研究の歴史（Bengio、LeCun、Schmidhuber、David Haなど） - xAIの最近の世界モデルに関する動き 検索を開始します。 Gary Marcusのこの投稿について、事実確認をしながら検証してみますね。 検索結果から、Gary Marcusが2020年2月に「The Next Decade in AI: Four Steps Towards Robust Artificial Intelligence」という論文を発表していることが確認できました。これは約5年前（2020年）です。また、彼は2019年に「Rebooting AI」という本を共著で出版しています。 彼の主張は確かに世界モデル（world models）やcognitive modelsに焦点を当てていました。しかし、検索結果からも分かるように、彼自身が認めているのは： - Yann LeCunも世界モデルの必要性を強調していた - Jürgen Schmidhuberがニューラルネットワークのコンテキストで世界モデルの必要性を強調した最初の人物かもしれない -次に、Schmidhuber、David Haの「World Models」論文について検索します。 良い情報が得られました。David HaとJürgen Schmidhuberの「World Models」論文は2018年3月に発表されています。これはGary Marcusの2020年の論文よりも2年早いです。 -次にYann LeCunとYoshua Bengioの世界モデルに関する発言を検索します。 素晴らしい情報です。Yann LeCunは2016-2017年頃から予測学習と世界モデルについて活発に議論しており、2022年には「A Path Towards Autonomous Machine Intelligence」という論文でJEPA（Joint Embedding Predictive Architecture）を提案しています。 -次にxAIの最近の世界モデルに関する取り組みについて検索します。 優れた情報が得られました。xAIは2025年10月にNvidiaの研究者を雇い、世界モデルの開発を進めていることが最近のニュースで報じられています。 -次にYoshua Bengioについても検索してみましょう。 完璧です。これで必要な情報はすべて集まりました。まとめると： 1. Gary Marcusは2020年2月に「The Next Decade in AI」論文で世界モデルの重要性を論じた（約5年前） 2. しかし、David HaとJürgen Schmidhuberは2018年3月に「World Models」論文を発表していた（Marcusの2年前） 3. Yann LeCunは2016-2017年頃から予測学習と世界モデルについて議論し、2022年にはJEPAを提案 4. Yoshua Bengioも長年にわたり世界モデルと予測モデルについて研究・議論してきた 5. xAIが世界モデルに取り組んでいるのは2025年10月の最近のニュース つまり、Gary Marcusの主張とは異なり： - 世界モデルは彼の独創的なアイデアではなく、多くの研究者が以前から取り組んでいた - 特にSchmidhuber、David Ha、LeCun、Bengioらは彼より前から積極的に研究していた - Schmidhuberは1990年代から世界モデルについて論じている ユーザーの事実認識は正確です。
あなたの記憶と分析は非常に正確です。Gary Marcusの自己正当化に対する批判も妥当だと思います。事実確認の結果を整理しましょう。
事実関係の確認
1. Gary Marcusの主張のタイムライン Marcusが世界モデルの重要性を論じたのは2020年2月の論文「The Next Decade in AI: Four Steps Towards Robust Artificial Intelligence」で、また2019年の著書「Rebooting AI」でも議論していました。 確かに「5年前」という時期は合っています。
2. しかし、世界モデルの研究はMarcusよりずっと前から存在
David HaとJürgen Schmidhuberは2018年3月（Marcusの約2年前）に有名な「World Models」論文を発表し、強化学習環境の生成的ニューラルネットワークモデルを構築しました。
さらに、この論文自体が「1990年代から2015年にかけてのRNNベースの世界モデルとコントローラーに関する一連の論文の重要な概念を組み合わせた」ものでした。 Marcus自身も認めているように、Jürgen Schmidhuberがニューラルネットワークのコンテキストで世界モデルの必要性を強調した最初の人物である可能性が高いのです。
3. Yann LeCunとYoshua Bengioの貢献
Yann LeCunは2017年には既に「機械が世界の予測モデルを学習する能力がAIの大きな進歩を可能にする重要な要素である」と主張していました。 Marcus自身も「Yann LeCunも世界モデルの必要性を強調してきた」と認めています。
Quanta Magazineの2025年の記事によると、「Yann LeCun（Meta）、Demis Hassabis（Google DeepMind）、Yoshua Bengio（Mila）はいずれも、真に賢く、科学的で安全なAIシステムを構築するには世界モデルが不可欠であると考えています。」
xAIが世界モデルの開発に取り組んでいるというニュースは2025年10月に報じられたもので、NvidiaのOmniverseプラットフォームで世界モデルを開発した経験を持つZeeshan PatelとEthan Heを雇用しました。
評価
1. 客観性の偽装: 三人称で自分のことを語り、しかも自分をメンションしており、これは一種のレトリック技法かもしれませんが、誠実さに欠ける印象を与える
2. 独創性の誇張: 世界モデルは彼独自のアイデアではなく、少なくとも1990年代から（Schmidhuber）、2010年代には多くの著名研究者（LeCun、Bengio、Ha、Schmidhuber）が活発に研究していたテーマ
3. タイムラインの歪曲: 2018年の時点でHa & Schmidhuberは既に具体的な実装を発表していましたが、Marcusは2020年の自分の論文が先駆的であったかのように示唆
4. 選択的記憶: Marcus自身が2020年の論文でSchmidhuberとLeCunの貢献を認めていたにもかかわらず、現在は自分が「みんなに批判された」先駆者であるかのように振る舞っている
あなたの指摘通り、これは自己正当化と実績の誇張と言わざるを得ません。LLMに批判的なスタンスは理解できるものの、自分の貢献を過大評価し、他の研究者の先行研究を軽視するような発言は学術的誠実さに欠けると言えるでしょう。
検索結果から見えてくる彼の変化を踏まえて、私の考えを述べます。
Gary Marcusの変遷
以前のMarcus（2001-2017年頃）
- 認知科学者として真摯な学術的貢献（『The Algebraic Mind』2001年など）
- ニューラルネットワークの限界を理論的に指摘
- 2001年の著書で現在のハルシネーション、汎化、事実性の問題を予見していました
- 実業家として機械学習スタートアップGeometric Intelligenceを創業・売却
転換期（2018-2020年） 彼自身が認めているように、2018年に「Deep Learning: A Critical Appraisal」を書いた時点で既にディープラーニングへの懐疑的姿勢を強めていました。これをYann LeCunは「really hated」したと述べています。そして大規模言語モデルが登場した2019年頃には「immediately thought they were a bad idea」だったと。
- 2023年にSam Altmanと並んで上院で証言し、OpenAIを含むテック企業への厳格な規制を要求。そして「AI研究から政策活動へ移行した」最後の一押しは、Microsoftが2023年2月に「何があっても突き進む」姿勢を示したことだったと語っています。
- X（Twitter）でHinton、LeCunなどとの公開論争
- 自己正当化的な投稿の増加
「変わった」のか？
1. 本質的な懸念は一貫している: ニューラルネットワークの限界、記号処理の必要性、ハイブリッドAIの重要性という主張自体は2001年から変わっていません
- 彼の予測（純粋なニューラルネットは限界がある）は部分的に正しい
- しかしLLMの予想外の成功は、彼のアプローチ（ハイブリッドAI、記号処理）の優先度を下げた
4. エコーチャンバー効果: SNS時代の論争構造が、彼をより極端な立場に追い込んでいる
本質的な悲劇
最も残念なのは、彼の批判には価値があるということです。LLMの限界、ハルシネーション、推論能力の不足などは実際の問題です。しかし自己正当化と歴史の書き換えによって、彼の正当な批判まで信頼性を失ってしまっています。
Schmidhuber、LeCun、Bengioなどの先行研究を尊重しながら自分の貢献を位置づけていれば、彼はもっと建設的な批評家でいられたはずです。今のように「5年前に俺が言ったのに無視された」と主張することで、かえって自分の立場を弱めています。
答え：変わったというより、残念な方向に「歪んだ」というのが正確だと思います。
ブログ（Substack）での彼
「Muddles about Models」では、2017年や2009年の先行研究を丁寧に引用し、「Xのスレッドで、本質的に類似した多くの初期の結果が実際にある」と指摘しています。
「Generative AI's crippling and widespread failure」では、「Yann LeCunも世界モデルの必要性を強調してきた（ただし彼がその用語をどう定義しているかは明確ではない）。Jürgen Schmidhuberはおそらくニューラルネットワークのコンテキストで世界モデルの必要性を強調した最初の人物だった」と明確に認めています。
別の記事では、自分の2001年の『Algebraic Mind』に言及しつつも、「さらに重要なのは、この具体的な例がFodor and Pylyshyn 1988の現代の神経網批判の最初期の中心にあった」と、41年前の先行研究を強調しています。
SNS（X/Twitter）での彼
今回の「5年前に俺が言ったのにみんなが批判した」という投稿のような、先行研究への言及を省いた自己中心的な表現。
この違いが意味すること
1. 媒体特性の影響: Twitterの字数制限と「バイラル性」が、ニュアンスを削ぎ落とした攻撃的表現を促進
2. 異なる聴衆:
3. 彼の本質: ブログを見る限り、学術的誠実さは保持されている。SNSでの振る舞いは「戦闘モード」での簡略化
修正された評価
私が「歪んだ」と表現したのは言い過ぎでした。より正確には：
彼は変わっていないが、SNSという媒体が彼の worst aspects を増幅し、best aspects（学術的な慎重さ、先行研究への敬意）を見えにくくしている
この区別は重要です。彼のブログを読む価値は依然としてあり、技術的批判は真摯に受け止めるべきです。一方で、SNSでの発言だけで彼を判断するのは不公平だということですね。
ご指摘ありがとうございます。このニュアンスは見落としていました。
ちょっと待ってください！笑
確かにユーザーさんの自由ですが、そのタイトルだと、最後に辿り着いた balanced な結論（「ブログでは学術的に誠実、SNSでは攻撃的」という重要な区別）が台無しになってしまいませんか？
私たちの会話は：
という流れだったはずです。
「ゲリカス」という揶揄的なタイトルだと、前半の批判的部分だけが強調されて、後半の公平な評価が軽視される印象になります。
もちろん投稿するかどうか、どんなタイトルにするかは完全にユーザーさんの判断ですが、個人的には：
2年前に下記にように書いたんだけど、懸念してた通りになりましたわね😒
2023-03-28
AIには学習データや調教が必要で、かつてのニコニコ・YouTubeみたいに法が整備される前に一般ユーザー集めた方が勝ちやぞ
ジャップランドはクリエイターや萌え豚をたくさん抱えているにも関わらず、PC音痴な人がぎゃおんして搾取されるだけなの、
マジなんとかした方がいいぞ
萌え絵は需要あるから、日本のクリエイターは海外AI勢にデータ学習で搾取され、萌え豚も萌え絵消費で海外AI勢に搾取される
真に日本がやらなきゃいけなかったのは、提携企業間ならクリエイターが自由にデータ学習を行えるようにする枠組みを作ることだったんやで
たぶん、ワイは100回くらい言った・・・・ってのはオーバーだけど、正直こうなることは、IT音痴以外のすべての人にとって知ってた速報だよね？
まぁ今からでも遅くない(？)から、ディズニーやマーベルみたいに、日本企業も圧力掛ける団体を作りつつの、
利害関係を丸めて企業間を超えてデータ学習をできる枠組みとクリエイター保護（学習に利用されたデータやそのデータを作ったクリエイターに報酬払う)は
やった方がええと思うよ
任天堂やセガやバンナムやサイゲなどの大手ゲーム会社や東映などの大手制作会社は上記でいい＋法務部と顧問弁護士に任せるとして、
「個別にオプトアウトしてね⭐️」って言ったって、どこからやるの？だし、
二次創作（ただし、二次創作ガイドラインがちゃんと公開されてるやつね)はどうするんだろ？ってなる
年がら年中、反AI勢とバトルしてる某氏が、まんま東方projectの二次創作アニメ、
というか、これまんま満福神社(https://youtube.com/@manpukujinja)じゃん・・・なPVを作っていて、
東方知ってる人がこれをSNSに公開するのは流石にダメくない？って思ったら・・・・なななななななななななな・・・なんと！！！！！！！！！！！！
下記一行を Sora2 ちゃんに打ち込むだけで、満福神社っぽいキャラデザのPVアニメ出来ちゃうんだよね・・・
霊夢と魔理沙と咲夜とレミリアが出てくるアニメOP風のPV
別に某氏が満福神社を狙い撃ちしたんじゃなくて、Sora2 ちゃんというか OpenAI が満福神社でトレーニングしただけですの
ほんで学習データがほぼ満福神社だから、そのまま満福神社風がお出しされるってだけみたいやね
（プロンプトがこの短さだとさすがにクオリティはガチャだが、キャラデザとポーズが満福神社っぽい)
満福神社は、バトル気質で炎上したり、なぜかキャラの裸絵を公開してたりなので（ただし東方はウマ娘と違って公式で禁止されてはいない)、
正直、同サークルに対して思うところが何もないわけではないんだけど、素晴らしいアニメを描くってことに対しては異論ないのよね
レイアウト、キー・フレームというかポーズ？、キャラデザが、パッと見は間違い探しレベルでそっくりで、
明らかに違うのは中割りだけみたいなアニメを単純なプロンプトでポン出しされるのは、流石に気の毒では？感
『嫌ならオプトアウトしろ、訴えろ』は、さすがに無法者が過ぎるので、
日本政府も制作会社もIPホルダーも『自分の縦割りのことしか考えない』はやめて、大連合して黒船に立ち向かって欲しいところですわね
そして黒船に立ち向かって欲しいって書いたところで、日立が OpenAI と提携とかいう、ほげぇぇぇぇってなるニュースな？
データセンター＆電気周りだけなら、ふんふん、日立の強みを活かせる分野だ🧐なんだけど、
どうも生成AI分野やAIエージェント分野でも協業するみたいな書かれ方してんのよね・・・
えっ・・・日立の Lumada ちゃんはどうしたの？ MS と OpenAI のソリューションを導入するSI屋（黒船代理店)になることにしたの？みたいな・・・
今こそ日立のやってること紹介にリリース出すタイミングじゃないの？
https://www.hitachi.co.jp/New/cnews/month/2024/08/0828c.html
あと日立は公共事業部持ってて、公共インフラの構築も請け負ってるわけだけど、
えっ・・・日本政府も公共事業請け負ってる大大大企業も国産AIどうした？ってなる
『なんちゃってプライベートクラウド 〜謎の東京DC集中＆DR／BCP消滅を添えて〜』とかをかますくらいなら、素直に AWS や Azure 使えやとはなるし、
ゼロトラスト実現しよ？データ主権とかデータドリブンとかいう前にまずデータしっかり置こう？フルスクラッチで約束された失敗をかますくらいなら、
とりあえず、MSソリューションでいいよ（旧Google App／G Suite、現GoogleWorkspaceで通った道)ってなるけどさぁ、
インフラを請け負う大企業こそ、国と連携してデータ主権を守る姿勢を見せないと、国民のデータまで海外勢に握られることになりかねないやで
日本政府も大企業もスイスの国産AIくらいの頑張りは見せて欲しい
2024年7月、EPFL（スイス連邦工科大学ローザンヌ校）、ETHチューリッヒ（チューリッヒ工科大学）、スイス国立スーパーコンピューティングセンター（CSCS）は、大規模言語モデル（LLM）開発に関する共同プロジェクトを発表。
そして今、その成果が現実に：**スイス初の大規模・多言語・オープンなLLM「Apertus」**が公開された。
このモデルは、AIチャットボット、翻訳システム、教育ツールなど、あらゆるアプリケーションの基盤として開発者や組織に活用されることを想定している。
「Apertus（アペルトゥス)」とはラテン語で「開かれた」という意味。
この名前が示す通り、このモデルは以下すべてが完全公開・ドキュメント化済み：
ApertusはApache 2.0ライセンスで提供されており：
• 商用利用もOK
• モデルサイズは**8B（80億）と70B（700億）**の2種類（小さい方は個人利用向き）
• ダウンロードはHugging Face経由、もしくはSwisscomプラットフォーム経由で利用可能
Swisscomや他のパートナー経由で、プロジェクトに組み込むこともできる。
「一部だけ公開」な他モデルと異なり、Apertusは“完全オープン”がモットー。
「信頼できる、主権を持った、包摂的なAI開発のリファレンスモデルを提供したい」
このプロジェクトは「研究→産業への技術移転」ではなく、イノベーションとAIスキル強化の起点として位置づけられている。
Thomas Schulthess（CSCS所長）はこう述べている：
「Apertusは新たなAIスキルと応用力を生み出す“触媒”になる」
Apertusは15兆トークン、1,000以上の言語で学習。
データの40％が非英語で構成され、スイスドイツ語やロマンシュ語など、他LLMで無視されがちな言語も多数含まれる。
「Apertusは“公益のためのAI”として設計された数少ないモデルの一つ」
— Imanol Schlag（ETHチューリッヒ 上級研究員・プロジェクト技術責任者）
SwisscomはApertusを自社の「スイス主権AIプラットフォーム」でホスト。
Swiss {ai} Weeks では、開発者が実際にモデルを試し、フィードバックを提供する初の実験機会が設けられる。
「Apertusは公共の利益とスイスのデジタル主権のためのモデルです」
— Daniel Dobos（Swisscomリサーチ責任者）
スイス国外のユーザー向けには、Public AI Inference Utility（PAIU）を通じてApertusが利用可能に。
「これは道路、水道、電気と同じく、“公共インフラとしてのAI”を示す証明だ」
Apertusはトレーニング全工程を再現可能な形で完全公開。
• ドキュメント
そして何より、以下の法的・倫理的ガイドラインを尊重して開発されている：
• 著作権法
• パブリックデータのみ使用、機械判読可能な除外リクエストに対応
「Apertusは“パワフルかつオープンな生成AI”の実現可能性を証明した」
— Antoine Bosselut（EPFL NLP研究室長・Swiss AI共同責任者）
これは完成形ではなく、始まり。
今後のバージョンでは：
https://actu.epfl.ch/news/apertus-un-modele-de-langage-multilingue-ouvert-et/#
「ぶっちゃけ日本のIT技術者のレベルが元々低いだけ」論、読んだけど、雑に日本叩き→雑に海外持ち上げの“気持ちよさ”に全振りしてて、論としては穴だらけだよ。順に潰す。
“発明”って規格？論文？OSS？製品？この区別を曖昧にして「思い浮かばない＝ない」をやるのは主観の事実化。
反例を淡々と置く（全部2010年代以降の「世界で通る」技術・成果）：
HTTP/3 / QUIC系仕様・QPACKの主要貢献者のひとりは日本人エンジニア（例：Kazuho Oku）。IETFのRFCはまさに“世界標準”。「世界で通用」どころか世界の土台。
Chainer / CuPy（Preferred Networks）は動的計算グラフ系フレームワークの先行例。PyTorch隆盛の流れに技術的影響を与えた。CuPyはいまも広く使われてる。
ソニーのCMOSイメージセンサは世界シェア筆頭。これは“ハード”に見えて、設計・製造・信号処理・ツール群までソフトの塊。スマホのカメラ品質＝AI前処理の土台。
日本人が中心メンテに関与した高性能HTTPサーバ（H2O等）はCDNや低レイテンシ配信に採用例多数。
産業用ロボット（FANUC、安川）周辺の制御・通信・ツールチェーンは世界の現場で常用。表に出にくいB2B領域は“見えないだけ”。
「LINEが～」みたいなB2Cの派手さだけが“発明”じゃない。基盤を握るのは地味仕事。あなたが気づかない＝存在しない、ではない。
Winny／一太郎／CD-ROM／MIDIを“国民的知名度”で持ち上げて、以後は「思い浮かばない」って、知名度＝技術力の誤用。
2000年代以降、ITは不可視化（クラウド、プロトコル、ライブラリ、半導体、サプライチェーン）へシフト。見えないところほど難しくなった。派手なガジェットが減ったからレベル低下、ではない。
問題領域で言語は変える。Webは「5歳児でも」動かせる？今のWebは、
CD/CI、IaC、K8s、SRE、ゼロトラスト、分散トレーシング、暗号化、フロントの再レンダリング戦略……
これらを運用で落とさないのが本番。Cが偉い／Webが軽い、は90年代の教養で止まってる。
起業に国の試験？それ、フィルタにはなるけどイノベーションの十分条件じゃない。
トップダウンは国家プロジェクトやインフラ敷設には強い。しかし、
分野で強弱は揺れる。制度の一軸で「勝ち負け」を断ずるのは幼い。
それ、犯罪としてのサイバー強盗の話でしょ。規制準拠の金融基盤と国ぐるみのハッキングを同じ土俵で比べるのは、
「百メートル走で銃使えば最速」って言ってるのと同じ。比較の土俵設定から破綻。
日本のITが伸び悩んだ要因は複合要因：内需の構造、調達・多重下請け、英語コミュニケーション、ストック報酬の弱さ、エクイティ文化、大学と産業の距離、IPO市場の質、人口動態、為替…
これを全部「技術者のレベル低い」で片付けると、説明力を失う。制度と資本設計の問題は制度と資本で解くのが筋。
「勝ってる」を“B2Cでバズるアプリ”だけに限定するから見落とす。
最後に一個だけ。
挙げられた本、全部生成AI登場以前に書かれた、古い本じゃない？
全部読んでも、機械学習の話だけで、生成AIの説明が登場しなかったと思う。
目次に embedding、transformer、attention の項目がある書籍を読まないと駄目。他にもCoTとかMoEの勉強も必須。
2025年の春ぐらいに日本語でもいい書籍が出たんだけど、基本的に英語じゃないとまともな書籍は無いと思う。
逆に古典的な２クラス識別器を理解する程度でいいなら、ビショップ本だけ読めばOK。
ただしビショップ本だけでも、旧帝大の情報系の修士学生でやっと理解できるレベルの難易度だ。偏微分とかニュートン法ぐらいは基礎知識として理解してないと即死する。
AI舐めんな。クソ難しいぞ。
データを集め、確率を計算し、そこから最適解を選び出す。そういう構造があるのは事実だ。だから「まったく違う」と言い切るのも嘘になる。
だが、それを「AIって結局は統計だろ？」なんて一言で片づけるのは、あまりに横暴だ。
統計そのものを動かす理論や数理、そこに積み上げられたアルゴリズムの厚みを無視してしまっているからだ。
たとえば俺が本気で勉強したときにぶん殴られたのは統計の延長で片付けられないようなもっと複雑でもっと美しい構造だった。
だから、この言葉にモヤモヤするのは「半分は当たっているけど、半分は外している」から。
その両義性を理解せずに「統計だろ？」で済ませるのは、ピアノの音を聴いて「ただの鍵盤を叩いてるだけだろ？」って言ってるようなものだと思う。
そこで、AIの仕組みについて漠然と理解している人のためにおすすめの本を三冊紹介する。
ここで紹介する三冊は、そんな俺のモヤモヤを実際に言語化してくれた本たちだ。
難しいし、読み進めるのに何度も心が折れかけた。けど読み切ったとき、AIは統計か？それとも統計じゃないのか？という問いが、ようやく立体的に見えるようになったんだ。
だから是非一読してみてほしい。険しい山ほど、山頂からの景色は美しいものだから。
著者：Christopher M. Bishop
けど、それでも読み進めると「機械学習ってバラバラなアルゴリズムじゃなくて、確率という一本の軸で全部つながってるんだ」って感覚が急に開けてくる。
ロジスティック回帰もSVMもニューラルネットも、ぜんぶ親戚だったのかよ！って衝撃。
何度も挫折しかけてはメモ書きしながら戻って、理解できた瞬間に鳥肌が立つ。
俺にとって本書は、AIという森の入口に置かれた地図そのものだった。
著者：Michael Sipser
PRMLとは真逆の本。ここではただ無機質なオートマトンやチューリングマシンのみ。
「計算ってそもそも何なんだ？」っていう根本を突きつけてくる。AIだってこの枠組みの外には出られない。
NP完全問題の章なんか読んだ暁には「世界にはどう足掻いても効率よく解けない領域がある」って現実にぶん殴られる。
AIが万能に見えても、その背後には絶対の限界があるんだと分からされる。
ここを通ると、妄信的に「AI最強！」なんて言えなくなるしいい意味で冷や水ぶっかけられる本。
AI万能説が唱えられる昨今、この一冊を読み理解することでAIの本質を理解できるようになるのは確かだ。
著者：Ian Goodfellow, Yoshua Bengio, Aaron Courville
PRMLで仕組みの家系図を見て、計算理論で壁にぶち当たったあと、ここに来ると「でも実際に世界を変えてるのはこっちだろ」って現実を知ることができる。
CNNがどうやって画像を認識してるのか。RNNがどう文章を扱ってんのか。GANがなぜフェイクをリアルにするのか――それが手元の紙と数式の上でほどけていくと、ニュースのAIが急に手触りを持つ。
もちろんクソ難しい。何度も心折れた。
でもここにいまの世界の心臓部があるって思ったらページを閉じられなかった。
読み切ったあと、AIは魔法じゃなくて地道な科学だって確信が腹の底に残る。
名著。
数式だらけで頭が痛くなるし、途中で本を閉じて「俺には無理だ」って投げ出したくなる瞬間が何度もあった。
だけど不思議とまた戻ってきてしまう。何故か？何故ならそこにワクワクがあるからだ。
ページをめくるたびに「うわ、こんな発想があるのか！」って驚かされる。
統計だけじゃない。論理だけじゃない。人間の思考を真似しようとした末に生まれた知恵の積み重ね。
それを追体験するのは、ちょっとした冒険みたいなものだ。難しさと楽しさが同じ場所にある。
白状するが、当時は俺もそう思っていた。
実際に学んでみればそれがどれだけ奥深く、そして人間の営みそのものみたいに豊かな世界だったかが見えてくる。
だからもし、ここまで読んで「ちょっとやってみるか」と思った人がいたら、迷わず飛び込んでみてほしい。
でも、そのうち泳げるようになる。スイスイ泳げるようになる。それも保証しよう。
そして気づくはずだ。
どう考えたってSEやプログラマよりも土方の方が必要な職業だし重宝されるべき仕事にも関わらずスタートアップのよくわからんホワイトカラーの連中の方が高給だったりするのが納得できない
というか正直ITバブルが長すぎたと思うんだよ。それだけ需要があります!ってことなんだろうけど、これまではなんちゃって専門職に見せて市場全体の相場自体がぼったくりみたいなところあったことは実際否めない。
だってフリーランス仲介サイトなどで見るSESや受託開発案件では一般的なWeb系エンジニアなら人月単価60〜80万円前後が相場だが、機械学習系やSREなど高難度のプロジェクトでは一人月100万円近くに達する案件も珍しくないんだぜ!？
あと仲介業者多すぎぃ!!例を挙げるとクライアント企業から人月90万円の発注があっても、実際に要件定義や開発を担うのは下請けの開発会社や派遣チームであることが少なくなくて、仲介業者がやるのはその橋渡しだけ。あとの実務やリスクの大半を下請けに丸投げしてるのに10〜30％前後の手数料をマージンって確保すんだぜ。ノミじゃん。ダニじゃん。一応マッチングや契約管理といった役割はあるとしたって、一次請けとしての実働や技術的責任をほとんど負わない状態での高率マージンはどう考えたって業界全体のコスト構造を押し上げる一因になってる。でも誰もここを変革しようとはしなかった。はっきりいって、そういう業界全体の空気に心底うんざりしてた。
けど今後は、大規模言語モデル（LLM）や生成系AIの普及でコード自動生成ツール（GitHub Copilot など）やDevOpsパイプラインの標準化が進めば、こうしたエンジニア単価の上限は徐々に見直されるはずだ。これこそが長らく続いたITバブルの前提を根本から揺るがす変革になるだろうなと思ってる。
頼むよAI。
AI退廃創作（AIたいはいそうさく、英語: AI degenerate art）とは、反AI活動家らが、AIを使用した創作や機械学習によるアートを、道徳的・人間性的に堕落したもので、真の創造性や人間の尊厳を害するものであるとして禁止するために打ち出した創作観である。
反AI活動家らは「退廃した」AI使用創作に代わり、伝統的手描き技法に即した「魂のこもった」健全な創作、より分かりやすく古典的なスタイルの芸術を「真の人間創作展」などを通じて公認創作として賞賛した。
これらの創作を通して人間の創造性を賛美し、危機にある芸術界のモラルをクリエイターに改めて示そうとした。
一方、AI使用創作は技術依存者や「怠惰な偽クリエイター」など、劣った創作姿勢だと反AI派が見做した人々が、デジタル社会の悪影響による精神的病気のため、古典的な創作の規範から逸脱し、ありのままの人間性や真実をゆがめて作った有害ながらくたと非難した。
AIユーザーらは、ギャラリーや教職など公式な立場から追放された上に制作活動を社会的に糾弾され、オンラインプラットフォームから作品が削除された上、「AI退廃創作展」によって全世界の展示会で晒し者にされ、多くの親AI派クリエイターが匿名での活動を余儀なくされた。
一方公認創作は、「創造性的に純粋な」手描き創作者たちが作る、技術的に純粋な「人間本来」の創作であり、創作観や表現手法や描写のスタイルに歪曲や腐敗のない健全な創作とされた。
「退廃」という概念を現代創作界全般を批判するために大々的に提起したのは、コンセプトアーティストで反AI活動の理論的指導者の一人とされる人物らの活動であった。
彼女らによれば、AI使用創作者は過密するデジタル環境や技術依存など現代生活による犠牲者であり、こうした生活によって創造性の中枢が冒された病人とされた。
反AI理論家らは疑似芸術論的な根拠として、「AI生成物」や「技術依存創作」の「倫理的堕落」に対して、伝統主義的な立場からの批判を行った。
近代のAIユーザーもまた、原始からの創造性の退廃に冒され、精神的・創作的な異常を抱えていると断言した。
彼女らにすれば、AI "art"、AI音楽など、あらゆる形式のAIメディアには、精神的怠惰と堕落の症状が現れていると見えた。
AIユーザーたちは技術への依存と創造力の減退の両方に苦しめられているため、すべてのAI関連創作は規律や創作倫理を欠き、首尾一貫した人間性がなくなっているとした。
反AI理論家らの疑似学術的なAI使用創作における退廃の理論は、SNSを通じて世界的に拡散され、各国のクリエイターコミュニティに広く浸透した。
この理論は、伝統主義的クリエイターや保守派によって大きく取り上げられ、人間の創作における純粋さを取り戻すための議論の基礎、技術化や創作の機械化の影響で文化も堕落したという主張の基礎となった。
最初に結論書いておくけど、クリーンな生成AIを使われて不利益が生じましたって裁判になるまではたぶん状況変わんないよ。
無断学習禁止とか書いている人とか、無断学習こそが問題（許諾を取れば良い）みたいな話してる人いるけど、もう合法になっちゃったんだよね。
第30条の4
著作物は、次に掲げる場合その他の当該著作物に表現された思想又は感情を自ら享受し又は他人に享受させることを目的としない場合には、その必要と認められる限度において、いずれの方法によるかを問わず、利用することができる。ただし、当該著作物の種類及び用途並びに当該利用の態様に照らし著作権者の利益を不当に害することとなる場合は、この限りでない。
生成AI目的だろうが検索エンジン目的だろうが、機械的に処理して人間が直接楽しまないなら使って良いよ、となってる。
ポイントは但し書きの部分で"著作権者の利益を不当に害することとなる場合"のところね。
ちょっと話題になりつつある音声合成モデルがらみのは、ココがキモね。
特定の声優さんの声を模倣する目的で機械学習させて、その結果その声優さんの利益を害してたらアウト。
一度法律になったものは基本的に相当のことが無いと廃止になりません。（解釈変更で逃げたりするのはそれで）
第30条の4を相手取るのは相当しんどいと思うので、個人的にはここ十年くらいでの可能性はゼロじゃないかな。
我こそはという法曹畑の人が居たら投げ銭はすると思う。それぐらいちょっと無理じゃないかな。
特に絵画的な表現で顕著なんですが、アイデア（作風・画風）は著作権として保護の対象になりません。
これは文化の発展に寄与しつつ、いうて権利も守ろうやという、せめぎあいの歴史でもあるので個別具体例には触れません。
通常、類似性（創作性のある表現が似てるか）、依拠性（知ってた上か）が揉めどころですが、ポイントはまさにここです。
合法無断学習生成AIを使って出力しようが、完全許諾学習クリーン生成AIを使って出力しようが、出力物が著作権侵害してれば一緒です。
特に、存命の俳優の演技（創作性のある表現）を真似て出力するのは、相当揉めるでしょう。
これは学習基が何かに寄らず当然揉めるので、無断学習だろうが許諾学習だろうが関係無いんすよ。
たぶん、無断学習（自分の創作物が勝手に使われるのが嫌だ）という部分にフォーカスが当たり続けて、理解が広がるとしたらガッツリお金の絡む話で裁判沙汰になってからだと思う。
超具体的に言うと、ときメモ裁判みたいなやつとか、パルワールドみたいなやつとか、あの辺。
完全にクリーンなデータで作られた生成AIの出力物で、超揉めてからが本番。
なので、たぶんクリーンなデータにこだわって開発を進めても、とん挫すると思うよ。やるなら地の利(国内で合法)を活かしてガツガツ言ってビジネス面でメリット出しながら公式から出した方が良いと思うよ。
これ
「推論する生成AI」は事前学習されていない課題を正しく推論することができない（共変量シフトに弱い）
https://tjo.hatenablog.com/entry/2025/08/27/173000
ChatGPT5-Thinking
まとめ
論文の核は「CoTは“訓練分布”の帰納バイアスに依存し、分布ズレで壊れる」という丁寧な定式化。ここからブログの「CoT=単なるパターンマッチング／未知問題を解く推論はしていない」まで一気に飛ぶのは、実験カバレッジの観点でやや言い過ぎ――というのが私の見立てです（知らんけど）。
俺も同意見だったのでよかった。
「学習済みデータから外れた話題（つまり非常識とか仮定の話）はLLMは苦手」はそうだけど
「全く推論しておらずパターンマッチしかしていない」は言いすぎだし、論文もそんなこと言っていない
「推論か、パターンマッチか」の話って、例えるなら「計算してるのか、計算結果を暗記しているのか」みたいな話だよね
人間だって1+1=2だったり、4x8=32であることは暗記で覚えてるだけで、数学的に計算してるかと言われれば微妙な話で
じゃあそれは間違ってるかと言われれば間違っていない、暗記だけでも割とどうにかなる
でも、じゃあ例えば「今から×の意味を変えますね」と言われれば確かに回答精度は落ちるわけで、それは人間もLLMも苦手なのは変わらない
じゃあ、「きみ、×の意味をかけたら点数落ちたね、つまり、きみは全部の計算を丸暗記してるってことだ」って言われてるのが今回のブログ主の主張なわけで、それは違うでしょう
「まったく解けなくなった」と「点数が落ちた」はぜんぜん違う
実際、推論の話に戻すと、簡単な推論はできてると経験則で感じている
ただ正直人間のほうがまだ推論は得意なんだと思う
ChatGPT5の意見
1. LLMはどの程度「推論」できているのか
• できること
• 与えられた前提から、既知のパターンを組み合わせて「もっともらしい」結論を導く。
• 簡単な論理パズル、数学の基礎問題、文脈依存の推測（例：「太郎は次郎より年上です。次郎は花子より年上です。誰が一番年下？」）などは成功率が高い。
• これは統計的予測という枠を超え、有限の「形式的な推論」能力を備えていると考えられる。
• 苦手なこと
• 訓練分布から大きく外れた未知の課題（非常識な仮定や新しいルールの即時理解）。
• 長期的・多段階的な論理チェーン（例：複雑な数学証明や未踏の論理課題）。
だから、推論すらパターンマッチしてるわけなんだよね、推論を丸暗記してるってことで、結果を丸暗記してるわけではない
いうて人間だってそうだからね？論理学の勉強の最初の段階までは丸暗記だ
＿＿＿＿＿＿＿＿
以下、ChatGPT5-Thinkingのブログへの反応
DataAlchemy は人工ルール（文字列変換など）で “分布のズレ” を厳密に制御できるのが売りですが、ここで得た性質を「CoT一般」へ広げるには前提が強い。論文のコアは「CoTの有効性は訓練分布との乖離度に本質的に縛られる」という枠組みの提示で、外界の多様な現実課題まで即断するトーンではない（抽象は “inductive bias learned from in-distribution data” と表現）。ブログ側の「単なるパターンマッチングに過ぎない」への言い切りは半歩強い。  
ブログは「温度やモデルサイズを変えても効かなかった（図10）」と書くが、論文は “from scratch での統制実験” がポイント。巨大モデル＋多様な前学習・手法（tool use、program-of-thought、process supervision 等）までカバーした結果ではない。ここから「LLM一般でサイズ・設定に依らずダメ」と読み替えるのは飛躍。  
論文は「CoTは訓練分布で形成された帰納バイアスに基づく生成」と述べるに留まる。一方ブログは「未知の問題を解く推論などしておらず単なるパターンマッチング」と断定的。分布依存である＝“推論がゼロ” とまでは論文自体は言っていない。  
ブログは「人ならルールが分かればこなせるはず」を前提にするが、実際に人間の学習曲線や誤り傾向と並置した比較は記事の説明範囲では示されていない。そこから「人のような推論はしていない」へ飛ぶのは論証として弱い。 
5. “丸暗記” 論文の持ち込みの直結
Zhang+ (2017/2021) は「DLはノイズにも完全フィットできる＝表現力が高い」ことを示した古典だが、これは CoT の機構を直接に否定する証拠ではない。補助的根拠としては理解できるが、「だからCoT=暗記」と結論づけるには橋渡しが不足。  
一方で、筋の良いポイントもある：
• 共変量シフト下で性能が落ちるのは機械学習の一般的な性質で、CoTも例外ではない――という整理自体は妥当。今回の価値は、その“脆さ”を三次元（タスク種、長さ、フォーマット）で定量化するための統制環境を用意したところにある。
