■現状のAIが全然使い物にならないのは、非常に正しくて、そして間違っている。

https://anond.hatelabo.jp/20250627100609

まず、上記の「全然使えない」という感想は、的確で正しい。

自分は、まだ素朴なニューラルネットワークで光学文字認識(OCR)で精度を出していた頃からこの界隈と付き合いがあるが、現状のAI界隈は少しハイテンションすぎる。

現在の熱狂的なブームは、チャットベースの大規模言語モデルのデモンストレーションが知的に"見える"ことからくる誤解であって、これは誤解させる方が悪い。

誤解させる方が悪く、上記の感想は正しいものだ。そして、使い物になるかならないかで言えば、既に使い物になる。

全然使えないAIという感想や実感は、正しい

まず全然使えない例について反論したくなる人もいると思う。２つだけ例題に付き合って欲しい。

1.

カーナビに対して以下の入力をしたが、まったく使い物にならない。

【フランク・キャンパーという元ベトナム退役兵が1980年代に傭兵学校を設立しました、並木書房から日本人の参加ルポが出ていたと思いますがその詳細を教えてください】

2.

Google翻訳に対して以下の入力をしたが、全然使い物にならない。

【【MP5サブマシンガンについて教えてください、有効射程、軍事的運用、歴史など】

２例は、元記事から採ったものだが、これらが上手く動かないのは直観的に理解できると思う。

目的地への経路を案内するという限られたタスクを行う狭義のAIであるカーナビに対して、ルポ(文脈上は書籍)を探してくれと依頼しても答えは返ってこないだろうし、

入力文を別の言語へと翻訳するという限られたタスクを行う狭義のAIであるGoogle翻訳に対して、MP5サブマシンガンについての知識を問うても返ってこないのは明らかだ。

問題は、ChatGPTをはじめとする現在の生成AIツールが、あたかもそれらを行うことができるように"見せている"点にある。

つまり悪いのはツール提供側であって、誤解した利用者側を責めるのは筋違いである。

カーナビゲーションシステムは、それ以外ができるように見えてはいけないし、翻訳ツールは、翻訳以外が出来るように見えてはいけない。

現在のAI（大規模言語モデルによる入力への応答）のやっていること

大規模言語モデルは、本質的には「続く文章を確率的に返す(答える)」というものから一歩も外へ出ていない。

（いくつか異なる手法で同様の結果が得られるものも出てきているが）言語モデルを大規模にした結果、かなり正確な「続く文章」が生成されるようになった、というだけだ。

そのため、幻視（ハルシネーション）という用語は、文学的な意味合いが強く、本来は「たまたま正答する出力が増えている」状態だと定義づけるべきだ。

そのため、「全然使い物にならない」という感想は非常に正しい。

質問して正しい答えが得られているのは偶然だ。

そして仕組み上、正しい答えだけを返すことはできない。

また、「知識を与えたうえで、ロジックを与えて、答えを出させる」ことも出来ない。

つまり"推論はしていない"。少なくとも現時点では出来ないとAppleが論文を出しているし追試結果も正しそうだ。

（正確に言えば、できないと考えられている。言語モデルの改良でこれだけの出力が得られると、少なくとも自分は思っていなかったので、単純にモデルを巨大化するだけで上記の問題も解決できる可能性がある）

ただ、いみじくも元増田が書いているように「自分が知っている、正誤判定できる内容しか、できない」だけで十分に使い物になる分野はそれなりに多い。

すでに十分実用域のAIであるという感想や実感もまた正しい

仕組み上、大規模言語モデルの出力が正しいか誤っているかは、確率的なものだ。

そして、強固に信じられている内容から、先ほどまで存在すらしなかった内容まで、等しく文章として作り出される。

よく、要約に強い、文脈理解や推論に強いと言われることもあるが、それらも誤解に基づくものであり、正しくない。

確率的に正しい答えを返しがちな内容が、それらのタスクに偏っている、と言う理解の方がまだ近い。

「こういう入力が来た時に、こう返すと、ユーザーが喜ぶと学習した」出力結果を受け取っている状況なので、簡易な理解としては笑点の大喜利だと考えてもらって構わない。

大喜利に対して、そこから正確な答えを得ようとする人はいないだろう。そんな期待をしていないからだ。

逆に言えば、大喜利で問題ないタスクであれば、現状はすこぶる使い勝手が良い。

3.

ChatGPTに対して、以下の入力をすると使い物になる。

【取引先の面倒くさい担当者から飲み会に誘われました。私は行きたくありません。角を立てずに断るメールを考えてもらえませんか？】

この例題には、抜粋すると以下のように予定があるので断るというメール文面が出力される。

「このたびは飲み会にお誘いいただき、誠にありがとうございます。(筆者中略)あいにくその日は以前より予定が入っており、今回は参加を見送らせていただければと存じます。」

これ対して、さらに以下のように追加することもできる。

「既に何度か予定があるとして断っているので、他の断る方法はありませんか。また、飲み会へは今後も参加しないとやんわりと伝える方法は無いでしょうか？」

それらしい回答が出力されるはずだ。読んでいただいた方の手元でも再現できると思う。

4.

ChatGPTに対して、以下の入力をすると使い物になる。

【以下の内容を、簡潔に整理してください。(マイク入力で文字起こしした、漢字かな間違いや重複、欠落、フィラーを含む不明瞭な文章)】

この例題でも、それらしい回答が出力されると思う。

ただし、文章全体が会議体のような文章を多く含むと、おおむね存在しない議題を含んだ議事録が生成される。その方が"打率が高い"からだ。

ただ、まったく使い物にならないものになる可能性が比較的低く、大幅に作業の手間を減らせる。

なぜプログラミング言語の分野で注目されがちなのか

端的に言えば「人間は、誠意や意識を判断材料にするので、利用を隠しがち」という点に尽きる。

悩みを聞いてくれた相手がAIだと知ると、聞いてもらえていたという感じ方が減る、という研究がある。(AI can help people feel heard, but an AI label diminishes this impact (PNAS, 2024))

これは人間よりもAIの方が悩みを良く聞いてもらえたという優れた結果を出しながらも、相手がAIだと知るとそれが失われるということが示されており、おおむね信頼できる結果と言える。

（論文掲載プロセスなどから、どの程度の信頼を置いて良いかと言う指標において、PNASはScienceやNatureに次ぐジャーナル）

これは、直観的にも理解できるし、そうだろうな、と感じると思う。すると、先ほどのようにお断り文面メールをAIにやらせる、という事例は、公言するようなことではなくなる。

大っぴらにAIを使っていますと言える事例がプログラミング言語に偏るのも、まあそうだろうな、と思う。

また、以前から使っている人はコード補完など使っていたのに、何故ここにきてフィーバーが押し寄せているかと言えば、基本的にプログラマーは怠惰だからだ。

課金したChatGPTにコードを書かせて、実行した結果のエラーをChatGPTに貼って、さらに修正して、という作業をしたことがある人もいるだろう。

いま来ているXXX CLIの熱狂は、基本的にはこのコピペ単純作業が自動化されたからであり、いままで人間側が苦労していたバッドノウハウが不要になるから、だ。

まとめに代えて、いまAIを使うべきか？

今まで怠惰に利用していた人が、さらに怠惰になるために課金して元が取れると思うなら、課金した方が良い。

私は月に5～10万円程度は元が取れていると感じているのでいくつかのサービスに課金しているが、取れないと思うなら課金することは無い。

身銭を切ってでも今の生成AIブームに食らいつくべき、という話も聞くが、個人的には懐疑的だ。もっとより良いものがもっと安価に使えるようになると思う。

「こうやって工夫すれば良い結果が」というのは、例えば創造的にゲームを遊びつくす、という意味では良いと思うが、単にその時点のバッドノウハウの塊になると思う。

今の生成AIブームは、返答結果が知的に"見える"ことから生じている誤解であって、正確な知識を教えてくれることも、推論することも、意識を持つこともない。

ただし、途中に引いた論文のように、既に人間よりも優れた結果を出している領域もあり、（カーナビに経路案内をお願いするように）限定されたタスクでは十分に成果が出ている。

そのため、例えばイライラする上司へのメールを書くのに脳のリソースを使いたくないな、と思うのであれば、不満を全て叩きつけるような文面を入力して、適切なビジネスメールに変換してもらえば良い。

炎上しそうなことを、炎上しますか？と聞くのはお勧めしない。現状の生成AIの学習は、同意や共感、協調に重きを置いており、あなたの意に沿う返答が返ってくる可能性が高い。(その方がユーザーの満足度が高いから)

大丈夫、炎上しませんよという答えが得たいときには入力文にその意図が混入する可能性は高く、その場合は意に沿った返答が得られ、そしてたいてい中身は間違っている。

信頼せよ、しかし確かめよ(Doveryai, no proveryai)と言えるほどの信頼度には、生成AIは未だ到達していない。

信頼するな、必ず確かめよ。すぐに確かめられるものには利用して良い。

蛇足

サービス提供側が出したくない情報を"脱獄"して抜き出そうとする行為は、推奨しない。

自分で学習データを集めてやるべきことであって、サービス提供側に法的リスクを負わせて遊ぶのは感心しない。

自らの責任において、検閲されるような内容を自分のサイトで公開するのは(その責任を自ら負うと言う意味で)自覚的だと思うが、それに準ずると特に日本の司法に判断されると相当面倒なことになる。

そういうのはリスクを承知で黙ってやるか、やらないか、いずれにせよ公言するようなものでは無い。

Permalink | 記事への反応(19) | 12:28

ツイートシェア