「姉小路通」を含む日記 RSS

はてなキーワード: 姉小路通とは

2025-01-30

RAG案件を受けるのはやめておけ(DeepSeekとばっちり派生編)

コンニチハ、オイソギデスカ

思ったより読まれてたので、ブコメにも出てたRAGの話を派生編として書いておくね。

最初結論からRAG案件は受けるな。(コンサルみたいにタイムチャージで儲かるなら別)

※前回もそうなんだけど、いわゆるTrap streetは直接指摘しないで二ヤ二ヤしてくれな。概要把握できないほど変なことは書いてないよ。

なんでRAG案件は必ず炎上するのか

RAG必要とする組織必要データ運用ができておらず、必要データ運用ができている組織RAG不要から

まず前提からな。

RAG(Retrieval-Augmented Generation)って、要は生成AIに外部データベースを参照させるんでしょ?良くない?

その理解で正しいけど、それで営業かけるのは間違ってる。

例えば、郵便番号で考えたらわかるんだけど、郵便番号データベースを参照させて生成AIから引っ張ってくるとき問題になることはなんだ?

データが正しい必要がある

当たり前だけど、大前提

フォーマットが揃ってる必要がある

郵便番号なら、市区町村とか、番地枝番とか、全部統一された規格で揃ってないとね。

正しく聞く必要がある

例えば、「姉小路通柳馬場東入って何番?」は、「604-8103です」って返せるけど、

「604-8103に手紙出したいんだけど、住所書いてくれない?」で、「姉小路通柳馬場東入」と「柳馬場姉小路下る」のどっちを普通書くよね、みたいなのは出てこない。

だって京都に住んでる人の機嫌を損ねないための生成AIになってないもん。

話作られた時にチェックする必要がある

ありがちだけど、「本社郵便番号って何番だっけ?」みたいなやつとかね。

存在しない番号をチェックできるなら、最初からチェック用のデータベース叩きに行かない理由がいるよね。

ここまで前提ね。

RAG案件を阻む3つの

まあ、郵便番号くらいガッツリ目に世の中に存在するものだったらやりようはあるんだけど。

そもそもやりたいことが、埋もれているデータ活用したいだったりする

ドキュメントはあるんだけど、検索が大変でどこにあるかすぐ探せなくてねーみたいなやつね。

RAGには向かないです。それドキュメントメンテできてないから。

何が正しくてどれが最新で、誰が管理しててどこまで見せて良いか管理できていないからそういうことになってる。

機密区分ガチガチな割に、フォーマットコロコロ変更されるエクセルだったりする

このドキュメント管理職以上にしか見せちゃダメね、これはこの部署のみ、これは部外秘、みたいな状況で散乱してたりする。

RAGには向かないです。やろうとしてることがデータ運用組織体制改善RAG関係なくなっちゃってるから

データ活用したいの想像がフワフワだったりする

これはまあ余録かな。作って納品するだけだったら検修通れば良いんだもんね。

まあ、そういう要件に限ってフワフワのままゴールがフラフラして大変なことになるんだけどね。

生成AIハルシネーション以前のところでRAGに夢見すぎてる問題

RAG入れたいっていうところ、社内全文検索エンジンとかが流行った頃に導入できてないか導入してもうまく検索できてない組織がほとんど。

そんで、そういう組織RAGを適切に使えるようになるためには、まず全文検索エンジンでも引っ張ってこれるように整備する必要がある。

しかも、今後その組織で作られる情報全ての運用をそれに組み込まないとあっという間に陳腐化する。

その予算使って、まともなFAQサイト作ったり、社内司書みたいな業務区分作った方が幸せになれると思うよ。

雑感(逆にRAGがハマりそうなユースケース

多少盛ったり話を作って辻褄合わせても問題なくて、ある程度の専門性社外秘情報必要で、柔軟な窓口対応を求められるところ。

社内雑談チャットbot、かな。(喫煙所の会話ができるマシーン

これってさー、普通には予算降りないよね。社内で研究した結果の応用とかで社内発表するならまだしも外に委託する内容じゃないわな。

逆にアダルティーな感じのお店でのチャットbot運用ならワンチャンあるかも?

まとめ

RAG案件を受ける時は、以下の前提は必ず見ような。

  • 情報が綺麗に整理されており、常に正しくなるよう運用が整えられている
  • 既に横断検索存在しており、必要情報は今でも検索すれば出てくる
  • RAGを利用した結果は、必ず人間が最終チェックをして利用する

逆にいうと、これができていない組織にRAGはハマらないです。できている組織RAGいるかって言われると、ね。

から、今からRAGの話が上がるような組織に対して案件を受けるのはやめておけ。

蛇足

RAGにハマる(まともな)ユースケースもあるにはあると思うよ。

膨大な社内文書が整然と揃ってるけど、利活用時には個別具体的にカスタマイズする必要があって、社員の皆さんが多大な労力を費やしている職場

文書検索して整形して相手に合わせてカスタマイズする業務ね。思い当たるでしょうこちらの先進医療保健特約はつけるだけでとか、ドル建て債券は非常に安定度が高くとか。

そういうところはね、その業務金の卵だって知ってるから余程のアレな会社以外は自力で整備するよ。だからRAGかい会社はみんなアレなんだ逃げろ。

家庭内WikiRAGで柔軟に検索させるときに音声入出力すると未来感あるぞ(実用性があるかは人によるし儲かんないけど))

https://anond.hatelabo.jp/20250129194915

 
ログイン ユーザー登録
ようこそ ゲスト さん