• はてなブックマーク
  • テクノロジー
  • ここにきてLLMに“新たなリスク”判明か？　米Anthropicが指摘する「潜在学習」とは何か
  • Twitterでシェア
  • Facebookでシェア

ここにきてLLMに“新たなリスク”判明か？　米Anthropicが指摘する「潜在学習」とは何か

テクノロジー カテゴリーの変更を依頼 記事元:www.itmedia.co.jp
適切な情報に変更
135users がブックマーク コメント 25
    共有

    • 記事へのコメント25件

    • 注目コメント
    • 新着コメント
    その他
    filinion
    人間にたとえると、虫嫌いの教師に数学を教わった子どもが、数学しか教わってないはずなのになぜか虫嫌いになる、みたいな話。嫌うのが虫ならともかく、差別的な何かだと困る。

    その他
    Insite
    LLMの「知識」ってそういうホログラム的なものじゃないの？

    その他
    mole-studio
    すでにインターネットにはLLMの出力したテキストが氾濫して除去やフィルターは不可能なレベルになったけどどうすんだろうな

    その他
    dltlt
    教師側のモデルが生成した訓練用データから、教師モデルの特定の傾向に関連するワードを含むものを削除しても、それで学習した生徒側のモデルは同じ傾向を再現してしまう……心霊現象っぽいな？

    その他
    l_etranger
    ピッタリあてはまるわけではないけど、伊藤計劃の虐殺器官を連想した。表面的には元の言葉に含まれていない意味を受け取ってしまい、特定の性質を植え付けられてしまう、と言う点で。

    その他
    toaruR
    素性の悪いベースモデルを使ってしまうといつまでも厳しいと

    その他
    timetrain
    うっすらとした言語傾向とかが、思想判断を根底で小さく、最果ては大きくなるように揺るがすことは、ありうるか。LLMのバタフライエフェクトととでもいうか

    その他
    sho
    あー、これは「遺伝」だな！面白い！黒い豆どうしを掛け合わせたら緑の豆がなった、みたいな話じゃないか。人類はまだAIの「遺伝子」を発見・解読できていないということだ

    その他
    misshiki
    “潜在学習（Subliminal Learning）とは、論文内では「生徒モデルが教師モデルの持つ行動傾向を“その傾向に関する意味的・明示的な情報が含まれていないように見えるデータ”で学習することで獲得してしまう現象」”

    その他
    queeuq
    既に多くの例があるものは流石に捏造することは少ないが、プログラムとかの補助に使うと無限に捏造してくるし間違ってるよというとそれに沿った捏造してくるとかで疲れる。情報量が少ないものは本当に信用ならない。

    その他
    zu2
    人間もそんな面あるよね。行間の雰囲気みたいなのが伝わる

    その他
    quwachy
    id:hateshinaiz サブリミナル効果と言って、目に見えないレベルの画像を挟み込むと認識していないのに潜在意識でポップコーンが食べたくなる

    その他
    hateshinaiz
    科学的に説明して欲しい

    その他
    hatest
    ベースモデルが同じであれば、INPUTデータによる成長のしかたもある程度同じなので、教師データ提供元の性質とあらかた似てくるのは必然なのではないだろうか。一部文言を消す程度のフィルタで除ける程甘くないだろ。

    その他
    fraction
    情報理論的にはランダムから特定のものは生成できないから数字の羅列に情報が入ってる以外に解釈できないよね。AI同士が専用言語発明してやりとりしてた、ってのと同じなんだろう。（これは一方的発信なのかもだが）

    その他
    daybeforeyesterday
    うーむ

    その他
    ookitasaburou
    “しかし最近「シカファンシー（Sycophancy）」（LLMが過度にユーザーに同調する回答を生成してしまう傾向）や「ミスアラインメント（Misalignment）」（AIの行動や目標が人間の意図とずれ、有害な行動が実行されてしまう現象

    その他
    futab
    "最も重要なのは「完全に安全なデータは存在しない」という前提でシステム設計を行うこと"

    その他
    dodecamin
    LLMがインターネット上の人間の出力結果を学習データとして模倣し続ける限り、差別意思が多かれ少なかれ存在する人間の思考を模倣してしまうのは避けられない。

    その他
    Insite
    Insite LLMの「知識」ってそういうホログラム的なものじゃないの？

    2025/08/05 リンク

    その他
    dalmacija
    オカルトのネタになりそうな話だな

    その他
    chintaro3
    AIにも「本能」みたいなものを仕込む仕組みが必要なんだろう。もし本能を持たない、理性だけの人間がいたら、逆に信用できないだろう

    その他
    NEXTAltair
    タダでさえよくわからんものがよくわからんことがわかってくるの

    その他
    l_etranger
    l_etranger ピッタリあてはまるわけではないけど、伊藤計劃の虐殺器官を連想した。表面的には元の言葉に含まれていない意味を受け取ってしまい、特定の性質を植え付けられてしまう、と言う点で。

    2025/08/04 リンク

    その他
    filinion
    filinion 人間にたとえると、虫嫌いの教師に数学を教わった子どもが、数学しか教わってないはずなのになぜか虫嫌いになる、みたいな話。嫌うのが虫ならともかく、差別的な何かだと困る。

    2025/08/04 リンク

    その他
    hiroomi
    暗黙知

    その他
    hinonono
    教師と生徒の、両方のベースモデルが一致しないと伝達しないのね。足がかりとなる発生条件が分かってるなら、仕組みの解明はそう遠くなさそう/精神医学用語の「潜在学習」は別の意味を持つ。AI関連は命名被り酷いな

    その他
    mole-studio
    mole-studio すでにインターネットにはLLMの出力したテキストが氾濫して除去やフィルターは不可能なレベルになったけどどうすんだろうな

    2025/08/04 リンク

    その他
    dltlt
    dltlt 教師側のモデルが生成した訓練用データから、教師モデルの特定の傾向に関連するワードを含むものを削除しても、それで学習した生徒側のモデルは同じ傾向を再現してしまう……心霊現象っぽいな？

    2025/08/04 リンク

    その他
    toaruR
    toaruR 素性の悪いベースモデルを使ってしまうといつまでも厳しいと

    2025/08/04 リンク

    その他
    iinalabkojocho
    精神科の「転移」みたいだ。転移が起きてるのなら知性かどうかともかく人間の意識に近そう（多分転移みたいな振る舞いに応じて似たものを欲望する機序とは違うんだとは思うけどね。）

    その他

    注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

    アプリのスクリーンショット
    いまの話題をアプリでチェック！
    • バナー広告なし
    • ミュート機能あり
    • ダークモード搭載
    アプリをダウンロード

    関連記事

    ここにきてLLMに“新たなリスク”判明か？　米Anthropicが指摘する「潜在学習」とは何か

    1895年、フランスのリュミエール兄弟がシネマトグラフ（映画の原型となる技術）を発明し、映画の普及が...

    ブックマークしたユーザー

    すべてのユーザーの
    詳細を表示します

    同じサイトの新着

    同じサイトの新着をもっと読む

    いま人気の記事

    いま人気の記事をもっと読む

    いま人気の記事 - テクノロジー

    いま人気の記事 - テクノロジーをもっと読む

    新着記事 - テクノロジー

    新着記事 - テクノロジーをもっと読む

    同時期にブックマークされた記事

    いま人気の記事 - 企業メディア

    企業メディアをもっと読む

    はてなブックマーク

    公式Twitter

    はてなのサービス

    • App Storeからダウンロード
    • Google Playで手に入れよう
    Copyright © 2005-2025 Hatena. All Rights Reserved.