  |
はてなキーワード: 研究者とは
数学で分からないことを聞いたらかなりわかりやすい解説がついてくる。
例まで出してくる。
リファクタリングしてとお願いしたらかなりいいソースコードが返ってくる。
自分で考えればいいのに、すぐにAIに頼って思考放棄する自分がいる。
本当に怖いのはAIに仕事を奪われることではなく、人類が思考放棄することなのではないか。
最先端の研究をしている数学者、物理学者、科学者などの研究者や現代アートなど一部のクリエティブな人間を除き
思考しなくてもよくなっている。
「考えられる」ことが人類の至高の宝なのに、それさえも放棄しようとしている。
これが一番怖いことなのかもしれない。
※今現在起きてる台湾有事や観光キャンセルのゴタゴタについては書いてません
名前が日本人だったのと、見た目が東アジアのそれだったのでまったく気付かなかったが、喋るとすぐ発音で分かった
最初に中国系だとカミングアウトされたわけではなく、えーとお名前は○○さんなんですねと言ったら私は中国から来て日本人の夫と結婚して帰化したと教えてくれた
中国現地で、研究者の旦那さんと出会ったらしい なんてロマンチックなんだろう！
幸いにも来客者に中国系であることに差別的なことを言う人もいなかった
仕事は…100%出来てるわけではないが、とにかく愛嬌があった
しかし、
個人情報を扱う仕事なのにスマートウォッチつけてきたり（入職の際にダメと言われるのに…）仕事中に息子に電話かけたり、〝普通の日本人〟ならやらないことをたびたびとやっていた
仕事に差し支えのない範囲だし、とにかく現場が多忙だったためそのことに何か言われたわけではないのだが…
彼女のやる悪行は、悪気があるわけではなく中国と日本の慣習の違いなんだろう
彼女は悪くないんだ
増田は「きちんと」してる日本社会の慣習が心地良くもあるが時々息苦しくも感じる
外国人と働くのは、自分が想定しない労働観を感じられてとても新鮮だ
ふと外務省のホームページを見て、相手国の慣習という文字列を見てふと彼女のことを思い出した
彼女はまだ今も日本のどこかで生きてるだろうか、慣習の違いであれこれ言われてないだろうか
元気でいるといいな
俺の妄想の中で欧州のシンクタンク会合に参加してきたけど、話題はほぼ日中の緊張のことばっかだった。
欧州側は「何が起きてるのかよく分かってない」状態で、出てきた意見はこんな感じ。
① 中国の反応やりすぎじゃね？
国会質疑が始まりってだけだし、日本が今すぐ何かするわけでもないのに、首切るだの渡航自粛だのは過剰過ぎるだろ、って意見。
→ こっちは「日本側もタイミングとか見せ方は良くなかった面あるよ」と補足。
→ 「気持ちはありがたいけど、連帯だけで中国が大人しくなる相手じゃないでしょ…」って返答。
で、欧州がこんなに関心持つのは、彼らも中国に散々絡まれてきたから。
だから「どうすれば中国に揚げ足取られずに渡れるか」を知りたがってる。
日本と欧州で経験共有して、うまいコミュニケーション戦略を作るのがめっちゃ大事だよね、って話。
「こっちは悪くない！」みたいな弱者男性ムーブしても何も進歩しないし、改善点を一緒に考える方が建設的。
リトアニアも昔はガンガン反中キメてたけど、痛い目見た後はめっちゃ慎重に動いてる。
そういう経験を遠慮なく共有できる場と人脈が大切。
あと当然のように「政権100％支持しなかったな！売国奴！」みたいな弱者男性式の罵倒が飛んでくるけど、研究者にそんな忠誠心求めるなよって話。
研究者の仕事は、「こうしておけば問題回避できた可能性が高い」とか、「より効果的なのはAとB」とか、具体的な改善策を示すことなんだわ。
正直さ、「なんで弱者男性って人工的に量産できないの？」って思ったことない？
社会にはやたら属性ビジネスやら「生産」みたいな話が出てくるのに、弱者男性だけはいつまでたっても天然物しかいない。
まず、弱者男性って「特定の環境条件が揃わないと誕生しない、超レア生物」なんだよね。
ちょっと厳しい家庭でもダメ、甘やかされすぎてもダメ、学校環境が荒れすぎてもダメ、恵まれすぎてもダメ。
本人の性格、周囲の反応、社会構造、経済状況…全部が絶妙にバランスして初めて生まれる。
この条件が異常に細かい。
自尊心、才能、家庭運、時代背景、ネット文化、性格、偶然の挫折体験…。
どれかがズレると一気に別の属性（陽キャ・陰キャ・チーズ牛丼・意識高い系・ただのそこそこ普通の人）に変わる。
雑に言うと「センシティブなメンタル設計のAIを、わざと制限された環境で育てたら奇跡的に形成される人格」みたいな感じ。
しかも面倒なのが、周囲の人間の反応も成長にめちゃくちゃ影響すること。
褒められすぎても歪むし、完全に無視されても歪むし、中途半端に期待されても歪む。
研究者（？）たちは長年「弱者男性の発生メカニズム」を解析しようとしてるんだけど、
未だに再現性が取れない。
人工的に作ろうとすると、たいてい途中で別種の存在に変異してしまう。
つまりまとめると、
・「再現性」がほぼ取れない
だからこそ弱者男性は絶滅危惧種であり、同時に「天然物の希少価値」を持ってるわけ。
現代アートではコンセプトや批評性や文脈性が重視され、技術（出来栄え）はアイデアを伝えるためのツールになる
ここにねじれがあるのは何でだろう？と思ったけど、まぁよく考えると、芸大や美大に入った人が、みんなアーティストを目指すわけではない
イラストレーターやデザイナー、アニメーターや造形師、教員や研究者など…
だからこそ、入試の段階では共通言語としての造形技術が求められる
大学に入った後で、急に「現代アートでは技術はオマケです」みたいな話が出てきて、混乱する人もいるだろうな
それに適応して、アーティストになれる人は本当に一握りなんだろう
動物にも感情はあります。特に脳を持つ哺乳類や鳥類などは、人間と同様に喜び・悲しみ・恐怖などの感情を感じ、それを行動で表現します。
多くの研究者によれば、犬や猫、カラス、サルなどにも複雑な感情や共感、時には不満を感じることが確認されています。たとえば、犬は飼い主が帰宅した時にしっぽを振って喜びを露わにしたり、叱られるとしっぽを下げて悲しそうな態度を示します。ネズミが傷ついた仲間を助けたりする行動も、感情の存在を示唆しています。
恐怖や喜びといった原始的な感情は、脳を持つ多くの動物に認められています。
人間特有の「悲しくて泣く」などの高度な感情表現は、現時点ではほとんど認められていませんが、人間以外の動物も「鳴く」「動き」「接触」などの行動で感情を伝えます。
脳の発達した哺乳類や鳥類は、喜怒哀楽のような感情を分かりやすく表すことができます。
昆虫などの脳が小さい動物の場合、人間と全く同じ感情とはいえないまでも、恐怖やストレス、欲求といった「原始的な心の動き」がある可能性も指摘されています。
人間との違い
人間は言葉によって感情を表現できる特別な存在ですが、動物もそれぞれの方法で感情を持ち、それを行動で示しています。また、「感情に伴う涙」は基本的に人間に限られるとされてきましたが、犬が飼い主と再会した際に涙を分泌するとの研究報告もあります。
テクノロジーが社会構造を再編する現代において、人間の知性や専門性のあり方は根源的な問いに直面している。その問いに強烈な一石を投じたのが、東京大学の小川光教授が学内広報誌『淡青評論』で紹介した一件である。これは、制度や組織が適応するよりも速く未来が到来しつつあることを示す、稀有で明瞭なシグナルと言えるだろう。経済学の素養をほとんど持たない修士課程の学生が、生成AIとの対話のみを駆使し、わずか1年で「トップレベルの学術誌に挑戦できる水準」の論文を書き上げたのだ。これは単なる技術的な成功事例ではない。長年の訓練を経て築かれる専門知識の価値、研究者の役割、そして「知性」そのものの定義を根底から揺るがす、まさにパラダイムシフトを象徴する出来事である。
この小川教授の寄稿は、社会に大きな波紋を広げた。インターネット上では瞬く間に注目を集め、「はてなブックマーク」では469ユーザーがブックマークし、102件のコメントが寄せられるなど、白熱した議論を巻き起こした。本稿では、この一件を現代社会の変容を映す縮図として捉え、専門家が感じた「恐怖」の本質と、社会に広がる期待と懸念を分析する。そして、この出来事が象徴する、新たな世代の登場について考察を進めていく。彼らこそ、これからの時代を定義する「AIネイティブ」なのである。
本セクションでは、話題の学生が象徴する「AIネイティブ」という新しい世代を分析する。彼らは、AIを単なる補助ツールとしてではなく、思考や研究の方法論の中核に据えるという点で、旧来の世代とは一線を画す。その登場は、単なるツールの変化ではなく、知識を獲得し、体系化するプロセスそのものの革命を意味している。
この学生が実践した研究プロセスは、AIが方法論の根幹を成していた点で画期的であった。具体的には、以下の全工程をAIとの対話を通じて進めている。
このアプローチの革新性は、旧来の知識探索モデルとの対比によって鮮明になる。東京大学大学院情報理工学系研究科の山崎俊彦教授は、この新しい思考様式を「辞書の逆引き」という比喩で巧みに説明した。従来の検索エンジンは、ユーザーがキーワードを知っていることを前提とした「辞書の順引き」であり、既知の情報を効率的に探す行為だった。対してAIネイティブは、「やりたいこと」を自然言語でAIに問いかけることで、未知の領域を探求するためのキーワードや手法を引き出す「辞書の逆引き」を実践する。これは、人間と知識の相互作用における、根本的なパラダイムシフトである。
はてなブックマークのコメントは、この新しい学習様式がもたらす生産性の飛躍に対する社会的な期待を反映している。あるユーザーは、AIの活用により「人に教えてもらうのと同等のパフォーマンスが低コストで得られる」ため「習得速度が爆速に」なると指摘。また、これは単にAIに作業を丸投げするような話ではなく、「AIの力を借りて巨人の肩の高さを重ねる話」であり、人類の知の発展を加速させるものだという肯定的な見解も示された。
この爆発的な進歩の可能性は否定できない。しかし、それは同時に既存の専門家たちに、長く暗い影を落とし、不穏な新しい現実を突きつけている。
AIがもたらす希望の光の裏側には、深刻な懸念も存在する。特に、既存の専門家が感じる脅威と、AIの活用能力によって生じる新たな社会的格差のリスクは、真正面から向き合うべき構造的な課題である。
この問題の核心は、小川教授が吐露した率直な感情に表れている。経済学の訓練を受けていない学生がこれほどの成果を出したことに対し、教授は「心底たまげました」「このようなAIネイティブの若い人たちがこれからどんどん出てくることにちょっとした恐怖さえ感じました」と記した。この「恐怖」は、単に自らの職が奪われるという不安に留まらない。それは、長年の地道な研究と訓練を経て初めて到達できると信じられてきた専門性の価値そのものが、根底から覆されることへの動揺なのである。
はてなブックマークのコメント欄では、この現象を的確に捉える「レバレッジ」というキーワードが頻出した。「若く優秀な人がAIでレバレッジかけるととてつもない差になるんだろうね」「頭のいい人はAIでより賢くなる」といったコメントが示すように、AIは元々高い能力を持つ個人のアウトプットを飛躍的に増幅させる強力なツールとして機能する。
しかし、このレバレッジ効果は単なる個人の生産性向上に留まらず、社会構造を再編する力を持つ。yumanaka氏は、「地頭のいい人がAIを使いこなして圧倒的なアウトプットを出して、そうじゃない人の仕事を奪っていくんだろうな。こわい」と、その負の側面を鋭く指摘した。これは、AIが能力格差を埋めるどころか、むしろそれを爆発的に拡大させる触媒となり得ることを示唆している。このままでは、AI活用能力に長けた新たな「認知階級」が生まれ、高価値な仕事を独占し、社会の流動性を著しく低下させる未来さえ予見される。
このようにAIが生み出す成果の質と量が飛躍的に増大する中で、私たちはより本質的な問いに直面する。それは、その膨大な成果の「正しさ」を、一体誰が判断するのかという問題である。
AI技術の目覚ましい進展は、逆説的に「人間による最終的な評価と責任」の重要性をかつてないほど浮き彫りにした。本稿の中心的な論点はここにあり、その核心は、他ならぬ論文を作成した学生自身の行動によって最も明確に示されている。
彼が専門家である小川教授に助言を求めた最大の理由。それは、「自身には経済学の素養がないため、その評価が正しいのかわからない」という切実な懸念だった。AIは「国際誌に通用する水準」という評価を下したものの、その正当性を自力で検証する術を持たなかったのである。
この学生の懸念は、専門家による評価の不可欠性を示すものであり、はてなブックマークのコメント欄でも多くの共感を呼んだ。
評価の困難さ： 「生成AIを使いこなせば90点の論文が作れるが、90点かは評価・保証できない。」
専門知識の必要性： 「自分が知見の無い分野でのAIの判断が正しいかどうかをどうやって確かめるとよいのか。←ここが一番難しいし、専門知識が必要なところ」
懐疑的知性の重要性： 「循環参照やらハルシネーションやらを起こした文章を何も考えずにWikipediaに貼り付けるような人物もいるわけで、やっぱ懐疑的な知性と査読は大事なわけです。」
そして、この問題を鮮やかな比喩で捉えたのがobotzcanai氏のコメントだ。「巨人の肩に乗れたところで遠くに見えた島々の価値がわからなければ意味はない」。AIによって得られた広大な視野も、その価値を判断する専門的な知見がなければ無意味なのである。
さらに、この議論は「責任」の所在という、より深刻な領域へと深化する。e_denker氏は、「人間に残された最後の仕事は『責任を取ること』になるという話があるが、まさにそれを裏付けるような一件だと思う」と指摘した。この点をさらに鋭く突いたのが、phillies_rocks氏の「内面化できない成果物を作っても誰も責任を持てない」というコメントだ。AIが生成した成果に対して、その利用者は最終的な責任を負わねばならない。もしAIが設計した橋が崩落した場合、その責任は誰にあるのか。利用者か、開発者か、それともAI自身か。これは、AI時代の新たな倫理的・法的枠組みの構築が急務であることを示している。
この議論は、AI時代における専門家の役割がどのように再定義されるべきかという、未来に向けた重要な問いへと私たちを導く。
東京大学で起きた一件は、AIネイティブの登場が専門家の時代の終わりを告げるのではなく、その役割と価値を根本から進化させる契機であることを示している。AIが圧倒的な情報生成能力と実行力を手に入れた今、人間に、そして専門家に求められる能力は、もはや知識の生成や統合そのものではなくなった。
これからの時代に求められる専門家の資質は、以下の三つの能力に集約されるだろう。
未来の知のフロンティアは、AIネイティブがもたらす爆発的な「実行力」と、長年の経験と深い洞察力を持つ専門家の「検証力」および「責任能力」が融合する場所に開かれる。AIを恐れるのではなく、新たなパートナーとして迎え入れ、人間ならではの価値を磨き上げること。それこそが、私たちがこれから歩むべき道なのである。
「幹線道路」という単語から連想される規模の幅は大きいが、臭いなと思ったのは近所のコンビニ(3分の距離)とスーパー(5分の距離)に行くとき歩く片側2車線の県道。
歩いて7分に駅も2つあるよ。調べたところ東京駅まで40分らしい。
それに細い道でも車通るとくさいぞ
ドライバーは関係ないね、という感じみたいだけどドライバーだって車外を歩くことはあるわけだし、道路沿いではなく自然豊かな場所でも人間に害のある量の有害物質は検出されてる。
それに温暖化による害もある。
熱波の死者50万人時代、人体の限界探る研究者-室温40度で自ら実験台
https://www.bloomberg.co.jp/news/articles/2025-09-02/T1VQ9OGOYMTR00
6時17分、電動歯ブラシの音が寝室に反響する。洗面台の左端から15cmの位置に置かれたコップの水面が、微細に振動していた。オートミール40g、プロテイン12g、アーモンドミルク200ml。抽出比18:1のコーヒーは、温度計が93.0℃を示した瞬間に注ぐ。食事中、ルームメイトが「また同じ朝飯か」と言ったが、揺らぎは統計的誤差を生む。火曜日の朝に味の分散は不要だ。
午前8時。ホワイトボードには昨晩の計算式の断片が残っている。今日扱うのは、タイプIIB超弦理論の背景場に対する∞-層圏的修正モデル。モノイダル圏上の局所化関手をファイバー束の形で再構成し、非可換モジュラー形式の層化とホッジ双対性を同時に満たす条件を探す。通常のホモロジー代数では情報が落ちる。必要なのは、∞-圏の内側で動く「準自然変換」と、その自己準同型の導来空間だ。これをLanglands対応の派生版、すなわち「反局所的鏡映関手」にマッピングする。結果、弦の張力パラメータに対応する変形空間が、ホモトピー群πₙの非自明な巻き付きとして現れる。誰も確認していないが、理論的には整合している。ウィッテンですらこの構成を明示的に展開したことはない。そもそも導来層圏のモノドロミーを操作できる研究者自体が数えるほどしかいない。僕はそのわずかな孤島のひとつに立っている。
昼、ルームメイトが昼食を作っていた。キッチンのIHプレートに油の飛沫が残っていたので、座標系を設定し、赤外線温度計で範囲を確認してから清掃した。隣人が郵便物を取りに来た音がした。彼女の足音は毎回規則的だが、今日は左のヒールの摩耗音が0.2秒ずれた。おそらく週末に靴底を交換したのだろう。観測可能な変化は記録しておくべきだ。午後は大学のセミナー。話題はM理論の代数的拡張、だが発表者の扱っていた「微分層上の非可換コサイクル」は粗雑すぎる。導来圏の階層化を考慮していなかった。帰りの車中、ノートPCでホモトピー型タイプ理論を使って自作の演算モデルを再計算した。
帰宅後、友人二人が旧式のTCGのデッキを持ってきた。新パッチでエラッタされたカードの挙動を確認するための検証会だ。デッキの構築比率を1枚単位で最適化し、サイドデッキの回転確率をモンテカルロ法でシミュレートした。相手のコンボ展開が不完全であったため、ターン3で勝負が決した。カードの裏面の印刷ズレを指摘したら、彼らは笑っていた。テーブル上に置かれたスリーブの角度が4度傾いていたので、直してから次のゲームに入った。
夜。隣人が新刊のコミックを持ってきた。英語版と日本語版で擬音語の翻訳がどう違うかを比較する。onoma-topeic rhythmの差分は文脈ごとに変動するが、今回は編集者がセリフのテンポを原文に寄せていた。明らかに改良された訳。印刷の黒インクの濃度が0.1トーン深い。紙質も変わっている。指先で触れた瞬間に気づくレベルだ。
23時。寝具の方向を北北東に0.5度調整し、照明を2700Kに落とす。白板の前で最後の計算。∞-層のモノドロミー作用素が、ホッジ-ドリーニュ構造と可換する条件を整理する。導来関手の符号が反転した。ノートを閉じ、部屋の温度を22.3℃に固定する。音は一切ない。火曜日が静かに終わる。
私は、昔から宇宙の真理とかに中二病的に憧れるタイプのオタクだった。当然、物理学の究極の理論である「超弦理論」に手を出したわけだ。
しかし、すぐに気づいた。これは物理学のフリをした、超絶ハードコアな数学だということに。
超弦理論が語る世界は10次元とか11次元とか言われる。我々が知る3次元空間（+時間）以外に、極小に丸まった余剰次元が存在するらしい。この「余剰次元の形」が、この世界の物理法則（電子の質量とか、力の種類とか）を決めている、と。
「その丸まった形って、一体どんな形なんだ？」
この素朴な疑問に答えるために、私は抽象数学の沼に両足から突っ込むことになった。
この余剰次元の候補の一つに、有名な「カラビ・ヤウ多様体」がある。 こんな、SF映画に出てきそうな、美しくて複雑怪奇な図形が、実は電子の動きを決めているというのだ。
この「形」を数学的に扱うには、通常の微積分なんて全然役に立たない。必要になるのは、
トポロジーは、空間を伸び縮みさせても変わらない性質（穴の数とか）で分類する。「コーヒーカップとドーナツは同じ形！」という、あの有名な学問だ。
超弦理論では、この余剰次元の「穴の数」や「ねじれ具合」といったトポロジー的な性質が、物理学の重要な定数に対応することがわかっている。
純粋な「形」が、現実世界の「法則」を決めている。これ以上の恐怖と感動があるだろうか。
私が最も戦慄したのは、このトポロジーで使われる概念の一つ、「ホモロジー群 (Homology Group)」だ。
これは簡単に言えば、空間の「n次元の穴」を数えるための、めちゃくちゃ抽象的な代数的な道具だ。
例えば、ドーナツには「ぐるっと一周する穴」が一つある。ホモロジー群は、この穴を代数的に（群という構造を使って）記述してしまう。
この概念は、元々、誰がどう考えても「何の役にも立たない」純粋な遊びとして生まれた。ひたすら抽象的で、自己目的的な美しさしか持っていなかった。
「このホモロジー群こそが、余剰次元の空間に存在する『ひも』の巻き付き方を完全に記述している…！」
純粋な数学的創作物が、数十年後、この宇宙の最も深い設計図のキーコードとして機能している。
これを目の当たりにしたとき、背筋が凍ったね。
抽象数学は、人間が世界を記述するために作り出した「道具」ではない。
そうではなく、抽象数学こそが、この世界が構築される「ルールブック」であり「設計図」だったのではないか？
そして、我々人類は、その設計図を、何の目的もない純粋な思考実験（数学）を通して、たまたま発見してしまっただけなのではないか？
超弦理論の沼にハマって得たのは、物理的な知見ではない。「この世界は、あまりにも美しく、冷徹な数学的必然性によって成り立っている」という、人生観を揺るがす確信だった。
最後に一つ。
「ホモロジー」、ちょっとググってみてくれ。理解できなくて全然いい。その概念が持つ、純粋で絶対的な美しさに、少しでも触れてみよう。そうすれば、世界が少しだけ違って見えるはずだ。
エンベディングテーブルのベクトル表現はその程度の揺れであれば吸収できるので問題ないでしょう.
まず, 多義性は英語にも多分に含まれていて, エンベディングテーブルのベクトル表現においてその2つ以上の語義を同時に保持することは可能です. それが全く対極的な意味を保有している場合は確かに特徴量がおかしな事になりますが, 言語学的にそのような語彙は極めて稀です. (そういった使いにくい語彙は自然に消滅します)
語順も, 結局は次文予測が成立すれば良いので, 選択肢がやや増える程度です. Perplexity-based ChunkingやRAGAS, Semantic Chunking, Meta-Chunkingなどを組み合わせていけば確率的な予測も収束しますので十分に対応可能です. これはアジア系の研究者を中心とした研究が示しています.
これを理由に日本語を捨てるのはあまりに勿体ないし, それこそ研究の腕の見せどころでしょう.
学習の難易度は英語と比較すれば上がりますが, 世界には多様な言語がありますし, 現に30Bクラス以上の現行モデルでは対応出来てますから.
ただ, 音声入力変換は難易度が高い, これはご指摘の通りです.
音素列を発音辞書にマッピングする際に高度な文脈的判断が必要になるのは日本語の「ネック」と言えますね. 計算量も倍増しますし.
ただし推測の手法自体はありますから, いかにここを高速化できるかがまさに課題ですね.
日本語のfuzzyな多義性にはコミュニケーションにおいて良い点と捉えることもできますので, トレードオフとして現実的な折り合いを見つけるのが良いと考えます. これはまさにプロダクト作りの肝となるかと存じます.
共感性も社会性も完全に欠如してて"ガチ"で「自分やれます！」って思ってた可能性あるな
じゃないとあそこで「やりきりました！」つって泣けないだろ
私としては国産なり日本発のLLM開発を諦めてはならないし, その可能性は十分にあると信じています. 既に出ているものも多数ございますし.
本エントリはそれとは全く別の,
「国産LLMの人」という方についてです.
---------
色々思うところがありまして.
例えば,
と繰り返し主張しておられる.
そのような単純な活性化関数では過学習か誤差が噴出するかの二択でしょう. 実際, 氏のツイートは正にその状態を示唆しているように見受けられます.
```x
▶︎ 誤差が0.12あるだけでとんでもないエラー率になる。誤差関数が雑だから本当はもっとあるのかもしれないが、改善の余地がある。
▶︎ 問題は、どのような状態の時に学習が成功し、失敗するのかがまだ分かっていない。表現力は十分に持っているはずなのに、なぜか学習しない。
```
過学習に至ったときにうまくいってるように見えるだけでしょう.
```x
▶︎過学習ではないですね。データセットが小さいかつ、それ以外の範囲が出ないことが分かっているので。XORは2^2パターン全て学習できれば精度が100%になりますが、それは過学習とは呼ばないのと同じで、今回の初期のRNNに関しても文字数が圧倒的に少なく、パターンも決まっているので。
```
……と主張されておられる.
私が思うにそれは単純な写像を, ニューロンを使って回り道して作っている状態. LLMは局所的にはたしかに線形写像ですが,全体で見ても線型写像だとしたらそれは複雑な文章生成には到底耐えられないかと. (十分に大きいモデルをマクロに見ると非線形性があるので)
大規模言語モデル＝LLMを目指すとして,
そもそもエンベディングテーブルとは数百億から下手すれば1兆語彙を, たった数千〜1万次元程度のベクトルで表現する, 凄まじく繊細なテーブルです.
それをGELUやSwiGLUのような綺麗な活性化関数を使わずに, しかも爆速でやると仰っている. さすがにそのレベルの革新性を主張するには根拠がない限り, 飛躍が過ぎると判断されるかと.
そのやり方で, 例えば1億語彙までスケールするとして2乗の1京回×数千次元をバックプロパゲーションなしで学習するというのは……さすがにきついかと.
バックプロパゲーションが要らないという主張については活性化関数がきわめて単純だから. それなら全層に渡しても「修正」できるでしょう.つまり自明に近いですね.
勾配消失なんて関係ない, という主張については, xorというゼロイチでしか見ないのであれば勾配消失も何もありません. 永遠に層を貫通するわけですから, 何層増やそうがほとんど意味が出てこない. つまりそれは実際には極めて浅い層だけで動いてると思われる.
「こんに」から「ち」「は」が次文予測できたとの報告ですが, まぁ……それが「大規模言語モデル=LLM」にそのままスケールできると言い切れるのはなぜでしょうか?
MNISTだけでなくGLUEあたりをパスしてからにした方がいいと考える次第です.
```x
▶︎ 私が批判されながら、誤差逆伝播に変わるアルゴリズムや精度を30%→100%まで持っていく頭のおかしい行動が取れる理由は、以下の思想があるから。
▶︎ 1. 私のNNは高次元の万能近似回路
▶︎ 3. 何十回と失敗した経験則から、原因と対策が殆どわかっている
```
殆どわかってる, との事ですが, なんで上手くいってるのか分かってないとも自分で明言なさっている. ↓↓↓
```x
▶︎ 学習が進まないの、謎。単体だと上手く動いてるはず？何が原因だろうか。
▶︎ 学習アルゴリズム開発者本人ですが、なぜ学習が進むのかは謎です。
```
既存手法があまたの失敗の上で最適だと言われてきてる経緯もよく知った方がよい.
それはごく初期にそういった様々な試行錯誤のうえで「やはりGELUやBPが現実的にいい性能が出せるし, コストも抑えてこれである」と様々な研究者が合意しているような状況.
そして, そもそもアカデミアは自分のアイディアも含めて新規手法を常に疑ってかかるのが基本姿勢.
ジャーナルに「不確実さ」を載せないためで, それが積み重なると自他問わず全ての研究が信用出来なくなってしまうため. だから懐疑的になる. 個人攻撃ではないのです.
出さないのも自由ですが, 前述の理由で信頼を得られない. これは言動に一切関わらず, その厳密性をフラットに評価してそう判断しているから. 感情ではなく, 論理として.
……と, ここまで色々と蛇足なアドバイスをさせていただいたものの, この投稿に対しても
```x
▶︎ 何もわかってない人が国産LLMのやつ批判してて吹いたww
```
といったツイートをなさるのでしょう. (過去に氏がそう仰っていたので)
先に答えておきますね.
「自分のやってることがご自分でお分かりにならないようなら, 私にわかるわけがないですし仰る通りです. ただ, 詳しい者として一般論は申し上げられます.」
まだ間に合いますので, 大学院あたりまで修了なさるのがおすすめです.
Twitterに何を投稿しようと自由です. でも自分で違和感を見て見ないふりするのだけはやめたほうがよろしい. 既存手法と同等に自分の手法を疑うこと, これは研究者としての基本姿勢です.
研究テーマ設定を見かけるとついつい, より良い筋でやっていけるようアドバイスしたくなってしまう性が染み付いてしまっているためでして.
もちろん, 関わりのない方ですので蛇足でしかないのですが, 多くの方に影響力をお持ちでありつつ研究の進め方については独自の姿勢を持つように見受けられまして.
それはもちろん根本的には自由でありつつ, 相談相手の需要がもしあればひとつの(一般的)意見をお渡しできるかなと思いキーボードを叩いた次第です.
どうか匿名でご勘弁を.
--------
【追記】
おそらく氏のやられていることは順伝播 (forward propagation) のみでの学習かと思いますが, この手法の先行研究は山のように存在します.
(Hebbian theory, Perceptron, Adaptive Linear Neuron:ADALIN, Widrow-Hoff learning rule...)
見つけられないとすれば, 古典的 (1960~1980年頃) ゆえに電子化されていないためです. 現行の商用LLMがそれらの情報を簡単に連想して引用できず, DR等で検索しても出てこないのはその為でしょう.
これらに簡単にアクセスするためにはやはり学術機関に所属して図書館を利用するのが圧倒的に楽です. マイクロフィルムや紙媒体でしか残っていないものもありますから.
また, 有料データベースであるJSTOR, IEEE Xplore, Springer Linkなどにもアクセスが出来ます.
なお, arXivはあくまでプレプリントですので, 論文として引用するには査読を通過したものをつよく推奨します. ジャーナルもものによっては不十分な査読で掲載されてしまいますので, トップカンファレンスのものを信頼できる足がかりの論理として扱うのが基本的な考え方となります.
また, 「分からなければ (大量に貼った) 論文を読んでください」という姿勢は, それぞれをどう引用し, どのように自分の主張と論理的に接続するかの説明がなされなければ根拠として見なされないのが一般的な考え方です.
ブログとしての掲載はもちろん自由ですが, それらを十分な説明として取り扱ってもらうには至らないでしょう.
論文を引用するからにはそういった丁寧な取り扱いをすることを期待されるものです. 「敬意がない」と他の方から指摘されるのはおそらくそれが理由でしょう.
これは, 過去の論文を引用しながら新たな主張を論文として営々と積み上げ続けてきたアカデミアの「過去への感謝」という慣習です.
人の行動は自由ですから「こうしろ」とは申し上げませんが, この暗黙の了解を保持する (≈研究機関に所属したことのある) 方からの理解を得るのはこのままですときわめて難しいであろう, とアドバイスさせてください.
こういった主張のやり方を自分なりに一から身につけるのはたいへん難しいので, どなたかそういった手法を学べる信頼できる方に師事することをおすすめしている次第です.
誰もが恐れおののくS先生の演習を、先輩は軽々とこなしていた。みなテキストに注釈を付けるのがやっとで、それも不十分だと厳しく指摘されるのに、先輩が担当すると一回一回が論文になるような内容だった。先輩は時にはS先生の論に真っ向から反対するコメントすらした。
大学院に行こうと決めたときから、先輩はなにかにつけ私をかまってくれた。私が落ち込んでいるときも単に暇なときも、よく飲みに連れて行ってくれた。先輩は酔うと大学院に進学するために心ならずも故郷に捨ててきた恋人の話をした。その人と私はどうやらどこか似ているようだった。カウンターでウイスキーを飲みながら先輩はいつも苦しそうに「今どうしてるかなあ。幸せに暮らしてるかなあ」と言うのだった。「すっかり忘れて楽しくやってるよ」と私が言うと、先輩は据わった目で私を見て「ひどいヤツ」と言い、それから「そうかなあ、そうかなあ」といつまでもぶつぶつ言っているのだった。
就職が決まったとき先輩は学部生の女の子にもらったと嬉しそうに紙袋をブラブラさせていた。私も何かお祝いを用意しておいたらよかったと思った。梅田の紀伊国屋前で別れ際、そうだ、これがお祝いと先輩の頬にキスをした。笑いながら手を振ってしばらく歩いて振り返ったら、人混みの中で背の高い先輩が頬を抑えて小学生の男の子みたいに呆然とつったっていた。
喪主のおつれあいによると、激務という言葉がぴったりの働き方だった。論文なんか書けない状況だった。なのに学会で会ったとき、ぜんぜん論文書いてないですね、先輩あんなに論文書かない研究者を馬鹿にしていたのにかっこわるいというようなことを言ってしまった。このまま何も書かないで先輩が研究者でなくなってしまうんじゃないかと寂しかった。ごめんなさい。先輩はメチャメチャかっこよかった。本当に、メチャメチャかっこよかったよ。
https://www.itmedia.co.jp/news/articles/2510/27/news028.html
50歳以上の精子、約25個に1個が変異 「子に発達障害やガンなどをもたらす可能性」 英国チームが発表
英国のWellcome Sanger Instituteなどに所属する研究者らがNature誌で発表した論文「Sperm sequencing reveals extensive positive selection in the male germline」は、精子の遺伝子変異を詳しく調べた研究により、父親の年齢が上がるにつれて子供に病気を引き起こす可能性のある変異が増えるという研究報告だ。
