• はてなブックマーク
  • テクノロジー
  • 驚異の1ビットLLMを試す。果たして本当に学習できるのか?｜shi3z
  • Twitterでシェア
  • Facebookでシェア

驚異の1ビットLLMを試す。果たして本当に学習できるのか?｜shi3z

テクノロジー カテゴリーの変更を依頼 記事元:note.com/shi3zblog
適切な情報に変更
441users がブックマーク コメント 65
    共有

    • 記事へのコメント65件

    • 注目コメント
    • 新着コメント
    その他
    mohno
    「いくつか実装を試したが、一番手っ取り早く動かせたのはこれだった」←このフットワークの軽さは凄いと思う。「論文著者はlog2(3)で1.58ビットという主張をしている」←乗算を使わないことが重要なのか。

    その他
    sek_165
    3値論理（Ternary）を敢えて使わなかったのは名前のインパクト重視だからだろうか。

    その他
    Palantir
    すごく古い教科書知識を引っ張り出すと、1bitは人間の定義で2状態にしてるけど、計算上は3状態の方が計算速度がはやいって記憶がある。BinaryじゃなくてTrいnaryになるの？

    その他
    untanman
    この1ビットは平衡三進法かな。 https://ja.wikipedia.org/wiki/%E4%B8%89%E9%80%B2%E6%B3%95#%E5%B9%B3%E8%A1%A1%E4%B8%89%E9%80%B2%E6%B3%95 "「おそらく、あらゆる記数法の中で最も美しい」と言う者もいる"

    その他
    shields-pikes
    BitじゃなくてTrit？　性能に頭打ちが無ければ、おそらく今後の機械学習ユニットは3値処理する素子で構築されたチップを積むようになるし、トランジスタベースより量子コンピュータの方が相性良さそうな気がしている。

    その他
    toaruR
    ググったら、理科大がスパースターナリーニューラルネットワークAIチップとやらを作ってる(・ω・)

    その他
    circled
    クソ高NVIDIA GPUを研究で使わなくても良くなってきた雰囲気だけど、そうは言っても我々は今日もゲームのFPSを上げたいのです（というグラボ需要）

    その他
    hobbiel55
    NVIDIA株が下落するな。日経平均のバブルも終わりか。

    その他
    golotan
    これあくまで推論の話だからGPUが不要になるというのは誇大広告では/すみません嘘でした。ただ勾配計算時に浮動小数点数の乗算はなくなるの？ あとnormとかどうしてるんだろう

    その他
    oisux
    この記事で試されているのは-1,1の二値に量子化する従来のBitNetで、記事冒頭に出てくる論文のBitNet b1.58(-1,0,1に量子化する)ではない

    その他
    nakamura-kenichi
    BitCoinにやられたと思ったら、AIにやられまくってるGPU市場も、これでようやく（入手的にも価格的にも）ゲーマーに優しくなるんやろかｗ。

    その他
    quwachy
    アナログからデジタルになった。アルトマンも1000兆円集める前で良かったね

    その他
    cnln
    すごい。

    その他
    mozukuyummy
    AI研究者が世界的に巨大なインパクトを持つ発表をする前に、AI関連の他社の株に空売りなり信用買なり入れたらインサイダーになるんだろうか、という下衆なことを考えてしまった。平衡三進法が美しいのは同意。

    その他
    eiki_okuma
    バイナリー云々とかどうでもよくない？これ、全世界で試作が始まってるだろうし、一ヶ月もしないうちにとんでもないことになるんじゃ……

    その他
    Rambutan
    3値論理が主流になるならNVIDIAもGPUに組み込むか専用プロセッサを開発するでしょ

    その他
    ch1248
    3値論理（Ternary）か

    その他
    roshi
    データベースの世界では三値論理はアンチパターンって言われるけどLLMの世界では活躍するの興味深い。

    その他
    kei_1010
    こういうのをサクッと試して本当かどうか判断できるのは、さすがだなぁ、と思う。すごい。/ とりまNVDA 空売りの注文を入れておいた。いくら何でも高すぎだし。

    その他
    mk173
    脳？

    その他
    bamch0h
    よかった、みんな同じ気持ちだったんだね。

    その他
    diabah_blue
    清水さんはフットワークが軽いなあ。

    その他
    miurahiroshi
    画期的と思う。「浮動小数点よりも整数演算装置になるって程度」程度ではなく凄いこと。加算に比べると浮動小数点はかなり重い処理

    その他
    medihen
    "今回の論文では、3B以上のパラメータサイズになるとBitNetは精度でも推論速度でもtransformerに勝つことがわかり、70Bモデルになるとその推論速度差は現行のハードウェアでさえ8.9倍になるという"

    その他
    ntstn
    NVIDIAショック！とかやめてよね？いろんな研究はしてるだろうけど。

    その他
    yamadar
    "BitNetはもともとすごい可能性を秘めていたのだが色々な人の直感に反していたためこれまで真に有望な技術とは考えられておらず追試があまりされていなかった"

    その他
    buhoho
    話は聞かせてもらった。シンギュラリティは近いぞ！🥸

    その他
    yarumato
    “わずか5時間でセットアップできた。なんかそれっぽいこと言ってる!　しかも小さいから当たり前なのだが推論は超速い。モデルサイズは200MB。GBじゃないよ。このサイズでこの解答、文法的に合ってるのが驚異的だ。”

    その他
    misshiki
    “モデルサイズは200MB。GBじゃないよ。僕は小さい言語モデルも大きい言語モデルもそこそこ触って来た方だと思うが、このサイズでこの解答は驚異的だ。”

    その他
    natumeuashi
    マイニングやAIでゲーマーに散々砂をかけてきた革ジャンが再びゲーマーに手の平クルーする未来

    その他
    nankichi
    ビジネスやるよりもコード書いていた方がいいお方なんだろう

    その他
    golotan
    golotan これあくまで推論の話だからGPUが不要になるというのは誇大広告では/すみません嘘でした。ただ勾配計算時に浮動小数点数の乗算はなくなるの？ あとnormとかどうしてるんだろう

    2024/02/29 リンク

    その他
    Yagokoro
    結局、パラメーター数だけが正義って事っぽいなあ

    その他
    daishi_n
    実質的には2bit、3ステートなので1.5bit扱いか。1.5bitにデータを詰めるのは面倒なので2bit演算器で並列演算かな

    その他
    sqrt
    論文のタイトル「Addition Is All You Need」かなと思ったら「The Era of 1-bit LLMs」だった。新しいパワーワードだ。

    その他
    sirius_taka
    新しいグラボに買い換える理由が奪われてしまう

    その他
    aike
    新アーキテクチャのアクセラレータが必要になりそう→短期間でそんなものを設計できるのはジム・ケラーくらい→彼は今どこ？→テンストレント社でAIアクセラレータを開発してる、というところまで連想した。

    その他
    kazoo_oo
    3進数(ternary) って言っちゃダメなのかな。

    その他
    otoan52
    おお。検証できてるとこもすごいな

    その他
    hasiduki
    1.5ビットLLMPUとかできたらもはやコアとか言ってられないな！！！！！！

    その他

    注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

    アプリのスクリーンショット
    いまの話題をアプリでチェック！
    • バナー広告なし
    • ミュート機能あり
    • ダークモード搭載
    アプリをダウンロード

    関連記事

    驚異の1ビットLLMを試す。果たして本当に学習できるのか?｜shi3z

    昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた...

    ブックマークしたユーザー

    すべてのユーザーの
    詳細を表示します

    同じサイトの新着

    同じサイトの新着をもっと読む

    いま人気の記事

    いま人気の記事をもっと読む

    いま人気の記事 - テクノロジー

    いま人気の記事 - テクノロジーをもっと読む

    新着記事 - テクノロジー

    新着記事 - テクノロジーをもっと読む

    同時期にブックマークされた記事

    いま人気の記事 - 企業メディア

    企業メディアをもっと読む

    はてなブックマーク

    公式Twitter

    はてなのサービス

    • App Storeからダウンロード
    • Google Playで手に入れよう
    Copyright © 2005-2025 Hatena. All Rights Reserved.