ChatGPTなど数々の高性能AIを生み出した仕組み「Attention」についての丁寧な解説ムービーが公開される

テクノロジーカテゴリーの変更を依頼記事元:

gigazine.net

289users がブックマークコメント

コメント

9

記事へのコメント9件

注目コメント
新着コメント

sek_165 次の単語を予測するのはTransformerではなくGPTの学習方法。Transformerの中のSelf Attentionはある単語との関連が大きい単語に重み付けしているだけ。

2024/04/17 リンク

T-norf 第1層では確かにTransformerのattention機構は単語間の関係性を出現位置に関わらず符号化してるけど、元論文の時点でそれが数層重なってるし、GPT3.5だと数十層も重なってるので、奥の方では単語によらず処理してると思うよ

2024/04/17 リンク

pekee-nuee-nuee みてみるか

2024/04/19 リンク

soratokimitonoaidani あとで見る

2024/04/18 リンク

ducky19999 πがかわいい

2024/04/17 リンク

Coolions 仮想通貨の仕組みはここの動画で学びました

2024/04/17 リンク

sek_165 次の単語を予測するのはTransformerではなくGPTの学習方法。Transformerの中のSelf Attentionはある単語との関連が大きい単語に重み付けしているだけ。

2024/04/17 リンク

jssei 動画もあとで見る。

2024/04/17 リンク

T-norf 第1層では確かにTransformerのattention機構は単語間の関係性を出現位置に関わらず符号化してるけど、元論文の時点でそれが数層重なってるし、GPT3.5だと数十層も重なってるので、奥の方では単語によらず処理してると思うよ

2024/04/17 リンク

syu614 日本語バージョンもよろしく頼む

2024/04/17 リンク

tanority このチャンネル好き

2024/04/17 リンク

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

リンクを埋め込む

以下のコードをコピーしてサイトに埋め込むことができます

<iframe marginwidth="0" marginheight="0" src="https://b.hatena.ne.jp/entry.parts?url=https%3A%2F%2Fgigazine.net%2Fnews%2F20240416-visualizing-transformer-attention%2F" scrolling="no" frameborder="0" height="230" width="500"><div class="hatena-bookmark-detail-info"><a href="https://simplerecipeideas.com?arsae=https%3A%2F%2Fgigazine.net%2Fnews%2F20240416-visualizing-transformer-attention%2F" target="_parent">ChatGPTなど数々の高性能AIを生み出した仕組み「Attention」についての丁寧な解説ムービーが公開される</a><a href="https://simplerecipeideas.com?arsae=https%3A%2F%2Fb.hatena.ne.jp%2Fentry%2Fs%2Fgigazine.net%2Fnews%2F20240416-visualizing-transformer-attention%2F" target="_parent">はてなブックマーク - ChatGPTなど数々の高性能AIを生み出した仕組み「Attention」についての丁寧な解説ムービーが公開される</a></div></iframe>

プレビュー

規約違反を報告

アプリのスクリーンショット

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

関連記事

ChatGPTなど数々の高性能AIを生み出した仕組み「Attention」についての丁寧な解説ムービーが公開される

さまざまな数学的トピックをムービー形式で解説するサイト「3Blue1Brown」において、ChatGPTに代表され... さまざまな数学的トピックをムービー形式で解説するサイト「3Blue1Brown」において、ChatGPTに代表されるAIを形作っている「Transf ormer」構造の心臓部「Attention(アテンション)」についての解説が行われています。 3Blue1Brown - Visualizing Attention, a Transf ormer's Heart | Chapter 6, Deep Learning https://www.3blue1brown.com/lessons/attention AIの中身と言える大規模言語モデルのベースとなる仕事は「文章を読んで次に続く単語を予測する」というものです。文章は「トークン」という単位に分解され、大規模言語モデルではこのトークン単位で処理を行います。実際には単語ごとに1トークンという訳ではありませんが、3Blue1Brownは単純化して

ブックマークしたユーザー

techtech05212024/06/30
byaa00012024/06/10
dna_z2024/04/29
keloinwell2024/04/28
mixedjuicegofyugofyu2024/04/25
pekee-nuee-nuee2024/04/19
shinchi2024/04/18
akishin9992024/04/18
takaboujp11222024/04/18
delegate2024/04/18
moritata2024/04/18
Nink2024/04/18
yahihi2024/04/18
wfunakoshi2352024/04/18
marmarossa2024/04/18
soratokimitonoaidani2024/04/18
jack09092024/04/17
yoshi_yoshi_442024/04/17

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - テクノロジー

いま人気の記事 - テクノロジーをもっと読む

新着記事 - テクノロジー

新着記事 - テクノロジーをもっと読む

いま人気の記事 - 企業メディア

企業メディアをもっと読む

設定を変更しましたx