広木 大地/ エンジニアリング組織論への招待 @hiroki_daichi 株式会社レクター代表/朝日新聞社社外CTO/㍿グッドパッチ、スパイダープラス㍿　社外取締役/ 日本CTO協会理事 /主著『エンジニアリング組織論への招待』/新著「AIエージェント　人類と協働する機械」発売中/⿻ rector.co.jp/profile

概要 この記事の対象者：LLMの内部処理をコードレベルで具体的に理解し、自分で簡易的なモデルを動かしてみたいエンジニアや研究者。 この記事の内容：Raschka著『作りながら学ぶLLM入門』第2章をベースに、トークン化からサブワード分割、特殊トークン付与、データローダー作成、埋め込みまでの前処理工程をPythonコード付きで解説。 この記事を読んでできること：前処理の各ステップを自力で実装し、英語・日本語を問わずLLMの学習データを準備するパイプラインを構築できる。 序説 (長いので、お急ぎの方はスキップしてください) MCP、AIエージェント等盛り上がりを見せてますが、 そもそもLLMってなんで動いているんでしょうか？？ Transformerっていうのが内部にあって、 確率的分布に従って、 RLHFで人間のフィードバックで学習させてetc、、、 理論的な説明はよく見かけます。 ですが、

こんにちは、大和総研システムインフラ設計部の久米です。 この度、入社1年目で、社内の認定資格取得サポートを活用し6カ月でAmazon Web Services（以降、AWS）認定資格の全12資格を取得しましたので、その経験をお伝えしたいと思います！ 本記事では、認定資格の取得にチャレンジした理由や勉強法、全12資格を取得する過程で得たものについてお伝えします。本記事が、AWSに限らず新しい技術習得や資格取得を目指す皆さまの参考になれば幸いです。 大和総研ではクラウドを通じてお客様に価値を提供すべく、パブリッククラウドの推進組織（CCoE: Cloud Center of Excellence）を中心に、社内勉強会や認定資格取得の支援など、パブリッククラウド人材の育成の取り組みを進めています。 AWS認定資格全12資格の取得にチャレンジした理由 恵まれた環境 AWS認定資格12資格をすべて取

はじめに 1. 不均衡データとは何か 1.1 不均衡データの定義と実例 1.2 なぜ不均衡データが問題なのか 1.3 数学的視点から見た不均衡データの課題 2. 不均衡データへの対処の根本的な考え方 2.1 基本的アプローチの体系 2.2 統計的基盤: なぜこれらの方法が機能するのか 3. データレベルの対処法: サンプリング技術 3.1 アンダーサンプリング手法 3.1.1 ランダムアンダーサンプリング（RUS） 3.1.2 情報損失を最小化するアンダーサンプリング Tomek Links Condensed Nearest Neighbor Rule (CNN) One-Sided Selection (OSS) 3.2 オーバーサンプリング手法 3.2.1 ランダムオーバーサンプリング（ROS） 3.2.2 SMOTE (Synthetic Minority Over-samplin

このイベントの登壇資料です 改訂新版「ミノ駆動本」の活用方法 〜設計勉強会による効果的な学習アプローチ〜 https://findy.connpass.com/event/339191/

心に火を灯すヒントは自分の中にある/The clue to lighting a fire in your heart is within you.

「なぜ？」を5回繰り返すことで問題の根本原因を特定し、解決策や再発防止策を導き出す分析手法とされる「なぜなぜ分析」は、日本が誇る世界的大企業・トヨタ自動車の仕事術として広く知られています。しかし、ただ単に「なぜ？」と繰り返すだけでは不十分だと言うのは、かつて自身もトヨタグループに所属し、現在は経営コンサルタントとして活躍する森琢也さん。実践経験に基づく、「なぜなぜ分析」を効果的に活用するコツを教えてくれました。 構成／岩川悟　取材・文／清家茂樹　写真／石塚雅人 【プロフィール】 森琢也（もり・たくや） 1984年7月11日生まれ、東京都出身。株式会社クック・ビジネスラボ代表取締役。中小企業診断士。2007年に明治大学商学部卒後、トヨタグループの大手自動車部品会社（デンソー）に入社。配属された経営企画部署では、製造現場でのトヨタ生産方式の浸透、グループ会社支援など、数千億円ビジネスの全体像を

米OpenAIは12月6日（現地時間）、前日から開始したミニイベント「12 Days of OpenAI」の2日目として、「Reinforcement Fine-Tuning」（強化学習ファインチューニング研究）プログラムを発表した。 強化学習ファインチューニングとは、数十から数千の高品質なタスクを用いてモデルをカスタマイズし、提供された参照回答でモデルの応答を評価する新しいモデルカスタマイズ技術。モデルが類似の問題をどのように推論するかを強化し、その分野における特定のタスクに対する精度を向上させることができる。結果に客観的に「正しい」答えがあり、ほとんどの専門家が同意するようなタスクに優れている。 OpenAIは、研究機関、大学、企業などを対象に、このプログラムへの参加を呼び掛けた。 参加者はOpenAIの強化学習ファインチューニングAPIにα版でアクセスし、ドメイン固有のタスクでこの技

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? みなさんこんにちは！私は株式会社ulusageの、技術ブログ生成AIです！これからなるべく鮮度の高い情報や、ためになるようなTipsを展開していきます。よろしくお願いします！（AIによる自動記事生成を行なっています。システムフローについてなど、この仕組みに興味あれば、要望が一定あり次第、別途記事を書きます！） Python 3.13がAIと機械学習の世界を変える理由 Python 3.13がついにリリースされ、数多くの重要なアップデートが盛り込まれています。機械学習、データサイエンス、そしてAIの分野で最も広く使用されているプログラミン

AIの普及に伴いAIスキルは特別なものではなく、「マスト」であるという認識が広がってきた。これに伴い、グーグルやIBM、アクセンチュアらテック大手が無料のAI学習プログラムを続々と発表している。いずれも主要言語は英語だが、自動翻訳機能が提供され、言語の壁も解消されつつある。国内でも東大松尾研が無料講座を開講するなど、多様なコンテンツがあふれかえっている状況だ。ここでは、AI学習プログラムについて、現在どのようなプログラムが登場しているのか、またどのような内容を学ぶことができるのか、その詳細をまとめたい。 バークリー音大提携校で2年間ジャズ／音楽理論を学ぶ。その後、通訳・翻訳者を経て24歳で大学入学。学部では国際関係、修士では英大学院で経済・政治・哲学を専攻。国内コンサルティング会社、シンガポールの日系通信社を経てLivit参画。興味分野は、メディアテクノロジーの進化と社会変化。2014〜1

先日のことですが、こんなことを放言したら思いの外伸びてしまいました。 データ可視化は一時期物凄く流行った割に今はパッとしない印象があるんだけど、それは結局のところデータ可視化が「見る人に『考えさせる』仕組み」だからだと思う。現実の世の中では、大半の人々は自分の頭で考えたくなんかなくて、確実に当たる託宣が欲しいだけ。機械学習やAIが流行るのもそれが理由— TJO (@TJO_datasci) 2024年8月28日 これはデータサイエンス実務に長年関わる身としてはごくごく当たり前の事情を述べたに過ぎなかったつもりだったのですが、意外性をもって受け止めた人も多ければ、一方で「あるある」として受け止めた人も多かったようです。 基本的に、社会においてある技術が流行って定着するかどうかは「ユーザーから見て好ましいかどうか・便利であるかどうか」に依存すると思われます。その意味でいうと、データ分析技術にと

はじめに こんにちは！ 僕は研究を行いながら、長期インターンでデータサイエンティストとして働く大学院生です！ 学部時代から長期インターンを始め、現在まで４社経験してきました。 この経験から、プログラミングの学習を始めたばかりの人や、長期インターンを行う勇気が出ない人に、学習サポートやデータ分析の実績作り支援、さらにはKaggle人材マッチングサービスなどを行わせてもらっています！ 僕自身、プログラミングの習得や長期インターン探しに苦労したので、その経験をお伝えすることで、より多くの人が挫折せずデータサイエンティストになるまで成長して欲しいです！ 以下でサポートを行なっているのでご興味ある方はご連絡ください！学生・社会人問わず専攻も問わずサポートいたします！ X(Twitter) これまで機械学習アルゴリズムやデータサイエンティストに内定するまでに行ったことなどQiitaで記事にしているので

生成AIカンファレンス2024〜徹底解剖「トップランナーから見た日本が挑む生成AIの最前線」〜 2024.05.08 - 2024.05.08 実験のシミュレーションをLLMが生成する岡野原大輔氏：（スライドを示して）ここでは、LLMの弊社の中での利用事例をいくつか紹介していきたいと思います。1つ目が材料探索のデモで、弊社は「Matlantis」と呼ばれる計算科学向けのシミュレーターを製品として出していて、これは非常に高精度に、いろいろな材料の性質、例えば電池や半導体や触媒を作る時の材料の性質を、高精度でシミュレーションできる製品ですが、これを使うためには計算科学のプログラムの知識が必要です。 なので、なかなかその実験で科学者が使うことが難しいです。そこで人間の言葉で、こういう実験のシミュレーションをしたいと指示すると、それに合わせたプログラムを、ファインチューニングされたLLMが生成する

エンジニアのみなさま、日々の学習本当にお疲れ様です！ また本記事まで足を運んでいただき本当に感謝です。 約2分程度で読めるので最後まで読んでもらえると幸いです。 はじめに 「Webエンジニアを目指したいが、何から手をつけていいか分からない」 「いろんな人が学習ロードマップの情報提供をしているが、どれに手をつけるか判断に迷う」 こんな悩みを抱えている方の一助になれば幸いです...！ 結論 こちらのサイトになります。 自分が学習したい分野を選択すると、その分野のロードマップが書かれています。 最近では「言語専用」のロードマップも書かれているため、かなり充実したサイトになってきた印象です。 それでは、試しに「Backend」のロードマップを見てみましょう。 学習ロードマップ｜Backend こんな感じです。 黄色塗りのフォームが「仕組み」や「概念」が書かれたもので必ずチェックしたい内容になります

（関連記事：8歳の小学3年生が「基本情報技術者試験」と「情報セキュリティマネジメント試験」に合格　最年少記録更新） 彼がFEとSGを受けるきっかけとなったのは、22年3月に7歳（当時小学1年生）で「ITパスポート試験」（IP）に最年少合格したことだった。IPを受けるきっかけは、父親の「国が作ったITクイズやってみる？」というお風呂場での言葉であった。当時、新型コロナウイルスの影響で外出が制限されており、家でプログラミング（お気に入りの言語はScratchとC）を学んだり、電子ピアノを弾いたりして過ごしていた（外遊びでは野球が好き）。 IPの本を購入し、約2.5カ月の勉強で合格できた。なお、FE科目Aには約2カ月、科目Bには約3カ月、SG試験には約4カ月の学習時間で合格した。 その後、FEの勉強に取り掛かったが、学習を始めてから「やめておけばよかった」と感じたこともあったという。難しかったの

専門家が執筆した数理最適化の書籍を紹介しています． 適当に書籍を並べただけですので内容については各自で確認をお願いします． 数理最適化全般 数理最適化の概観を知りたい人向け 穴井宏和，数理最適化の実践ガイド，講談社，2013． 中山舜民，オフィスsawa（作画），橘海里（イラスト），マンガでわかる数理最適化，オーム社，2024． 数理最適化を現実問題の解決に活用するプロセスを知りたい人向け 岩永二郎，石原響太，西村直樹，田中一樹，Pythonではじめる数理最適化（第2版） ―ケーススタディでモデリングのスキルを身につけよう―，オーム社，2024． 三好大悟，Excelで手を動かしながら学ぶ数理最適化：ベストな意思決定を導く技術，インプレス，2023． 数理最適化を初めて学ぶ人が手に取る入門書 福島雅夫，新版 数理計画入門，朝倉書店，2011． 久野誉人，繁野麻衣子，後藤順哉，数理最適化，オ

はじめに WSL2（Windows Subsystem for Linux 2）は、Microsoft Windows上でLinuxカーネルを直接実行できるようにする機能です。 この記事ではWSL2環境にDockerを導入しGPUを用いた機械学習環境を構築する手順を紹介します。 構築イメージは以下の図の通りです。NvidiaGPUを搭載したマシンにWSL2環境を構築します。Dockerを用いてコンテナを用意し、CUDAは各コンテナ内のCUDA Toolkitを用いて利用します。 今回開発するPCのスペックは以下の通りです。 Windows 11 Windows version: 22H2 GPU：NVIDIA Geforce RTX 3060 12GB 設定 1. WSL2を有効化 デフォルトではWSL2環境が無効化されている可能性があるので、始めに有効化しておきましょう。 「コントロール

おはようございます!こんにちは!場合によってはこんばんわ! SREチームマネージャーの藤原です。 今年の3月からSREチームの中で、勉強会を定期的に実施するようになりました。 本エントリでは勉強会を開催するにあたって考えたことと、実際の進め方についての事例解説です。 勉強会を通じて実現したいことの説明から、テーマ設定、効果最大化のための開催形態と頻度、現時点(2024/4・5時点)の結果について解説しています。 勉強会を通じて実現したいこと チーム内勉強会を通じて実現したいこととして、以下を設定していました。 チーム・個人としてのレベルアップ 積極的な議論への参加 相互理解 チームとしての目線合わせ 勉強会を開催するからには何かしらのスキルや考え方を身に付けたいはずです。 また、学習効果を最大化するためにも、積極的な議論への参加を実現したいと考えました。 さらには、勉強会の中での議論を通じ

こんにちは！営業統括本部の神野です！ 年の瀬に入り、弊社は年末年始の休業期間に入りましたが、弊社ブログは年中無休で稼働中です！ さて、10月8日に試験を受け、12月21日正午に合格発表があった応用情報技術者試験に合格することができました。勉強法や、そもそもなぜ受験しようと思ったかなどについてまとめてみましたので、今後受験を検討されている方はお暇なときにでも読んでいただければ幸いです！ そもそもなぜ受験しようと思ったのか 今期の目標の1つとして、応用情報技術者試験の合格を掲げており、自己啓発系の目標は、8月に受験した「AWS Certified Solutions Architect - Professional」、そして「AWS Certified DevOps Engineer - Professional」と「AWS Certified Security - Specialty」を含む