TOPフォーカス統計ツール・HADを20年作り続けて。自作マクロが、700回“引用”されたフリーソフトになるまで【フォーカス】 統計分析用フリープログラム「HAD」開発者 関西学院大学 社会学部 教授 清水 裕士 社会心理学者。専門は社会心理学、グループ・ダイナミックス。大阪大学大学院博士課程に在籍していた2005年から、フリーの統計分析プログラム「HAD」の開発を始める。以来、約20年にわたり、本業の研究・教育活動と並行して開発と保守を継続。趣味は、研究。 X HAD（個人サイト内） researchmap 「統計分析ツール」といえば、何を思い浮かべるでしょうか。「SAS」（※1）や「SPSS」（※2）のような高機能な商用ソフトでしょうか。「R」や「Python」といったプログラミング言語で分析スクリプトを組むのもスタンダードかもしれません。 そんな中、主に心理学の領域で20年近くにわた

筒井.xls@エクセル関数擬人化本著者 @Tsutsui0524 Excelが好きな経理職、絵描きです エクセル関数の擬人化(#関数ちゃん )を発信しています！ 著書『関数ちゃんと学ぶエクセル仕事術(インプレス)』 (amzn.to/40xC3Uf) 関数ちゃんブログ (aka-aca.com) 関数ちゃんイラストは #関数ちゃんファンアート aka-aca.com 筒井.xls@エクセル関数擬人化本著者 @Tsutsui0524 中途採用の人がデータ分析が得意らしいんですけど 「分析するので、さあ！データを下さい！」 っていうスタンスのようで、色々揉めてる そこからやるんだよ 2025-05-20 08:40:59

米Perplexityは2月14日（現地時間）、米Googleと米OpenAIに続き、調査と分析を自律的に行うリサーチアシスタント「Deep Research」（日本では「ディープリサーチ」）を公開した。無料版ユーザーでも利用可能だ。 Perplexityの説明によると、これはユーザーに代わって詳細な調査と分析を行い、時間短縮を支援するツールという。人間なら数時間かかる作業を、2～4分で完了させるとしている。 検索とコーディング機能を備え、反復的に検索、文書の読み込み、何をすべきかの推論を行い、与えられたテーマについての理解を深めながら、調査計画を洗練していく。 同様の機能はGoogleのGemini Advanced（有料版）やOpenAIのChatGPT Pro（最も高額な有料版）でも利用できるが、同じ質問を与えたところ、無料版のPerplexityの回答の所要時間が最も短かった。 D

どうも昨年末にあちこちで多重共線性についての議論がなされていたようなんですが、些事にかまけていた僕はすっかりそのウェーブに乗り損ねてしまっていたのでした。そこで、今年最初の記事では遅ればせながらそのウェーブに乗る形で、また今までに学んだり調べてきたりしてきたことの備忘録も兼ねて、多重共線性についてまとめてみようと思います。 多重共線性とは 「予測」が目的なら多重共線性があっても問題ではない 「説明」が目的なら多重共線性に対処する必要があるケース「も」ある 実務における多重共線性への対処法 最後に 多重共線性とは このブログの読者の皆様なら多重共線性が何であるかはご存知かと思いますが、一応簡単な例だけ挙げておきます。ここではサンプルデータとしてBoston Housingを使います*1。 オールドタイプなコーディングで恐縮ですが、Rで適当に前処理した上で線形回帰するとこんな感じになります。

本記事は、ドコモアドベントカレンダー2024 19日目の記事です🎄 こんにちは！NTTドコモ クロステック開発部の畑元です。業務ではヘルスケア領域におけるデータ分析やAI開発を行っています。 この記事ではベイズ推論による機械学習とRStanを用いた分析例をご紹介します。データサイエンス分野の方には馴染みのある話かもしれませんが、私はよく忘れてしまうので頭の整理も兼ねて書いていこうと思います。 ※数式が崩れる方は、数式の上で右クリックして、Math Settings > Math Renderer > Common HTMLへ設定をご変更ください 1. はじめに 2. ベイズ推論について ベイズの定理 ベイズ推論 ベイズ的機械学習 3. 実際に動かしてみる 準備 探索的データ分析 ベイズ線形回帰 階層モデル 4. おわりに 参考書籍 1. はじめに 近年、AIに関する研究は急速に進歩し、あ

世界最大の小売企業「ウォルマート」の新サービス 米ウォルマートが5月、データ分析サービス「ウォルマート・ルミネート（以下、ルミネート）」をメキシコ、カナダに拡大すると発表した。世界最大の小売企業である同社は、米国内で4600店舗以上、全世界で19カ国に1万500店舗以上を展開している。同サービスはいずれ米国、メキシコ、カナダ以外の各国にも広がると考えていい。 「ルミネート」は2021年に始まったサプライヤー（ウォルマートに商品を卸している企業）向けのサービスで、同社のリアル店舗やECサイトにおける商品の販売状況や買い物客の購買行動をデータ分析して提供するというもの。 ウォルマートについては、今年3月に「なぜウォルマートは5000億円以上を『広告』で稼げるのか…日本の小売業が誤解する『リテールメディア』の本質」という記事を公開した。「リテールメディア」は、小売（リテール）企業が顧客データなど

はじめに 簡単に機械学習ができる、PythonのAutoMLライブラリである 「PyCaret」 について紹介いたします。 初めてのqiita投稿なので、温かい目で読んでいただけると嬉しいです。 機械学習は開発に時間がかかったり、専門的で難しいと感じる方もいると思いますが、AutoML を利用することで、効率よく機械学習を行うことができます。 AutoML とは、データの前処理やモデルの作成を自動化し、少ないコードで行うことができる仕組みです。 その一つに PyCaret というPythonベースのライブラリがあります。 PyCaret は以下のような方におすすめだと思います。 時間や手間をかけず機械学習をしたい方 「機械学習の勉強をしたいけれど、実装とか難しそう」と不安を抱えている方 PyCaret とは PyCaret は、PythonのAutoMLライブラリです。OSSで、MITライ

1: 購入 0: 閲覧(したが購入してない) -: 未観測 ユーザーベース型 ユーザー同士の類似度を計算 「あなたと購入履歴の似たユーザーはこんな商品を買っています」 行を各ユーザーのベクトルとみなして、似たユーザーを見つける（上位N人） 似たユーザーが購入しているアイテムを推薦する（N人の平均値などで購入しそうな順に提示） アイテムベース型 アイテム同士の類似度を計算 「この商品を買ったユーザーはこんな商品も買ってます」 列を各アイテムのベクトルとみなして、類似度の高いアイテムを推薦する（上位M件） 類似度計算には、コサイン類似度やJaccard類似度が使われる。 類似度を計算する際に、未観測「-」は適当な値（0, 0.5など）で埋めるか、無視をする。 ログデータを使うため、情報の少ない新規アイテム/新規ユーザーに弱いコールドスタート問題がある。 コンテンツベースフィルタリング アイテム

因果推論: 基礎から機械学習・時系列解析・因果探索を用いた意思決定のアプローチ 作者:金本 拓オーム社Amazon 著者の金本さんからご指名でご恵贈いただいたのが、こちらの『因果推論 ―基礎から機械学習・時系列解析・因果探索を用いた意思決定のアプローチ―』です。正直に白状しますと、因果推論とタイトルにつく技術書はここ数年でゴマンと出版されており、本書も紙冊子で頂戴したものの僕はあまり期待せずにページをめくり始めたのでした（ごめんなさい）。 ところが、ほんの数ページめくっただけでその内容に僕は仰天しました。グラフィカルで実務家にとっての分かりやすさを重視した因果推論の解説と実践にとどまらず、現代的なマーケティング分析では必須の種々の手法についてまで懇切丁寧に解説とPythonによる実践例が付された本書は、文字通り「マーケティング分析実務家にとってのバイブル」になり得る素晴らしい一冊だと直感し

紹介 回帰モデルを用いたデータ分析は基本的で有用である反面、回帰変数の選択が恣意的になったり、回帰式の設定が不適切になったりするなどの問題も抱えている。本書は、これらの問題に対して、統計学者や計量経済学者がどのような解決策を考えてきたのか、分野の発展の歴史をたどりながら解説する。特に近年、機械学習の手法を取り入れることで従来の統計学では扱えなかった問題に対処できることも多くなった。分析者の恣意性を極力排除したデータ駆動型の回帰分析の可能性を、理論的な側面から考える。

GoogleはChromeでサードパーティーCookieを廃止することを宣言しており、ウェブマーケティングはCookieレスのシステムを整えることが求められています。コードのパフォーマンス診断ソフトを開発するSentryが、実際にサードパーティーCookieを自社サイトから廃止した場合についてまとめています。 We removed advertising cookies, here’s what happened | Product Blog • Sentry https://blog.sentry.io/we-removed-advertising-cookies-heres-what-happened/ Cookieはウェブサイトがウェブブラウザに保存する情報で、サイトを訪れた日時や訪問回数などが記録されています。このCookieのおかげで、IDとパスワードを入力しなくても再び同じサイ

あーあーあー^^　またこういう「データ」が出てきてしまった．そして相も変わらず「増税のせいで婚姻・出産が減っている」みたいなtweetpostがちらほら．．． 計量経済学の入門講義で必ず勉強するはずの「トレンドをもつ変数同士」なわけです．長期的に上昇している国民負担率と同じく長期の下降トレンドにある出生・婚姻の単純な相関とりゃ．．．そりゃバリバリマイナスなわけですよ． 例えば．．．大学進学率と癌での死亡率はともに戦後上昇を続けています．両方＋トレンドあるから相関係数もかなり高い．でも両者の因果なんて誰も言わないでしょ？　ところが，同様の見せかけ上の相関だったとしても・・・国民負担率と婚姻数みたいな「なんか関係あってもおかしくない」データ同士だとついついトレンド問題が頭から消えちゃうんだよね． ついでにこの国民負担率と出生・結婚はトレンド以外にも見せかけ上の相関をつくりやすい関係がある．国民

はじめに この記事は，Kaggle Advent Calendar 2022第6日目の記事になります。 本記事では、 32GB超のCSVデータの基本統計量を、小規模マシンでも省メモリかつ高速に計算するテクニック について解説します。 Kaggleコンペに限らず、 マシンスペックが低いため、大きなデータセットを満足に処理できず困っている 毎回行うファイル読み込みが遅いので、もっと高速化したい ⚡ といった悩みや課題を抱えている方の参考になれば幸いです。 モチベーション データ分析業務やKaggle等のコンペティションで初めてのデータセットを扱う場合、いきなり機械学習アルゴリズムを行うことはまず無く、最初にデータ観察を行うのが一般的です。 テーブルデータであれば、各カラムの基本統計量（最小値、最大値、平均、分散、四分位数）などを計算・可視化し、データクレンジングの要否や特徴量設計の方針などを検

naki @naki_mk 同僚からもらった画像だけど、ワイもようやくPythonから Excelに降り始めるフェーズに入ってきた気がする。 pic.twitter.com/iqSgbbhobX 2022-09-06 08:11:05 naki @naki_mk 私のツール遍歴 新社会人「Excelの機能たくさん覚えて市場価値アップだ！まずはショートカットっと」 2年目「BIツール超便利じゃん…Excelとか必要なくね…ｽｸｼｮ貼ﾘ付ｹ-」 3年目「BIツールだけだと何かと不便…Python覚えるか…」 6年目「誰でも使えるように設計されてるExcelが便利すぎる…」 2022-08-19 09:58:41

経済セミナー2022年6・7月号 通巻726号【特集】経済学と再現性問題 日本評論社Amazon 最近は計量経済学・統計学方面の方々との交流が多いんですが、そのご縁で『経済セミナー』の2022年6・7月号が再現性問題を取り上げていたと知り、入手して読んでみました。特集部分の目次を以下に引用すると、 特集＝ 経済学と再現性問題 【鼎談】再現性の問題にどう向き合うか？……川越敏司×會田剛史×新井康平 心理学における再現性の危機――課題と対応……大坪庸介 経済学における再現性の危機――経済実験での評価と対応……竹内幹 フィールド実験・実証研究における再現性……高野久紀 健全な研究慣習を身に付けるための実験・行動経済学101……山田克宣 再現性問題における統計学の役割と責任……マクリン謙一郎 という内容で、幾つかの分野にまたがって論じられています。特に、このブログ含めて個人的に度々お世話になってい