これは何「来年こそはSQL書けるようになるぞ」と思ってる方に向けた、1日1時間・3か月でSQLそこそこできるようになる学習方法について書いた記事です長文がつらつら書いてある本稿ですが、要するに言いたいことは

データ分析とビジネス活用のプロとして、さまざまな業界・フィールドで活躍する「データサイエンティスト」。 スキルセットや必要な知識などが語られることはあるものの、まだはっきりとした定義がなく、いったいどんな人たちなのか？と疑問を持つ人も少なくないのでは。 そこで本企画では、企業で働くデータサイエンティストたちの"リアル"を調査。データサイエンティストを志した理由や興味深かった論文、普段の業務、自社で働く魅力などを22社、52人のデータサイエンティストに聞きました。 企業一覧 DataRobot Japan株式会社 株式会社GA technologies 株式会社HACARUS 株式会社JMDC 株式会社LIFULL MNTSQ株式会社 NABLAS株式会社 株式会社Rist Sansan株式会社 SOMPOホールディングス株式会社 株式会社ZOZO 株式会社ZOZOテクノロジーズ アスクル株

Pythonでパワポの報告書を生成する この記事の対象者は以下のような人である。 パワーポイントで説明資料を作って偉い人に報告する人 何を思ったか偉い人（経営層）がマイクロマネジメントに目覚めて毎日報告しろと言われている人 ディープラーニングの学習進捗を毎日報告しなければいけない人 あらまし だいたい上記で察すると思うが、偉い人がマネジメントの病に憑りつかれ、 毎日データを報告しなければならなくなった人を想定している。 しかも、紙媒体で報告するのにパワーポイントで作成しなければならないという縛りつきである。 余談であるが、こういった状況はペーパーレスブームの際にパワーポイントで説明する文化が出来上がったものの、機材や場所の都合でプロジェクターでの説明が減り、パワーポイントの資料作りだけが残ったものと思われる。 ※　なお、上記のような状況はフィクションであり、実在の企業や団体とは関係ないと信

インプレスから「できる」シリーズの Python 版として発売されました。著者の1人として執筆に関わったので紹介します。 book.impress.co.jp 名前が長いので本稿では本書のことを「できるPy」と呼びます。誰も聞いていませんが、ハッシュタグは #dekiru_py です。 経緯 2018年3月頃に知人からビジネスパーソンを対象に本書の監修として企画・構成をしてほしいといった依頼をいただきました。そのとき、書き手はやる気のある若い人たちがたくさんいるからと、私が目次を作って全体の構成をまとめたら誰かがコンテンツを書いてくれて、私は出来上がったコンテンツをレビューするのが主な役割になるのかなと安易に考えていました。 結果的には私が他の執筆者全員に声をかけて書いてもらうようにお願いして、私自身も著者の1人として少なくない割合を執筆しました。 詳細な目次 インプレスサイトでは目次が公

データ分析ガチ勉強アドベントカレンダー 11日目。 モデルを選び、試行錯誤しながら作っていく、そんな過程まで勉強してきました。 実装寄りの内容になったので、ここで一度機械学習界隈を俯瞰してみようと思いまして、調べると出てくる有名なチートシート Machine Learning Cheat Sheet (for scikit-learn) Microsoft Azure Machine Learning Cheat Sheet について、ここでまとめておきます。 用途ベースのMicrosoft Azure Machine Learning Cheat Sheet データベースのMachine Learning Cheat Sheet (for scikit-learn) 両者の違い 見て判断できるようにしておく 分類 blobs 三日月形 クラスタリング blobs 三日月形 まとめ 用途ベ

As the world’s largest domain registrar with over 20 million customers, GoDaddy manages more than 84 million domains, offering a robust platform with 24/7 customer support and a wide range of TLDs. Its user-friendly interface and comprehensive services, including hosting and website builders, make it ideal for businesses seeking an all-in-one solution. Price 395 USD Auction Type GoDaddy Buy Now Go

0. 要約 機械学習のハイパーパラメータをベイズ最適化でチューニングするのは既存パッケージの組み合わせで頑張ればできたのですが、頑張らなくても簡単に書けるパッケージを作りました。 github.com これにより、例えば iris データをXGboostの3-foldクロスバリデーション、エラー率評価でフィッティングさせたければ以下のように書くことでハイパーパラメーターである eta, max_depth, nround, subsample, bytree をベイズ最適化でチューニングしてくれます。 res0 <- xgb_cv_opt(data = iris, label = Species, objectfun = "multi:softmax", evalmetric = "merror", classes = 3, n_folds = 3) データセット名、ラベルの列名、XGbo

見つけてはメモしていたものがかなり増えてきて自分用に整理したのでシェアします。 ベクター・ラスター・テクスチャ・パターン・アイコン・フォント・モックアップなど、デザイン制作をする際に便利な素材を配布しているサイトの一覧です。 中には条件付きで使用可能とか商用利用時は有償という素材が中心に配布されているところもありはしますが、紹介しているのは基本的にフリーで使用できるものが中心または多く配布されているサイトになります。 以下はいずれも五十音 → アルファベット → 数字の順で紹介しています。 また、下記目次に属する国内の素材サイトについては多くが「禁止事項を守れば個人・商用問わず利用可能で、クレジット表記や報告等も不要」になるので、基本的にそのようなライセンスに関する情報は別途記載しているもの以外は省略しています。 国内 - 全般・ベクター・ラスター 国内 - テクスチャ・パターン 国内 -

米Microsoftと米Amazon.com傘下のAWS（Amazon Web Services）は10月12日（現地時間）、ディープラーニングのライブラリおよびインタフェースの「Gluon」（グルーオン：クォーク同士を結合する働きがあるとされる基本粒子という意味）をGitHubで公開したと発表した。ライセンスはApache License 2.0。 Gluonは、様々なニューラルネットワークのコンポーネントの集まりを使って機械学習モデルを作成するための分かりやすいAPIを提供する。コンポーネントを他のデータ構造と同様に扱えるため、機械学習に慣れていない開発者でも、比較的簡単にモデルを構築できるという。 GluonはAWSで使われている機械学習フレームワークの「Apache MXNet」をサポートする。Microsoftの「Cognitive Toolkit」でも近く使えるようになり、長期

実は業務でもStan使い始めてるんですが、まだまだ単位根ありパネルデータの分析に回すなど低レベルなものが多く、無情報事前分布と階層事前分布を巧みに使いこなして華麗にサンプリング。。。なんて夢のまた夢という情けない状況です（泣）。 で、気が付いたら@berobero11さんのStan関連ブログ記事が超絶充実していて、久保先生もびっくりみたいな状況に。もはや僕が何かをだらだら書くのもアホらしいので、先にStanの使い方を覚えたいという方は是非@berobero11さんのブログから読んで下さい（笑）。僕はひたすらそちらの記事を（例えばinfer.NETあたりの例題を解きながら）トレースしていくだけのショボい記事をだらだら書いていこうと思ってます。 ということで、とりあえずStanマニュアルであるstan-reference-2.1.0.pdfを斜め読みして*1、ざっと僕が興味のある範囲でまとめた

さて、統計的因果推論についてだらだらと独習していくこのシリーズですが、今回はDonald Rubinが考案したRubinの因果モデルで用いられる、傾向スコア(Propensity Score)を取り上げてみようと思います。「お前岩波DS3で事前に原稿読んで中身は知っているはずじゃないのか」とかいうツッコミはご勘弁ください（笑）。 元々は観察データ（つまりRCTを含む実験データではない）から因果関係を推定するための手法ということで、いかにして観察データに隠れた影響を与える共変量を突き止め、その共変量から及んでくる影響をバランスさせ、真の因果効果を推定するか、というのが主眼でした。つまり、RCTを実践できないような疫学データや社会科学的データに対する適用がメインだったようです。 しかしながら、最近は例えば広告やマーケティングといった「ある程度の介入（処置）*1はできても事実上RCTを徹底するこ

はじめに ポチポチKeras動かすのにどのような環境がいいのか考えてみました Keras + Docker + Jupyter Notebook + GPUの環境構築作業ログを紹介します Keras GitHub - fchollet/keras: Deep Learning library for Python. Convnets, recurrent neural networks, and more. Runs on Theano or TensorFlow. わかりやすいインターフェースがかなり好き Docker TensorFlowで学ぶディープラーニング入門～畳み込みニューラルネットワーク徹底解説 を参考にしました この本ではDockerを使用してます 当初はvirtualenv使用して環境作る予定だったので、勉強になりました 環境の移植性いいね GPU使用できるのいいね Ju

機械学習といえばニューラルネット・ディープラーニングという印象の方も多いと思われます。実際、ニューラルネットはそのアーキテクチャによって様々な種類のデータをうまく扱うことができます。今回はニューラルネットに対して、いろいろなアーキテクチャを考えて、それがどの既存の手法に類似しているのか、そしてどのような相違点があるのかをまとめてみたいと思います。 統計的な分析を行っている人にとって、ニューラルネットを始めとする機械学習の手法は魅力的にも映る一方で、結局のところ何をどのように分析しているのかというのが分かりづらいかと思います。今回は機械学習を専門としないような人が、ニューラルネットの役割を理解できるような内容を目指してみたいと思います。 数理的な面は必要最小限にして、応用上心得ておくべきことを中心に書きます。 ニューラルネットの基本 重回帰分析との比較 ロジスティック回帰分析との比較 ニュー

電通はインターネットの広告を効率的に配信するため、ビッグデータを分析するシステムを持つフリークアウトの子会社に出資する。ネットの閲覧履歴と消費者調査や購買状況といった現実世界のデータを統合。ネットを閲覧している人それぞれに応じた広告を配信できるサービスを8月下旬から提供する。フリークアウト子会社のインティメート・マージャー（東京・港）の第三者割当増資を引き受けて、数億円出資する。イ

機械学習といえば「Python」です。なぜPythonなのかというと、数値演算や機械学習に関するライブラリがたくさん揃っているからだそう。行列がとても扱いやすいNumPy、グラフ描画が簡単にできるmatplotlib、機械学習のscikit-learnなどなど… 機械学習ではこの３つのライブラリを大いに活用します。 まずは今回はscikit-learnを使った機械学習ではかなり重要になってくる「NumPy」を学びます。 私はPythonもはじめてなのでまずはPythonの概要を把握しつつ、「100 numpy exercises」というNumPyを基礎から学べる問題集を写経して学習したいと思います。 環境構築 まずは環境構築です。詳しくは下記のリンクに飛んで確認いただきたいのですが、Macの場合は、Pythonのバージョン管理システムである「pyenv」と、分析環境を構築するのに便利な「A

Amazon.comはディープラーニングを実現するライブラリ「Amazon DSSTNE」（Deep Scalable Sparse Tensor Network Engineの頭文字、読みはデスティニー）をオープンソースで公開しました。 GitHub - amznlabs/amazon-dsstne: Deep Scalable Sparse Tensor Network Engine (DSSTNE) is an Amazon developed library for building Deep Learning (DL) machine learning (ML) models DSSTNEは本番環境のワークロードに対応したライブラリで、以下の特長があります。 マルチGPUスケール 学習と予測のどちらも、複数のGPUにスケールアウトし、レイヤごとにモデル並列化の方法で（model-

今年の1月にこんな話題を取り上げたわけですが。 この記事の最後にちょろっと書いた通り、実際にはこういう"too good to be true"即ち「そのモデルの精度いくら何でも高過ぎるんじゃないの？」→「実は汎化性能見てませんでした」みたいなケースって、想像よりも遥かに多くこの世の中存在するみたいなんですね。ということで、それこそ『はじパタ』の2章とかPRMLの最初の方に出てくる初歩中の初歩なんですが、その辺の話を改めてだらだら書いてみようと思います。 そもそも「精度100%」とか「相関係数0.9以上」とか見たら身構えるべき 冒頭に挙げた例は、そもそも「精度100%なんておかしい」という声があちこちから挙がったことで話題になり、蓋を開けてみたらleakageはあるわ訓練誤差でしか評価してないわで散々だったわけです。 一般に、実世界のデータセットで統計モデリングにせよ機械学習にせよモデリン

まず回帰分析とは 回帰分析とは何らかの目的変数を別のパラメータ（説明変数）から導き出すモデルを考えることです。 例えばある人の身長は遺伝によりその人の父親の身長と相関があると考えられます。この時息子の身長を「目的変数」として父親の身長から息子の身長を推定することを考えます。 まず、何人もの人の父親の身長(x(i))と息子の身長(y(i))を調べてデータを作ります(x(1),y(1)), x(2),y(2)), x(3),y(3))...)。それをプロットしたところ下図のようになったとします。 この時、なんとなく以下の直線のような関係があると推測できます。式で書くと$y=ax+b$です。 ではどのようなa,bを選ぶのが一番いいのでしょう？ それは誤差が一番少なくなるa,bです。具体的には$y=ax+b$で計算したyの値（理論値）と実際のyの値の差（の2乗）の和（ 残差平方和 ）が最小になるa

2016年3月30日 岩崎雄斗*1 開発壮平*2 全文 [PDF 1,041KB] 要旨 本稿では、複数の消費者物価コア指標を包括的に活用して、物価の基調的変動を分析するための新しい手法を提示する。具体的には、動的モデル平均化法によって算出された可変ウエイトで、複数のコア指標を加重平均することにより「複合コア指標」を作成する。複合コア指標の主な特徴は、加重平均する際のウエイトが個別コア指標のパフォーマンスに基づいている点と、個別コア指標のパフォーマンスの時間的な変化に対応できる可変ウエイトを用いている点である。分析の結果、複合コア指標は、可変ウエイトがもたらす柔軟性により、基調的な変動に関する足もとの捕捉力や先行きの予測力において、個別コア指標よりも良好なパフォーマンスを示すことが確認された。また、可変ウエイトの動きを分析したところ、品目横断的なマクロ・ショックの影響が大きい局面では、「除