楽天は3日、データ分析を手がけるシンガポールのスクリーム社と新会社「楽天スクリーム」（東京・世田谷）を共同で設立し、営業を始めたと発表した。1億を超える楽天会員の消費行動をスクリーム社の人工知能（AI）技術で分析し、広告主に媒体の選定やターゲット層の分析などのサービスを提供する。2021年度中に楽天の広告事業全体で2000億円の売り上げを目指す。楽天スクリームは楽天とスクリーム社の子会社スクリ

政府はオープンデータ政策を推進し、イノベーションの起爆剤とするデータ駆動社会の実現を目指している。しかし実際に、役所の意識は変わったのだろうか。民間がデータを利用することに対して、どんな考え方を持っているのか。由木文彦国土交通審議官に、私見を交えた将来のあり方を聞いた。 —オープンデータに対するご自身の基本的な認識から聞かせ下さい。 「公的なデータを単に開示するだけではなく、ビックデータ、つまり、大量で多様なデータを迅速に提供することが、インターネットや人工知能（ＡＩ）のような新しい技術と組み合わさって可能性を広げるということだと考えています。そうした全体像を念頭に置いた上で、個人的な考えを交えて話をしたいと思います。ビッグデータの活用は、これまでにない新しい価値を生み出すものだと考えます。同時に、国交省の行政としても、自らオープンデータ化を進めることは大変重要な政策ツールになると認識して

ヤフーは2月6日、ビッグデータやAI技術を活用する新規事業構想「DATA FOREST」（データフォレスト）を発表した。同社のネット検索やECを通じて蓄積したビッグデータに顧客の持つビッグデータを掛け合わせ、例えば商品やサービスを「より生活者のニーズにマッチしたものにする」。既に十数社と実証実験を始めており、19年度の事業化を目指す。 ヤフーは今年1月、新執行体制を発表。新社長に就任予定の川邊健太郎副社長は、データフォレスト構想を「『データの会社』を目指す当社の重要な取り組みの1つ」と話す。 対象は企業や自治体、研究機関など。既に神戸市とは救急対応時の救急車稼働状況の分析、日産自動車とはクルマの販売台数予測の実証実験などを行っており、徐々に成果も出始めているという。 ヤフーの執行役員でCDO（チーフデータオフィサー）を務める佐々木潔さんは「われわれはユーザーのWeb上の行動――『買うまでの

時系列分析の勉強をしていると、ふと株価を時系列分析にかけてみたくなる時があると思います。 「株価データ」と考えて、まず思いつくのは「Yahoo!ファイナンス」ですが、 実はYahoo!ファイナンスは、スクレイピング（プログラムを組んでWeb上からデータを収集すること）による株価の自動取得を禁止しています。 Yahoo!ファイナンスでは、Yahoo!ファイナンスに掲載している株価やその他のデータを、プログラム等を用いて機械的に取得する行為（スクレイピング等）について、システムに過度の負荷がかかり、安定したサービス提供に支障をきたす恐れがあることから禁止しています。 Yahoo!ファイナンスヘルプ - Yahoo!ファイナンス掲載情報の自動取得（スクレイピング）は禁止していますより引用。 ということで、今回は以下の「株価データダウンロードサイト」というWebサイトから、R言語を使って株価をスク

はじめに 4月ということで、新卒が入ってきたりRを使ったことないメンバーがJOINしたりしたので、 超便利なdplyrの使い方を何回かに分けてまとめて行きます。 Rは知らないけど、SQLとか他のプログラミング言語はある程度やったことあるみたいな人向けです。 dplyrを使いこなす！シリーズ 基礎編以外も書きましたので、↓からどうぞ。 dplyrを使いこなす！Window関数編 dplyrを使いこなす！JOIN編 dplyrとは データフレームの操作に特化したパッケージです。 Rは基本的に処理速度はあまり早くないですが、dplyrはC++で書かれているのでかなり高速に動作します。 ソースの可読性もよくなるので、宗教上の理由で禁止されている人以外は使うメリットは大きいです。 処理可能なデータサイズの目安 あくまでも個人の環境に強く依存した感覚値ですが、1000万行、100MBぐらいのデータサイ

Learn data and AI skillsUnlock the power of data and AI by learning Python, ChatGPT, SQL, Power BI, and earn industry-leading Certifications. Start Learning for FreeDataCamp for Business

Nanaeです。お久しぶりです。 Tableau v10から、クラスター分析ができるようになりますね。Tableauがもつ分析機能もどんどん増えていってますが、あくまでTableauはBIであり可視化が得意な製品です。統計解析やテキストマイニングなど、もっといろんな分析をしたいときはRを使ってみましょう！ TableauとRを連携させたダッシュボード例↓ 高度な分析結果がTableauできれいに出せてます。 Rとは？ 統計解析やデータマイニングができるOSSです。簡単にいうと、いろんな分析ができて、しかも無料で使えるソフト。 なんでわざわざTableauからRを使うのか？ Tableauなら、きれいに可視化できます。Rはすべてスクリプトで書きますが、Tableauを通すとドラッグアンドドロップだけで別の観点から結果が出せます。そのため、Rがわかる人がR関連の用意をしておけば、多くの人が深い

はじめに こんにちは、データ分析部の久保 (@beatinaniwa) です。 今日は義務教育で教えても良いんじゃないかとよく思うWebクロールとスクレイピングの話です。 私自身、日頃は社内に蓄積されるニュース記事データや行動ログをSQLやPythonを使って取得・分析することが多いですが、Web上にある外部データを使って分析に役立てたいというシーンはままあります。 単独のページをガリガリスクレイピングしたいときなどは、下の1年半ぐらい前の会社アドベントカレンダーに書いたような方法でやっていけば良いんですが、いくつもの階層にわかれたニュースポータルサイトやグルメポータルサイトを効率よくクロール+スクレイピングするためには、それに適したツールを使うのがすごく便利です。 qiita.com そこでPython用スクレイピングフレームワークScrapyの登場です。 Scrapy | A Fast

講義ノートの目次へ 統計学の基礎を学ぶための講義ノートPDF。 大学の入門レベルの統計学（データ分析や確率論の基礎）を，独学でマスターできるオンライン教科書や講義資料。 データがあふれる時代なので，データの扱い方を身につけよう。 たくさんのデータを扱うときには，自然と統計学が必要になる。 データの特徴を見抜いたり，部分的な情報から全体を推測したり，仮説を立てて検証したり。 初歩的な統計学の要点は… 平均や分散などの統計量・データの特徴量 正規分布や二項分布などの分布 標本を使った母集団の推定 検定による仮説の有意性の判断 回帰分析によるモデリング 中心極限定理・大数の法則などの数学的な理解 といったところ。 理論に加えてExcelやR言語も使いつつ，実際のデータ分析に応用する力をつけよう。 これがわかれば，数式をバリバリ使った「数理統計学」や「確率論」， 本格的な「確率統計・ベイズ統計」「

2年前、私はデータサイエンスに関するBuzzFeedの考え方について書いた。今も基本的には全く同じ考え方をしているが、2 年前に私たちが気にかけていた指標は、現在私たちが気にかけている指標と大きく異なっている。なぜそうなのか、その変化はどのように起こったのか？ 企業戦略が変わるなら、指標も変わる必要がある2015年1月に、弊社の最高経営責任者であるジョナ・ペレッティが、BuzzFeedの「分散戦略」について社内のチームに語り始めた。ウェブサイトやアプリに重点を置くのではなく、また、ソーシャルネットワークをそれらにトラフィックを送る手段として活用するのではなく、積極的にYouTubeやFacebook、Snapchatといったプラットフォームに直接コンテンツを公開する戦略だ。これはユニーク・ビジター （UV）数とページビュー数をトラッキングする毎日、毎週、毎月のトラフィックレポートが使われな

今の KPI はビジネス成長に貢献しているか？ 「バイトル」が部門横断のデータ整備から真の KPI を問い直す

欲しいデータがズバリ手に入るサイトをまとめました！ 市場調査をしているときや企画書を作成しているときに、「欲しいデータが見つからない…」なんてことがよくあるのではないでしょうか？ そこで、今日は、データが手に入れられるデータをまとめ、統計データを効率的に得て、上手に活用するコツをまとめました。 【目次】 政府系の統計データ３選 リサーチ会社等の公開データ１７選 データを探し、上手く利用するには？ 政府系の統計データ３選！ まず、無料で充実した情報が手に入るのが、政府や官公庁のサイトです。 皆様が払った税金でつくられているものなので、有効に活用しましょう。 １：総務省統計局 総務省統計局では、無料で多くのデータが手に入ります。 手に入るデータのカテゴリーとしては、人口・世帯、住宅・土地、家計、物価、労働などがあります。また日本全体だけではなく地域ごとのデータも手に入ります。 また、このサイト

はじめに 統計解析の手法を学ぶのに、教科書を読むのは素晴らしい学習方法です。 しかし、教科書で理論的なことを学んだだけでは、統計手法を使いこなせるようにはなりません。 統計解析手法を身につけるには、実際のデータについて手法を適用し、パラメータを変えるなどの試行錯誤を行い、結果を考察するというような経験を積むことが大切です。 それでは実際のデータをどうやって手に入れましょうか？ 実験や調査をして実際のデータを得るのは大変でお金もかかります。 幸運なことに、世の中には適度なサイズの自由に使えるデータがたくさん存在します。 例えば、統計言語 R には、100以上ものデータセットがデフォルトで付属しています。 ただし、不幸なことに、それらのほとんどは英語で説明が書かれています。 英語は、いつかは乗り越えなければならない壁ですが、最初のうちはちょっと避けて通りたいところです。 というわけで、今日は、