転職して1週間がたち，新しい生活サイクルにも慣れてきましたので近況報告をします． 3月1日から DATUM STUDIO 株式会社で働き始めました！ DATUM STUDIO株式会社は，データ分析のスペシャリストを集め，解析コンサルから分析基盤構築まで，データ活用に関する様々なことを一手に請け負う会社です．（会社説明がこれで良いのか自信がない） 会社名を出すと，データ界隈の方からは「てっきりPythonの会社に行くかと思ってたんですがRの会社に行ったんですね！」と驚かれることが多かったので，その辺の話を含めて入ってからの所感をまとめたいと思います． Rの会社なのか？ 私も入るまでみんなRを使っている会社だと思っていたのですが，実際はPythonとR半々くらいで使われています．（若干R勢の方が多いかも？）折角なのでPythonの布教活動に勤しみたいと思っています．（ご指摘を受けたのですが）こ

女の子「A君の好きな女の子のタイプは？？」 A君「うーん・・・そうだなぁ・・・うーん・・・」 日常でよく遭遇するこのようなシーン。 うまく切り返し、出会いにつなげたいところですが、好みのタイプを表現するのはなかなかに難しいですよね。 そんな皆様の悩みを解決するために 【データマイニングを用いた診断ツール】 を作成いたしました！！ 己の好みを客観的、かつ定量的に把握できます。※もちろん利用は無料です。 >>>さっそく診断する！<<< 使い方は非常に簡単です。 画像とプロフィールを見て、好みのタイプだったら「Good」ボタンを、 そうでなければ「Bad」ボタンを押して下さい。 当診断は「年齢」「身長」「体重」「スリーサイズ」のデータを使っての診断です。 なので、顔だけでなく、身体的特徴を総合的に加味し、判定をお願いいたします。 20人以上のデータが貯まると「診断する」ボタンが出てきます。 最

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

[O] MeCab 用の新語辞書 mecab-ipadic-neologd を公開しましたという記事が話題になっていたのでmecab-ipadic-neologdを試してみました。 インストール READMEを見れば分かりますが一応メモ sudo apt-get install mecab libmecab-dev mecab-ipadic-utf8 git make curl xz-utils git clone --depth 1 https://github.com/neologd/mecab-ipadic-neologd.git cd mecab-ipadic-neologd ./bin/install-mecab-ipadic-neologdでインストールできます。 インストール先は echo `mecab-config --dicdir`"/mecab-ipadic-neolo

問題 さくらが BASE Storage (B) を始めたので、s3fsで試してみたい。 答え fuseもs3fsも自前でコンパイルしてみた。 fuse yumリポジトリのfuseは2.8.3で、最新のs3fsは2.8.4以上が必要らしいので、yum install fuse fuse-devel ではだめっぽかった。 cd /usr/local/src wget http://sourceforge.net/projects/fuse/files/latest/download?source=files tar -xzf fuse-2.9.3.tar.gz cd fuse-2.9.3 ./configure --prefix=/usr make make install --prefix=/usr しないと、パスの調整がめんどくさくなりそうなので、簡単そうな設定を選んだ。 （ldconf

広島ベイズ塾夏合宿で発表したStanコードの書き方中級編です。 回帰分析から，一般化線形モデル，欠損値のあるモデル，潜在変数があるモデル，ゼロ過剰分布，混合分布モデルを扱いました。

MySQL-ftppc (MySQL full-text parser plugin collection) という、全文検索パーサプラグインはご存じでしょうか。 これはMySQL標準の Full Text Parser を置き換えるもので、hiroaki-kawai氏によってこの世に生まれました。 ストレージはMyISAMを利用しますので、コンパクトなソースコードが特徴です。 パフォーマンスとしては400万行、インデックスファイル.MYIのサイズが2GBを対象の検索で0.8秒程と、決して速くは無いので、100万行くらいまでのデータ向きです。 Tritonn (MySQL-5.0 + Senna)を利用しており、InnoDBの性能向上を主な目的としてMySQL-5.5や5.6への移行を望んでいるが、全文検索の扱いに困っている方 にオススメです。 ニコニコニュースなどで採用されているという実

こんにちわ！ 小学生低学年の頃、給食係で肉団子入りスープを配っていると当時担任だったとても優しい先生に「肉がすくねぇじゃねぇか！」とマジギレされ泣いたことがあります。 その時大人の怖さを知りました。メディア事業部のきょうへいです。 本日はGoogle Analytics（以下、Analytics）についての記事を書かせていただこうと思います。 Analyticsは無料で使える解析ツールであるにも関わらず、高機能なアクセス解析機能があるのでとても重宝しています。 ただ、気になるのはユーザーがどのようなキーワードで検索したかを調べる時に表示される（not provided）というキーワードです。 この（not provided）というキーワードが、ある時期からオーガニック検索キーワードの大半を占めるようになりました。 それ以来、ユーザーがどのようなキーワードで検索してサイトに訪問したかを知るこ

「Googleアナリティクス」で、 Google検索からの検索キーワードが「not provided」になる件。 と、その対応策。 ※「not provided」を完全になくす対策は存在しないけど、ちょっと見た目をマシにする対応策 「https」のGoogleから検索されると、 SSL通信なんで、個人情報は厳しくやってるぴょん！ 検索キーワードも渡さないよー！ ということで、「not provided」になる。 「not provided」の意味は言わずもがな、「検索キーワードがもらえなかった」。 「not set」や「null」はイレギュラーな遷移の仕方などで「検索キーワードがとれなかった」。 ただ、今どきのブラウザは、検索バーで検索すると、 基本はSSLのhttps://google…になる。 結果、ほとんど「not provided」になっちゃうんだなー。 な、な、何とかしないと。。

S3を設定したときのメモ書き S3は「バケット」を作成してObjectをPUT/GET/DELETEする。 AWS Management ConsoleのS3タブから作成する。 ■バケット毎にアクセス制御したいとき 普通のログインアカウント（契約してるメールアドレス）のアクセスキーだと 基本なんでもできてしまうので開発を別の人にやってもらうとかの場合使えない。 （別でなくてもセキュリティ的に問題だと思うけど） Management ConsoleからIAM（Identity and Access Management）タブを選択して ユーザ／グループを作成し、バケットに対するアクセス権限を付与してやればよい。ような気がする。 （※どんな設計にすればいいのか正解がわからない） ユーザにはAmazonが用意しているパーミッション ・Administrator User ・Power User

どうも。 1月に入社したばかりの、データ分析担当のn_maoです。 と言いながら、最近はHTMLとjsばかりいじっております。 それはそれで楽しいです。 さて今回はデータ分析のざっくりとした仕事内容と、その分析にかかる手間を省くツールをご紹介します。 データ分析の仕事 まずは私の行っているデータ分析という仕事の内容をご紹介します。 私の主な仕事は大きく分けて４つです。 売上げ、会員登録数などの簡単な集計&自動レポーティング データベースからの知識発見（いわゆるデータ分析） 分析結果をもとにした企画立案 実施された企画の効果検証 あくまで私個人の仕事内容であり、データ分析者全員に当てはまるわけではありません。 アルゴリズムの研究開発の方や、インフラ寄りの方もいらっしゃるでしょう。 ですが、同じ職種の方で業務範囲が被っている方も少なからずいらっしゃると思います。 これら４つの業務の中で一番時間

JAWS DAYS 2014が近くなってきたので、AWSを弄って遊んでます。 今回は、Amazon EC2インスタンスから、Amazon S3のバケットをファイルシステムとしてマウントしてみます。 はじめに Amazon EC2インスタンスから、S3のバケットをファイルシステムとしてマウントするためには、 s3fs-fuseというツールを使います。 s3fs-fuseとは、S3のバケットをローカルのファイルシステムとしてマウントする、FUSEファイルシステムです。 FUSE(Filesystem in Userspace)は、Unix系OSのカーネルモジュールで、 ユーザーが独自のファイルシステムを作成できる機能を提供するOSSです。 （詳しい説明は公式サイトとWikipediaに譲ります。。） これを使って、ローカルに存在しないS3バケットのデータをファイルシステムとしてOSに扱わせてい

足かけ2日ハマり、最後はstackoverflowでロシア人の方に丁寧に手ほどきされながら解決を迎えることができました。 chef - Bundle install is using a different Ruby version? - Stack Overflow 問題の発端 Rails環境を構築していて、試しにbundle installを実行すると、以下のようなメッセージが表示されました。 Your Ruby version is 1.8.7, but your Gemfile specified 2.0.0 え、でもrbenvでちゃんとインストールしたしぃ……と思い、ruby -vを実行すると、やっぱりちゃんとインストールされてる。 どや。 $ ruby -v ruby 2.0.0p353 (2013-11-22 revision 43784) [x86_64-linux] ちな

サーバーに関する知識が乏しいので，記述が間違っている可能性があります． 対象とする方 サーバーについてあまり詳しくない方(apacheとnginxは聞いたことあるレベル) pythonでwebアプリケーション作ってみたい方(今回はWAFにtornadoを利用します) ruby製のアプリケーション(sinatraとか..)とかもほとんど同じ方法で動作すると思います 今回行う作業 nginxをリバースプロキシとして導入する python環境を整える tornadoでサンプルアプリを書く supervisorでアプリケーション・サーバーを管理する 環境 さくらVPS上でCentOS release 6.4 (Final) , CentOS 5系でも動作を確認しました 1.nginxを導入する 一般的なサーバーは， ポートの80番でapacheが待っててhttpリクエストが来るとapacheが受け

はじめに 最近Tornadoで遊んでいるので、その使い方をまとます。 今回は、テンプレートを使ってみます。使ってみるだけで解説はあまりしていません。次回に期待。なお、質問や要望があればお答えします。 実行環境 私の実行環境は以下の通りですが、Pythonが動作する環境なら問題ないと思います。 CentOS release 6.5 (Final) Python 2.6.6 関連記事 PythonのWebフレームワークTornadoを使ってみる その1 テンプレートエンジンとは テンプレートエンジンは、テンプレート（ひな形）と入力データを合成して、文字列を作る仕組みです。今回はPythonにおけるWebテンプレートエンジンの話に限定します。この場合、テンプレートエンジンとは、HTMLのテンプレート内に部分的にPythonコードを埋め込んで、最終的にHTMLを生成する仕組みのことです。小難しいこ