「データエンジニアリングの基礎」を読んだので、感想・各章の内容についてまとめます www.oreilly.co.jp 全体を通しての感想 原本は Fundamentals of Data Engineering で本書は日本語訳となります。 筆者のJoe Reis氏とMatt Housley氏はデータエンジニアリングのコンサルタントを行っていて、業界経験が長いお二人です。 データエンジニア界隈は急速に変化する業界と本文中で書かれています。 業界変化の中で「変わらないもの」を選択し、今後数年間役に立つコンセプトをまとめたものと本書を説明しています。 上記の狙い通り、本書はツールや特定技術ソリューションの話題は避け、データエンジニアリングの背後にある普遍的な技術概念の説明に徹しています。 SQL実行の内部の処理や、磁気ディスクドライブの物理挙動にまで踏み込んでいて、データエンジニアリングの基礎

初投稿です。 zennの設定を眺めてた時にGoogleアナリティクスという機能があるのに気づきました。 面白そうなので早速試してみたのですが、 トラッキングIDの登録画面で2種類のID設定か出てきて、躓いたので記事にまとめました。 Googleアナリティクスは初めて触ったので、初心者向けの記事になっています。 GoogleアナリティクスのトラッキングID登録 Zennの「マイページ」→「Edit profile」→「アカウント」からトラッキングIDを設定出来ます。 入力欄には「G-もしくはUA-から始まるID」と書いてあります。 私が参考にさせて頂いた記事ではUA-の取得が前提だったので、G-とは？？となってしまいました。 G-もしくはUA-から始まるIDとは？ UA：ユニバーサルアナリティクスプロパティ G-：Googleアナリティクス4プロパティ(GA4) で取得出来るIDのことらしい

かつてのシリコンバレーでは、 人が欲しがるものを作れ Make Something People Want という Y Combintor のモットーを合言葉に、若きハッカー達が次々と時代を画するソフトウェアサービスを生み出してきました。 しかし、ソフトウェア領域でも大企業の存在感が強くなり、スタートアップの波が落ち着きを見せる中、「次のトレンドが見えない」といった声や、先輩起業家が「自分が今若者だったら何をするか分からない」と口にするのをしばしば見聞きします。起業家の中でも、スタートアップではなく、スモールビジネスでの起業やサーチファンドでの承継を選択する流れが起こりつつもあるようです。 そんな状況を受けて、スタートアップには「人が欲しがるものを作れ」に代わる新たなモットーが必要のように思います。特に日本でその必要は大きいのではとも感じています。 そこで、その新しいモットーとして、 未来

目次 知識領域一覧 - 11種 1. メタデータ - 定義。データ項目の意味 2. データアーキテクチャ - データをどこから取得したか等 3. データストレージとオペレーション - どこに、どの形式で格納しているか 4. データモデリングとデザイン - データの関係性 5. データ統合と相互運用性 - データの提供形式と提供時間 6. データセキュリティ - アクセス権限 7. データ品質 - 完全性,正確性,一貫性,一意性,適時性,有効性 8. ドキュメントとコンテンツ管理 - テキスト、画像等の非構造データ 9. 参照データとマスターデータ 10. データウェアハウジングとビジネスインテリジェンス 11. データガバナンス 知識領域一覧 - 11種 今の私に重要と思う順に記載しています 参考url https://jp.drinet.co.jp/blog/about_dmbok #

先日、藤沢周平の「密謀」（上・下 ）を読んだ。藤沢周平は母が好きだった作家で、本棚からもらい受けてきたのだが、わたしのいつもの癖で、何年間も積ん読にした後、今年に入って読み始めたのだ。とてもよく出来た歴史小説で、一気に読み通した。主人公は直江兼続。越後の武将で、上杉謙信の跡継ぎである上杉景勝を、執政として補佐した。 直江兼続は知将として知られるが、生まれたのが1560年で、いわゆる『戦国武将』としては遅い登場だった。上杉謙信は彼が18歳の時に亡くなり、本能寺の変が22歳、天下分け目の関ヶ原のときは40歳だった。彼が一人前になる頃には、天下の大勢はすでに決まっていたのだ。とはいえ、まだ乱世である。この小説は、知将として上杉家を支える彼の、秀吉・三成・家康らとの確執を見事に描いている。 直江兼続は、大藩・越後上杉家の参謀だったと言っても良い。だから小説のタイトルも「密謀」なのだろう。とはいえ自

(Photo by Greg Palmer) こんにちは。アルパカCTOの原田(@umitanuki, github)です アルパカのプロダクトはマーケットデータ、それも主に時系列データを扱っています。フィンテック領域でビジネスを拡大する中で、この時系列のマーケットデータに関する諸々の問題が明確になってきました。一般に共通するものもあれば、弊社のアプリケーションにユニークなものもありますが、おおまかに下記のようなデータに関する需要が金融市場におけるアプリケーションにあると思います。 最小のリソース、最小のレイテンシで最大のスループット 増加するユーザとアルゴリズムの数、そして拡大する資産クラスに対するスケール 信頼性の高いマーケットデータの配信 最小のリソース、最小のレイテンシで最大のスループット スピードは大事です。もしチャートの読み込みが遅ければ、アプリケーションは使われなくなってしま

メルカリのグループ会社、『atte（アッテ）』を運営する株式会社ソウゾウさんのイベント、『atte fes』に行ってきました。今回はブロガー枠で参加させてもらったので、レポートします。 まずは代表の松本龍祐氏のカンパイでスタート！ photo by ossam3つのプレゼンがあったのですが、僕の感想はこの3つです。 1．スターを吸収していくメルカリというチームの強さ2．サービス立ち上げにおけるチームの自己確信の大切さ3．事業思考をもっているチームの仕事のしやすさどれもチームの話が共通点だったので、プロデューサー、ディレクター、デザイナーから3つの視点でサービス立ち上げを見る、という構成でまとめてみました。どうぞ！ 1．プロデューサーから見たサービス立ち上げここで学ぶこと：立ち上げ〜チームづくり、コンセプトの決め方、新規事業のポイント まず、昨年は起業家の松本さんがなぜメルカリに入ったんだろ

これらの件 最近のフロントエンドへの違和感 - nobkzのブログ 日本のWebエンジニアの大半が、変化に対応しきれなくなっている件について。 - 日々、とんは語る。 前提 去年は勝手Reactエヴェンジェリスト(自称)として、日本に複雑化するフロントエンド技術の海外の動静を紹介をし続けていた。 僕としても、フロントエンドは複雑化してると思ってるし、それは「目的の複雑化に対して必要なもの」だったと思っている。ここでいう目的とはSPAの構築であって、普通のウェブサイトは含んでいなかったが、普通のウェブサイトも当たり前のようにリッチ化目指しているのが現在なので、境目は曖昧ではある。 僕もフロントエンドの複雑化がだれにでも必要なものだとは思っていない。が、定期的に情勢を整理して、交通整理するのを心がけてきたし、春からはじめるモダンJavaScript / ES2015 - Qiita みたいな記

こんなブログ・プレスリリースが出ていました。TensorFlowベースで実装されたクラウド機械学習アプリケーション、"Cloud Machine Learning"だそうです。 以前から既に取り沙汰されていたCloud Vision APIに加えて、Cloud Speech APIさらにはCloud Translate APIが使えるようになったということで、学習済みモデルの適用で事足りるというケースではこれらを使えば画像認識・音声認識・自動翻訳は片付いてしまうという話にもなります。またTensorFlowベースということは例えば普通の線形モデルだけでなく、それこそDeep Learningであっても使えるということになるようです（あくまでもプロダクトサイトから読み取った限りの話ですが）。 (Photo via Visual Hunt) これまでも様々な機械学習クラウドソリューションが各社

僕らは2016年のことをどんな風に思い出すだろうか？ 楽観的シンギュラリティ、貧者のVR、魔法の世紀へ2016.03.21 10:008,349 ギズモード・ジャパンは、本日3月21日より5日間、メディアアーティストで筑波大学助教の落合陽一さんをゲスト編集長に迎え、テクノロジーの未来を考えるコンテンツ・ジャック企画を実施します。本記事では、落合陽一さんによる寄稿文をお送りいたします。記事に対するコメント、感想は#gizjack_ochyaiへお寄せください。 人間中心主義を超えて：デジタルネイチャーへ 早いもので、2016年も1/4が過ぎ去ろうとしている。テクノロジーの時代だと思う。Atlasは雪原を歩行し、イ・セドルはアルファ碁に敗れた。AAAS（アメリカ科学振興協会）年次総会の基調講演はCrispr-Cas9のジェニファー・ダウドナ博士で、市販品のVRキットは市場に出荷されるのを待って

テレビで大人気の「しくじり先生」。深夜枠からゴールデンに進出し人気が出ています。わたしも大学で教育法などの講義を持っていたましたので、話の進め方などとても興味深く見ています。 ほんと毎回面白いですよね。これまでになかった演出で楽しませてくれ、かつためになる。 神動画！しくじり先生を見る しくじり先生の神DVDを詳しく見る いっぽうで、話上手な人ばかりが先生になっているわけでもありません。それでもここまで人気がでるには、台本においてテンプレの存在も大きいのだと思いました。 そこで、今回はしくじり先生の話の流れをまとめ、作例まで作ってみました。 しくじり先生とは ＞＞しくじり先生　俺みたいになるな!!｜テレビ朝日 ＞＞しくじり先生 俺みたいになるな!! – Wikipedia しくじり先生は、テレビ朝日でも、深夜で高い視聴率をほこった番組で、満を持して現在ではゴールデンで放送されているバラエテ

yosuke-lib.hatenablog.com ↑ これの続きを書きます！ ーーーーーーーー 前回は、創業タイミングにおける ボーナスタイム（魔法）について書きました。 では、このボーナスタイム（魔法）はいつまで続くのでしょうか？ sudoken.hatenablog.com ↑ 僕のリクルート新卒同期のスドケン（KAIZENプラットフォーム社長）も Blogでこのように書いていました。 人によっては 創業から2年間が魔法だ、とも言います。 いや3年だ、と言う人もいます。 確かに、 創業の魔法は感覚値2〜3年なんですが、 ・なぜ2〜3年で魔法が解けてしまうのか？ ・その根本原因は何なのか？ 先に、自分の仮説の結論を書きます。 僕は、魔法が解ける本質的な原因は 「2〜3年という期間そのもの」ではなく 「組織規模問題」にあると考えています。 ーーーーーーーーー この仮説を、自分なりに説明し

(Photo via VisualHunt.com) 僕も会員になってるData Science Central*1に、こんな面白い論説が載っているのを見つけました。 Data science and statistical modeling will be further automated, with better black-box products Frontiers between data science, operations research, machine learning, artificial intelligence and statistics, will disappear AI will become more prominent, and referred to as deep learning in our community We will see m

散歩中に見つけた、東京や首都圏の再開発、高層ビル、道路建設の様子を記録してます。Skyscrapers and Beautiful Scenery in Tokyo.

［速報］オープンソース版.NETがリリース候補版に到達。Windows、MacOS X、Linuxで同一の.NETアプリが実行可能に。Microsoft Connect(); 2015 マイクロソフトは11月18日（日本時間18日深夜）、オンラインイベント「Microsoft Connect (); 2015」を開催。オープンソース版の.NET CoreとASP.NETがリリース候補版に到達したことを発表しました。 マイクロソフトは1年前のConnectで.NET CoreとASP.NET 5のオープンソース化を発表すると同時に、WindowsだけでなくMacOS XとLinuxへの対応も発表。ASP.NET 5アプリケーションがそのままWindows、MacOS X、Linuxで実行可能になることを約束していました。 .NET CoreとASP.NETがリリース候補版に到達 マイクロソフ

ビットコインやブロックチェーン技術のエキサイティングな話を聞いてきました！ちょっと難しかったところもあったけど…。 ビットコインに関するイベント「ブレイクスルーサミットFINTECH DAY」は9月25日にお台場の日本未来科学館で開催されました。 外は冷たい雨でしたが、会場内の熱気はすごかったですよ。 内容が高度なので私が追いついていけていないところもありますがダイジェストで模様をお届けします。 オープニングキーノートパネル 21世紀最大の革命か、ビットコインは社会をどう変えるのか 登壇者（左から） 堀江 貴文 SNS株式会社ファウンダー 加納 裕三 株式会社bitFlyer代表取締役 Roger Ver Bitcoin Angel Investor 大石 哲之 （社）日本デジタルマネー協会理事 お題：仮想通貨やビットコインが普及するには？ 堀江：ウェブはブラウザの登場でドンと広がった。ビ