はじめに こんにちはokodoonです タイミーのデータ基盤に対してデータモデリングを始めてしばらく経ったので、現状の全体構成を紹介したいと思います 全体構成 弊社のBigQueryは以下の4層にレイヤリングされています それぞれの役割は以下のような切り分けになっています レイヤー名 役割 データレイク層 複数ソースシステムのデータを未加工の状態でBigQueryにロードする宛先 dbt snapshotによるソースの履歴化 ステージング層 複数ソースシステムのデータを共通した処理でクレンジングする層 DWH層 ソースシステムのデータ形式を分析に適した形に変換する層 ディメンショナルモデリング/ログテーブルをイベント単位に分割/その他便利テーブル作成 データマート層 特定用途に対して1:1で作成されたテーブル群を格納する層 ダッシュボード用テーブル/Looker用テーブル/GoogleSh

こんにちは佐々木です。 誰に望まれた訳でもないですが、データ分析基盤の設計シリーズの第三弾です。今回のテーマは、データ分析基盤における個人情報＆パーソナルデータの扱いについてです。ここを最初に考えておかないと、データ分析基盤は毒入りとなって、扱いづらいものになります。 データ分析基盤構築の肝は、データレイクとDWHの分離 - NRIネットコムBlog データレイクはRAWデータレイク・中間データレイク・構造化データレイクの３層構造にすると良い - NRIネットコムBlog 個人情報＆パーソナルデータと匿名加工について まず最初に個人情報＆パーソナルデータの定義と匿名加工について、サラッと確認しておきましょう。 個人情報＆パーソナルデータ 個人情報とは、任意の一個人に関する情報であり、かつその情報をもとに個人を特定できるものを指します。代表的な個人情報としては、名前・住所・電話番号・E-ma

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 目次 はじめに 背景と目的 Databricksとは何か 機能紹介 共通 データエンジニアリング 機械学習 Databricks SQL おわりに はじめに こんにちは。Databricks の新井です。Qiita 初投稿です。 2022年の7月よりソリューションアーキテクトとして働き始めました。 お客様に弊社製品を知っていただき、導入いただく際の技術サポートを行う役割です。 本記事では Databricks にご興味がある皆様に弊社プラットフォームを理解いただくために、新入社員の目線から便利だと感じた10個の機能をまとめました。 今後

米Google（グーグル）は2022年5月に開催した年次カンファレンス「Google I/O 2022」で、新しいデータベース（DB）サービスである「AlloyDB for PostgreSQL」を発表した。 グーグルが2022年5月12日（米国時間）に発表したAlloyDB for PostgreSQLは、同社が独自に開発したDBのサービスで、オープンソースソフトウエア（OSS）のリレーショナルDB（RDB）である「PostgreSQL」と互換性がある。ユーザーはPostgreSQL用のSQLクエリーや拡張機能がそのまま利用できる。 AlloyDB for PostgreSQLの特徴は、トランザクション処理（OLTP）性能とデータ分析（OLAP）性能を両立した点だ。グーグルによればAlloyDB for PostgreSQLは標準的なPostgreSQLに比べて、同じ数のCPUを使用する

米Microsoft（マイクロソフト）は2023年5月23日（米国時間）、年次イベント「Microsoft Build」で新しいデータ分析プラットフォーム「Microsoft Fabric」を発表した。データレイク「OneLake」を使って一元的にデータを管理し、AI（人工知能）によるアシスト機能「Copilot」も利用できる。 イベントに登壇したマイクロソフトのSatya Nadella（サティア・ナデラ）CEO（最高経営責任者）は「全てのAIアプリケーションはデータから始まる。（Fabricは）私たちが何年もかけて取り組んできた製品だ。マイクロソフトのデータ関連製品として、（データベース管理システムである）SQL Server以来、最大の発表になるだろう」と力を込めた。 マネージドクラウドサービス「Azure Data Factory」、企業向けデータ分析サービス「Azure Syna

データ分析基盤の作るに当たって具体的なHOWを知りたい方 データ分析基盤の構築〜ダッシュボード作成までの流れを知りたい方 データレイク・DWH・データマートの基礎知識をお持ちの方 ※基礎知識については、はじめてのデータ分析基盤［入門編］で詳しく取り上げております。 ※TROCCOについては 60分でわかる！TROCCO入門で詳しく解説しています。 概要 本セミナーは、ビジネスの現場でよく必要とされるROI分析を題材に、データ分析基盤の構築〜ダッシュボードの作成までを、下記5つのステップに沿ってデモも交えながら具体的にご説明します。 STEP 1 ゴールイメージの設定 STEP 2 データソースの洗い出し STEP 3 データの収集(データレイク構築) ※デモ有 STEP 4 データの加工(データウェアハウス構築)　※デモ有 STEP 5 データの可視化(データマート作成、BIツール接続)　

前置き 最近、色々な会社でデータの活用というのが叫ばれていると思うのですが、いざデータ基盤を構築するとなると詳しい人が少ない状況です。 どういう基盤を作ればいいのかとか、どのデータウェアハウスを使えばいいのかという相談を、私もよく受けます。 ここのところ特にあまりにもよく受けるので、毎回答えるよりも記事にしておいたほうが早いなと思ったので、この記事を書きました。 今回のお話は 「どのデータウェアハウスを使えばいいのか」 という質問に対しての現時点での私なりの回答になります。 データウェアハウスの選択肢は3つ データウェアハウスのサービスはたくさんあるのですが、この記事を書いている2022年4月時点で自然に選択肢に挙がるのは3つです。 BigQuery Redshift Snowflake それぞれの特徴については後述します。 データウェアハウスの選定基準 今回挙げた3つのデータウェアハウス

データエンジニア系の勉強会で最近dbtがぱらぱらと話題に出てくるようになった & 4連休ということで、夏休みの自由研究がてらdbtを触ってみました。書いてる人のバックグラウンドは以下の通り。 DWHやデータマートの構築のためのETLツールを模索中(特にTの部分) プライベートではDataformを使っている 前職でも仕事の一部で使っていた 開発効率を計測するデータ基盤の管理にDataformを使ってみた - yasuhisa's blog 定期バッチ処理はArgo Workflows on GKEでやっている 触ってみないと肌感とか自分で運用できるかのイメージが湧かないのでね。 Dataformとの比較 細かいノウハウ 手元や本番環境での動作 Argo Workflowとの連携 環境によってDWHの提供するバージョンを差し替える DWHやデータマートの外の情報をデータリネージに加える 既存

こんにちは、データ基盤グループの吉田(id:syou6162)です。データ基盤やデータマネジメントに興味を持たれている方はDMBOKを持っている / 読んだことがあるという方も多いのではないでしょうか。このエントリではDMBOK中に紹介されているデータマネジメント成熟度アセスメント(以下、アセスメントと省略)をモノタロウでどう活用しているかについて紹介します。 背景 初手: 自社のデータ基盤の歴史を振り返る アセスメントの実施 データ活用者 / システム提供者 / 意思決定者へのヒアリングの実施 アセスメントを実施した結果 最後に 背景 まず、モノタロウでなぜアセスメントを行なったかについて説明します。モノタロウは20年以上歴史のある企業であり、データ基盤自体も10年以上の歴史があります。単一事業ではあるものの、受注 / 売上 / 商品 / 在庫 / 顧客 / 行動履歴など、対象となるドメ

はじめに 前回は、データ分析の高度化ステップにおける第2ステップ「定型的な分析」と第3ステップ「非定型な分析」の違いを解説しました。 「非定型な分析」で使用される分析手法である多次元分析を可能にするためには、データウェアハウス(DWH)と呼ばれる大規模データベースの構築が必要です。また、多次元分析で行われる軸の入れ替え、スライス、ドリルダウン＆ドリルアップといった操作を可能にするには、スタースキーマと呼ばれる特別なデータベース構造を持たせる必要があります。今回は、このデータウェアハウスとスタースキーマについて解説します。 データウェアハウスのアーキテクチャ データウェアハウスとは、データ分析システムで利用可能とするデータを一元的に格納するデータベースのことです。データウェアハウスに格納されたデータは、BIツールを通じてさまざまな分析に利用されます(図1)。 しかし、データウェアハウスは、単

はじめに DWHをBigQueryに移行した背景 BigQueryに移行して良かった 速い 安い 充実した機能 タイムトラベル Googleサービスとの連携 BigQueryにDWHを移行してからやったこと あとがき はじめに こんにちは, データエンジニアの大窄 直樹 (おおさこ)です. 今日, 8月6日は私の誕生日!!ということで, 私が執筆することになりました. 今回は, DWHをBigQueryに移行したあとの話について執筆します. DWHをBigQueryに移行した背景 弊社では, 膨大な広告データを取り扱っています. データサイズが大きいと, その集計処理もまた負荷が高いものとなります. 弊社では数年前, データ基盤としてAuroraを選択しました. データサイズが小さいうちは, Auroraでの集計処理が可能だったのですが, データサイズの増加に伴い, 集計処理にかかる時間は

# Event https://www.meetup.com/tokyo-dbt-meetup/events/287833176/ Tokyo dbt Meetupについて データを扱うすべての人が参加できるネットワーキングイベントです。トークは主にコミュニティメンバーのdbtの経験に焦点…

図1のスタースキーマは、注文(fact_orders)と返品(fact_returns)の2つプロセスを表している。それぞれ注文スター、返品スターと呼ぶ。 それぞれ別々の部門で実装されたもので、物理的に独立したデータベースに存在している。両方のデータベースに、ディメンションテーブルの日(dimension_days)、顧客(dimension_customers)、製品(dimension_products)がある。これらのスタースキーマを比較したいケースはあるとする。例えば、特定期間の製品別の注文に対する返品率などである。これはドリルアクロスを使えば実現可能である。以下が手順である。 各ファクト・テーブルを製品ごとに集約する。 集約した結果をマージし、注文された数量と返却された数量の比率が計算する。 図1の製品ディメンションを使えば、同様の手順で他のディメンション属性で分析可能だが、残念

複数スタースキーマ(Multiple star schema) 1つのファクトで、全ての分析対象がカバー出来ることは稀である。ほとんどのケースで複数のファクトテーブルが必要になるだろう。本当に価値ある分析は複数のプロセスを横断した分析である。これを誤った方法で実現するとどうなるか？どうすれば良いのかを見ていく。 スタースキーマの作り方に関しては、別の記事にまとめている 。 発生タイミングが異なるファクト 2つ以上のファクトがあったとする。それらは同時に発生しないファクトである場合、異なるファクトテーブルに配置するべきである。誤って単一ファクトテーブルにまとめられると、個々の分析が困難になる。もし分けていれば個々に分析が可能になる。 ある営業部門で以下のような分析要件があったとする。 日付、顧客、製品別注文数量の分析 日付、顧客、製品別出荷量の分析 ディメンションは日付と顧客。ファクトは製品