こんにちは。CCIのアナリティクス担当の寺田です。 さっそくですが、GA4とBigQueryを連携するとBigQueryに日次で「events_YYYYMMDD」テーブルがexportされ、「日」単位に分割されたテーブルが作成・追加されていきます。 この「events_YYYYMMDD」テーブルをいわゆる「フラット化」し、SQL文で扱いやすく加工するわけですが、こんな悩みを抱えたことはないでしょうか？ 新しくexportされてきた「events_YYYYMMDD」テーブル(増分データ)だけを「フラット化」して、既存のフラット化テーブルに追加(INSERT)したい。 新しくexportされてきた「events_YYYYMMDD」テーブルデータ(増分データ)を既存のフラット化テーブルに追加する際、毎回「events_YYYYMMDD」テーブルを全期間フルスキャン&フラット化していては、なかなか

Dataform CLI からテストコードを実行して、BigQuery UDF のユニットテストを実施してみる。 こんにちは、みかみです。 犬×3と暮らしていると、なでられていない誰かがおこるかすねるかし始めるので、腕が3本欲しいです。 やりたいこと BigQuery UDF のユニットテストを実施したい GitHub `bigquery-utils` リポジトリで公開されてる、Dataform の BigQuery UDF ユニットテストを実行してみたい bigquery-utils/dataform/examples/dataform_udf_unit_test ｜ GitHub 前提 本エントリでは、Cloud Shell から Dataform CLI を実行しています。 また、Dataform や BigQuery などの操作に必要な API の有効化と権限付与は完了しています。

DataForm とは Google Cloud 上で動作する ELT の T (Tranform) を担当するソフトウェアです。ELT については、 ETL/ELT とは で解説していますが、簡単にまとめるとデータをデータウェアハウスなどから抽出 (Extract) 、ロード (Load)、変換 (Transform) する３つの処理をまとめたものです。 DataForm は、データウェアハウスなどから読み込んだデータを様々な目的のために加工し、データウェアハウスに書き戻すツールです。 また、Google Cloud 上で動作するため、BigQuery などの Google Cloud のサービスとの連携が容易となっています。 元は英国のスタートアップ DataForm が開発していたもので、2020 年に Google に買収され、Google Cloud のサービスとして提供されるよ

このドキュメントでは、Dataform でコードのライフサイクル（開発環境、ステージング環境、本番環境の作成、および各環境のコンパイルと実行の設定の構成）を管理するためのベスト プラクティスについて説明します。 データの整備を維持し、開発プロセスを最適化する Dataform SQL ワークフローの標準化されたライフサイクルを作成するには、次のことをおすすめします。 開発中に作成されたテーブルを、エンドユーザーが使用できるテーブルから分離する実行環境を作成します。 本番環境とステージング環境（省略可）でワークフローを実行するように、リリースとワークフローの構成を設定します。 このドキュメントでは、ワークスペースのコンパイルのオーバーライドを使用して開発テーブルを分離するためのソリューション、およびステージング環境と本番環境のリリース構成およびワークフロー構成の設定のためのソリューションにつ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 公式ドキュメントを読んでDataformをキャッチアップしたときのメモです。 Dataformとは データ アナリストが BigQuery でデータ変換を行う複雑な SQL ワークフローを開発、テスト、バージョン管理、スケジュール設定するためのサービスです。 Dataform を使用すると、データ統合の ELT（抽出、読み込み、変換）プロセスにおけるデータ変換を管理できます。Dataform では、ソースシステムから抽出されたデータを BigQuery に読み込むと、明確に定義されたテスト済みで一連のデータテーブルに変換できま

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

AIエージェントを現場で使う / 2025.08.07 著者陣に聞く！現場で活用するためのAIエージェント実践入門（Findyランチセッション）

IntroAs a data consultant, one of my primary responsibilities is to suggest the best data architecture for our clients. A critical component of this architecture is the transformation layer. Before the launch of Dataform, deciding on a transformation tool was relatively simple — Dbt was usually the most suitable choice for most projects. However, since the general availability of Dataform in early

こんにちは。河内です。 最近はデータ基盤の構築も取り組んでいたりします。 社内では他の DWH が使われている事例がありますが、今回の基盤ではデータソースとの親和性や価格面などを考慮し BigQuery で行くことにしました。 BigQuery 上で多くのデータを順次変換してデータを生成するために何らかのワークフローエンジンが必要でした。 社内の他のシステムではワークフローエンジンとして Digdag を採用している例が多いですが、このシステムでは Kubernetes 上でサービスを運用しているため、当初(2020年12月)は Argo Workflow 上でクエリを順次実行することを構想していました。構想中に Dataform が Google に買収され、無料で使えるようになったというニュースが飛び込んできたため、触って感触が良いことを確かめた後、Dataform を使っていくことに

この記事は Google Cloud Japan Advent Calendar 2023 (入門編) の 20 日目の記事です。 こんにちは、Google CloudでDataAnalyticsを担当している山田です 本日はDataformの紹介をしたいと思います！ Dataformとは BigQuery上でデータ変換を行う複雑なSQLワークフローを開発、テスト、バージョン管理、スケジュール設定することが出来ます。 Dataformのようなパイプライン管理ツールを使わない場合、SQLのバージョン管理や、テーブルAの後にテーブルBを作りたいといった依存管理などをどうするか考えなくてはいけません。 そのような課題を解決してくれるのがDataformになります。 Dataform自体の利用には料金がかからないというのも大きな特徴です！ Dataformの構成要素 Dataformは以下の４つの

はじめに こんにちは。レバレジーズ データ戦略室の辰野です。 前回の投稿からいつの間にか1年以上経過していました。引き続きデータマネジメントやデータガバナンスに関連する仕事をしていたのですが、今回は私が昨年度末に取り組んだ、Dataformを利用したデータ分析基盤の構築についてお話させていただきます。 Dataformとは Dataformとは、現在Google Cloudで利用できるデータモデリングツールの一つです。ELT（抽出、読み込み、変換）処理における、T（変換）の部分を管理できます。主な機能として、下記があります。 SQLワークフローを開発、実行できる テーブル同士の依存関係を管理できる テーブルの品質テストができる これらの機能を利用することで、すべてのデータプロセスを管理することが可能です。 （参考：Google Cloud,Dataform の概要） Dataformを導入

G-gen 又吉です。Google Cloud (旧称 GCP) のデータ変換パイプラインツールである Dataform を解説します。 概要 Dataform とは 特徴とメリット 料金 Dataform のコンポーネント コンポーネント構成 リポジトリ リポジトリとは ファイル構成 開発ワークスペース 開発ワークスペースとは 開発ワークスペースの初期化 開発手法 リリース設定 (release configuration) アクセス制御 Dataform のアクセス制御 Dataform から BigQuery へのアクセス制御 Dataform core と SQL Dataform core / SQLX とは Dataform core の機能 SQLX ファイル ファイル構成 config ブロック body ブロック データソースの宣言 ワークフローの実行 実行契機 (トリガ

このドキュメントでは、Dataform で SQL ワークフローを作成する際に使用できる Dataform のコアスクリプトと JavaScript スクリプトの例を示します。 テーブルの作成 Dataform コアを使用してビューを作成する 次のコードサンプルは、definitions/new_view.sqlx ファイル内の new_view というビューの定義を示しています。 config { type: "view" } SELECT * FROM source_data Dataform コアを使用して実体化されたビューを作成する 次のコードサンプルは、definitions/new_materialized_view.sqlx ファイル内の new_materialized_view というマテリアライズド ビューの定義を示しています。 config { type: "view

はじめに テクノロジー戦略本部データサイエンス部データアナリストの森山です。 バイセルでは事業部組織（以下、Biz メンバー）が自立してデータに基づいた意思決定を行うことを目的に、データ基盤を整備しグループの全社員に公開しています。 Biz メンバーは自分自身で SQL を書きデータ基盤から必要なデータを抽出しますが、そのためには基盤に蓄積したデータを必要な形式に変換・加工（以下、データ変換パイプライン）する必要があります。 今回は、データ変換パイプラインの構築のために導入した Google Cloud が提供する Dataform の利用事例をご紹介します。 Dataform をこれから活用しようと思っている方、実例が見つからず悩んでいる方の参考になれば幸いです。 ※なぜ Biz メンバーが SQL を書く環境を整備しているかは、以下の記事をご確認ください。 tech.buysell-t

こんにちは。 データアナリティクス事業本部ソリューション部プリセールススペシャリストの兼本です。 当エントリは『クラスメソッド BigQuery Advent Calendar 2020』11日目のエントリです。 本アドベントカレンダーでは、12月01日から12月25日までの25日間、弊社DA（データアナリィクス）事業本部のメンバーがBigQueryに関連するブログを公開していきます。 クラスメソッド BigQuery Advent Calendar 2020 の記事一覧 | Developers.IO クラスメソッド BigQuery Advent Calendar 2020 - Qiita このエントリでは、2020年12月9日にGoogleによる買収のニュースが話題となったDataformでBigQueryのデータパイプラインを構築する手順についてご紹介します。 Dataformには

※この投稿は米国時間 2023 年 2 月 9 日に、Google Cloud blog に投稿されたものの抄訳です。 はじめにSQL での開発には、他の言語やフレームワークと比較して大きな問題があります。異なるスクリプトでステートメントを再利用することは容易ではなく、データの整合性を確保するテストを作成する方法が用意されていません。また、依存関係の管理には外部のソフトウェア ソリューションが必要になります。開発者は通常、何千行もの SQL を記述して、データが正しい順序で処理されるようにします。また、ドキュメントやメタデータについては、外部カタログで管理する必要があるため、後で作成することになります。 こうした問題を解決するため、Google Cloud は Dataform と SQLX を提供しています。 Dataform は、データ アナリストが BigQuery でデータ変換を行

こんにちは。河内です。 最近はデータ基盤の構築も取り組んでいたりします。 社内では他の DWH が使われている事例がありますが、今回の基盤ではデータソースとの親和性や価格面などを考慮し BigQuery で行くことにしました。 BigQuery 上で多くのデータを順次変換してデータを生成するために何らかのワークフローエンジンが必要でした。 社内の他のシステムではワークフローエンジンとして Digdag を採用している例が多いですが、このシステムでは Kubernetes 上でサービスを運用しているため、当初(2020年12月)は Argo Workflow 上でクエリを順次実行することを構想していました。構想中に Dataform が Google に買収され、無料で使えるようになったというニュースが飛び込んできたため、触って感触が良いことを確かめた後、Dataform を使っていくことに

タクシーアプリ「GO」、法人向けサービス「GO BUSINESS」、タクシーデリバリーアプリ「GO Dine」の分析基盤を開発運用している伊田です。今回、dbt と Dataform を比較して Dataform を利用することにしましたので、導入経緯および Dataform の初期構築を紹介します。 ※ 本記事の対象読者はELTツールを利用している方を対象にしています これは MoT Engineer Challenge Week 2022 Spring の記事です。 はじめに本記事では、まず、dbt および Dataform というツールについて簡単に説明させて頂き、次に現在データ分析チームが抱えている課題について取り上げます。その後、2つのツールについて検証した内容を紹介し、その結果、Dataform の導入に至った経緯を説明します。また、最後に Dataform の初期構築で工夫し