Hatena Blog Tags
はてなブログ トップ
BigQuery
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

BigQuery

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
エムスリーテックブログ•13日前

アドホック分析を「資産」に変えるアプローチ

エムスリーUnit9でプロダクトマネージャーをしている北島です。 この記事はデータ基盤チーム & Unit9（エビデンス創出プロダクトチーム） ブログリレー6日目の記事です。 私が所属するUnit9では、データプロダクトの提供やデータの社内活用を行い、データを通じた価値創出をすることをミッションとしています。そのため、日々多くの分析依頼を受けています。 アドホックな分析依頼は、その場限りの対応になりがちではないでしょうか。急ぎの案件が多かったり、依頼ごとに要望される分析ロジックが違うことなどが理由として挙げられます。ただ、単発での対応を続けると、依頼の増加とともにに担当者が対応に追われてしまう…

#BigQuery#データ分析#SQL

関連ブログ

エムスリーテックブログ•18日前

Oracleのクエリ実行履歴を網羅的に収集するための実践的アプローチ

エムスリーエンジニアリンググループ、データ基盤チームの石塚です。 この記事はデータ基盤チーム & Unit9（エビデンス創出プロダクトチーム） ブログリレー5日目の記事です。前回は三浦さんの 「SQL課題：月の集合を連続した期間の集合にまとめてください」でした。 エムスリーが提供するサービスの中には、今も一部でオンプレミス環境のOracleを活用しているシステムがあります。私たちは、これらのシステムについてもコスト効率やメンテナンス性をさらに向上させるため、Oracleへの依存を段階的に減らしていくプロジェクトを進めています。 このプロジェクトを推進する上で、「そもそも、どのシステムがどれくら…

#Oracle#BigQuery#Tips at jobs
エムスリーテックブログ•1ヶ月前

BigQuery から高速にデータを持ってきてシームレスに Kotlin data class で使いたい

この記事は基盤開発チームのテックブログリレー3日目の記事です。 （2日目の記事は、田尻さんの「未来に続く、これからの非同期処理 ~ Algebraic Effect and Handlers ~ - エムスリーテックブログ」でした） こんにちは、基盤開発チーム/Unit3を兼務している林です。 最近の仕事で、AWS環境のKotlinアプリケーションでBigQueryにあるデータを高速処理したくて、BigQuery Storage Read APIを使ったうえでKotlin data classへの変換処理を実装しました。 「簡単に見える処理でも色々考えることがあるなあ」ということをあらためて実…

#BigQuery#Kotlin#データ処理
サーバーワークスエンジニアブログ•1ヶ月前

Databricks から BigQuery に接続する

データドリブンな人間を目指している香取です。 今回は Databricks on AWS から BigQuery のデータに接続する方法について解説します。 はじめに Databricks では レイクハウスフェデレーション 機能を使って、BigQuery のデータに直接クエリを実行できます。 この機能を使うことで、Databricks にデータをコピーすることなく、BigQuery 上のデータを活用した分析や機械学習が可能になります。 今回は以下のドキュメントに沿って実際に Databricks から BigQuery に接続してテーブルを連携してみます。 docs.databricks.c…

#Databricks#データ分析基盤#BigQuery
every Tech Blog•2ヶ月前

Google Ad Manager REST API と BigQuery の連携によるレポート自動化システムの構築

はじめに こんにちは、トモニテで開発を担当している吉田です。 デジタル広告の運用において、広告パフォーマンスの分析とレポート作成は重要な業務の一つです。しかし、弊社では手動でレポートを作成しており、営業活動に集中する時間を削ってしまう課題がありました。 本記事では、Google Ad Manager（GAM）の REST API と BigQuery を連携させ、レポート作成を自動化するシステムの構築事例について、紹介します。 背景：セールスレポート作成の課題 ビジネス課題 セールスチームが Google Ad Manager の広告レポートを手動で作成する際、以下の課題に直面していました。 …

#GCP#CloudRun#Google Ad Manager#BigQuery
MicroAd Developers Blog•2ヶ月前

GCP外のSparkからBigQueryにデータを転送する

はじめに マイクロアドでサーバーサイドエンジニアをしている高橋です。 Apache Spark SQL connector for Google BigQuery（以下spark-bigquery-connector）でSparkからBigQueryにデータを転送する際に、ドキュメント通りでもうまくいかない部分がありました。 そこで本記事では実際に転送できた設定例を紹介します。 タイトルのとおりですが、本記事ではGCP（Google Cloud Platform）外で動作するSparkからBigQueryへのデータ転送について扱います。 はじめに 経緯 使用するライブラリや環境 Spark s…

#データベース#BigQuery#Apache Spark
Hanatare's PaPa •4ヶ月前

【GCP】BigQueryとLooker Studioで作る！GA4データを使った最強ブログアクセス解析ダッシュボード構築ガイド

Google Analytics(以降の記事ではGA4と記述します。)を使われている方は多いのではないでしょうか？私もこのブログには、GA4をつけて分析を行っています。しかし、こうした分析を行っているといくつかの制約に直面します。例えばデータ保持期限が14か月であるという点です。 今回の記事では、これらの制約を乗り越えるためのプロフェッショナルな分析スタック、すなわちGoogle BigQueryとLooker Studioを用いた解決策を提示します。今回の記事のアプローチは、自分のデータを完全に自分のものとして所有し、GA4の制約から解放され、より完全な分析できるようにすることを目標に、その…

#BigQuery#Looker Studio#Google Analytics#GA4
BIGLOBE Style ｜ BIGLOBEの「はたらく人」と「トガッた技術」•4ヶ月前

Geminiでお客さまの声を可視化、BIGLOBEのCX改善、6ヵ月の軌跡

こんにちは、BIGLOBEの松村です。 私たちBIGLOBEは、インターネットサービスプロバイダーとして、日々多くのお客さまと接点を持っています。その中で最も重要なのが、お客さまから寄せられる「生の声」です。しかし、電話やメール、メッセージなど、様々なチャネルに分散したお客さまの声を一つひとつ拾い上げ、サービス改善に繋げることには大きな課題がありました。 「お客さまの本当の気持ちを、もっと深く理解したい」 「データに基づいた客観的な事実で、サービスを改善したい」 そんな想いから、私たちはGoogle Cloudの生成AI「Gemini」を活用した 「お客さまの声・感情を可視化するシステム」 を…

#Google Cloud#gemini#Pub/Sub#BigQuery#CloudRun
エムスリーテックブログ•5ヶ月前

サクッとできる、型安全なスタブデータでの BigQuery テスト

はじめに はじめまして。基盤開発チーム/Unit3を兼務している林です。 エムスリーではデータ基盤として BigQuery を全社的に使っていますが、 BigQuery を使ったアプリケーションやバッチを実装するときに、テストをどうするべきかは難しい問題です。*1 本記事では、BigQuery で記述されたロジックのテストの難しさを解決できるひとつの手法として、簡単に導入できるスタブデータを使うクエリの書き方を紹介します。*2 詳細は後述しますが、以下のようなメリットがある手法です。 BigQuery 以外のツールを使わず、実際の BigQuery での文法や挙動を確かめられる 何もリソースを…

#BigQuery#ソフトウェアテスト#SQL
okpy•5ヶ月前

ビッグデータモデリングの基本：Google BigQueryの特徴

BigQueryにおけるビッグデータモデリングの基本 Google BigQueryは、サーバーレスでスケーラブルなデータウェアハウスであり、特に大規模なデータ分析に適している。SQLベースで操作可能でありながら、高速なクエリ性能と柔軟なストレージ設計が特徴である。 1. BigQueryモデリングの特徴 スキーマオンライト型の構造化ストレージ クエリベースで分析可能なパーティション＆クラスタリング機能 コストは処理量（スキャンバイト数）に依存 スキーマの進化（Schema Evolution）に柔軟対応 ETL不要のELTパターンに強い あるリテール企業では、毎日数千万件の販売・在庫・顧客行…

#BigQuery#データモデル#Data Model