クエリ結果を Amazon S3 にエクスポートする このドキュメントでは、BigLake テーブルに対して実行されたクエリの結果を Amazon Simple Storage Service（Amazon S3）バケットにエクスポートする方法について説明します。 BigQuery と Amazon S3 間のデータフローについては、データをエクスポートする際のデータフローをご覧ください。 制限事項 Amazon S3 と Blob Storage に基づく BigLake テーブルに適用される制限事項の全リストについては、制限事項をご覧ください。 始める前に 以下のリソースがあることを確認してください。 Amazon S3 バケットにアクセスするための接続。 Amazon S3 BigLake テーブル。 正しいアマゾン ウェブ サービス（AWS）の Identity and Acces

はじめに データアナリティクス事業本部のkobayashiです。 前回GoogleCloudのWorkflowsでGCSにあるCSVファイルをBigQueryにロードする処理を行ってみました。今回は前回同様にBigQueryにロードする処理を試してみたいと思いますが、ソースはAmazon S3にあるCSVファイルとしBigQuery Data Transfer Serviceをオンデマンドで登録してWorkflowsで実行してみたいと思います。 BigQuery Data Transfer Service とは  |  Google Cloud ワークフロー  |  Google Cloud BigQuery Data Transfer ServiceとWorkflows BigQuery Data Transfer Serviceは様々なデータソースからBigQueryへデータを登録する

こんにちは。データエンジニアリンググループの川崎です。まだここにない出会いを求めて、日々コードを書いています。 この記事では、 S3 から BigQuery へデータをロードするときに使っている汎用的な仕組みについて紹介したいと思います。 なぜそんな仕組みが必要なの？ 弊社では、日時のバックアップや外部の協働者とのデータの受け渡しのために AWS の S3 をよく使っています。 一方でデータの分析には Redshift や BigQuery を使っています。 そのため受け取ったデータを分析するには適宜ロードする必要があるのですが、そのロードの方法がバラバラだったため、いくつか管理上の問題がありました。 データを取り込む手法がバラバラでメンテナンスしづらい S3 のファイルを BigQuery へロードするには、いろいろな方法があります。 たとえば単純なコマンド(sed や gsutil や

AWSで運用されている方がよくやるfluentdを使ったログのS3アップロードです。 手順ではApacheが動いているサーバと仮定して、以下ログをアップロードします。 /var/log/httpd/access_log /var/log/httpd/error_log /var/log/messages 前提条件 OS:AmazonLinux 2017-09 IAM Role設定済みであること。IAM Roleはインスタンスに割り当てるといいです。 バケット名:logs IAM Role設定例 S3の特定バケット（ログ保管）へアクセスする為のポリシー。 ※ バケット名は適宜書き換えのこと。 ※ Sidも適当な文字列へ書き換えること。（日時などへ）

こんにちは、坂巻です。 今回は、ログ収集に関するエントリです。 AWSでログ収集といえば、CloudWatch Logsが挙げられますが、 今回はオープンソースのログ収集管理ツールFluentdを使用してみたいと思います。 最終的には他サービスを使用して、収集したログの可視化や分析してみたいと思いますが、 本エントリではS3にログが出力されるまでをゴールとします。 目次 構成 構築 AWS環境 Fluentdインストール Fluentd設定 ログ確認 さいごに 構成 以下のシンプルな構成です。 構築 AWS AWS環境の構築はCloudFormationのテンプレートを用意したので割愛します。 上記テンプレートを利用してAWS環境を構築する際は、 スタックのパラメータに以下を設定してください。 KeyPairName…EC2インスタンスにログインするキーペアを指定します。 S3Bucket

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

fluentdやらkinesis firehoseやらELKやらathenaやら、いろいろ考えてるとややこしくなってきました。 例えば、新規にaws上にサービスを構築するとして、あまり作りこむこともなく、お金をかけることもなく、って場合にどれがいいのやら。 そういうのを考えながらやってみるエントリでございます。 前提 elb配下でec2がauto scaling構成で稼働している ec2はステートレス ec2上でapacheが稼働している 要件 apacheのログを自動で集約したい ログはDLせずにクラウド上で調査したい 導入は1～2時間くらいで コストは最小限 拡張性もほしい ログが複数行にわたる場合にも対応したい 構成検討 構成としてはec2に何らかのエージェントを入れて、そこからpushする方式とします。 エージェントとして検討するのは、 fluentd kinesis agent

JavaScriptから非同期でs3の画像を取得するとき。 CORSという仕組みを使う。 S3でCORS設定 S3の設定ページで「CORS設定の編集」をクリック AllowedHeaderを↓のような感じに編集。 <?xml version="1.0" encoding="UTF-8"?> <CORSConfiguration xmlns="http://s3.amazonaws.com/doc/2006-03-01/"> <CORSRule> <AllowedOrigin>*</AllowedOrigin> <AllowedMethod>GET</AllowedMethod> <MaxAgeSeconds>3000</MaxAgeSeconds> <AllowedHeader>*</AllowedHeader> </CORSRule> </CORSConfiguration>

トリガーの有効化のチェックは入れません。 後程記述する関数の動作確認が終わってから手動で有効にします。 入力が終わったら次へをクリックします。 この画面で実際に関数を記述していきます。 関数名を記入する項目がありますがこの部分はお好きな名前で大丈夫です。 設計図の選択画面で「s3-get-object」を選択したので S3からファイルを取得するためのコードが予め記述されています。 'use strict'; console.log('Loading function'); const aws = require('aws-sdk'); const s3 = new aws.S3({ apiVersion: '2006-03-01' }); exports.handler = (event, context, callback) => { //console.log('Received ev

やってみた感想 Goofysで S3 を mountした方が楽な気がする。 S3Client でAWS Signature Version 4する方法が解らなかった。 環境 EC2 + S3 EC2 t2.nano (region=us-west-2a) Amazon Linux AMI release 2016.03 PHP 7.0.7 (cli) (built: May 25 2016 18:36:46) ( NTS ) Server version: Apache/2.2.31 (Unix) S3 (region=us-west-2) S3の構築 バケットの作成 任意のバケット名を入力してクリッククリック。 S3アクセス用IAMユーザ作成 [AWS アカウント内での IAM ユーザーの作成] (http://docs.aws.amazon.com/ja_jp/IAM/latest/U

Make 24 monthly payments Pay 0% interest Start using the domain today. See details

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

はじめに 某WebメディアをGoogleのPageSpeed Insightsにて解析したところ、「画像にCache-Controlが設定されてないぞ」と怒られました。メディア内の記事には大量の画像が使われていて、それらの画像はS3にアップロードされたものを直接参照しています。 CloudFront使えよと言われて片付けられそうな案件ですが、リリース時からそんな準備万端で始められるような事業ばかりでもないわけです。既存のシステムをCloudFrontで置き換えようと思うと、もちろん画像のURLも変更されます。それに伴いシステムにも改修は入りますし、記事内に埋め込まれた画像のURLを頑張って置換する必要があります。ちょっとそれ時間かかる、ということで暫定的にS3に置いたコンテンツにCache-Controlを付けてみました。 これ書いてるうちに結局CloudFrontに移行したけどまあいいや

Amazon Web Services ブログ Amazon Redshift Spectrum 12 のベストプラクティス 2019/7/22 に一部内容を更新しました． Amazon Redshift Spectrum を使うことで、Amazon S3 に置かれたデータに対して Amazon Redshift の SQL クエリを走らせることができます。つまり Redshift Spectrum によって、データウェアハウスのローカルディスク内に保存されたデータ以外に対しても、Redshift の分析を拡張できるようになるのです。S3 の “データレイク” に貯まった大量のデータに対して、面倒で時間のかかる抽出・変換・ロード（ETL）処理を行うことなく、クエリを投げることができます。Redshift Spectrum は洗練されたクエリ最適化を用いて、数千ものノードにまでスケールして高

渡辺です。 4月でも札幌は雪が降りますが、異常気象でもなんでもなく平常運転です。 今日は、いわゆるCache Distribution パターンでのCDN構築手順をまとめておきます。 CloudFrontの細かい設定は行いません。 S3を静的サイトホスティングで公開し、CloudFrontをキャッシュサーバとして設定し、独自ドメインで公開します。 構築手順 構築は以下の手順で行います。 S3バケットを作成し、静的サイトホスティングで公開する CloudFrontを作成し、オリジンにS3バケットを設定し、代替ドメインを設定する Route53に代替ドメインのCNAMEレコードを追加する S3バケットの設定 S3バケットを作成し、静的サイトホスティングで公開します。 S3バケット名は、最終的に公開するドメインとするのが無難でしょう（例: cdn.example.com）。 バケットを作成したな

はじめに 社内でいつも通り仕事をしていると、約1週間で簡単な投票アプリを作ってくれないか？というオファーを受け、構成を考えているときに「Serverless Frameworkを使えばいいじゃん」と神のお告げが降ってきましたので、触ってみることにしました。 最終目標 スマホから投票できて、最終的にCSVでまとまった投票データを吐き出す 構成はこんな感じ 青枠の部分がServerlessFramework 大まかな流れ S3に投票フォームをアップロードしてバケットごとWeb公開する フォームの投票内容をAPIGateWayに向かってPOSTする APIGateWayがLambdaをキックする Lambdaが受け取ったJSONをDynamoDBに書き込む 完了！ さあ、はじめてみようか 書いていく前に･･･今回ServerlessFrameworkを触るにあたって@hiroshik1985様の

はじめに オペレーション部ではお客様のお問い合わせに日々対応させていただいております。 調査のためログやdumpファイルなどの情報をいただくことがありますが容量が大きい場合、受け渡しに困ることがあります。 その際にS3を利用して弊社AWSアカウントに共有していただくことでファイルの受け渡しができますのでご紹介致します。 設定方法 任意のバケットを準備する Create Bucket → Bucket Name を入力し Region を指定 → Create で作成します。 作成したバケットにBucket Policyを設定する 作成したバケット → Properties → Permissions と進み Add bucket policy をクリックします。 下記ポリシーを入力しSaveします。 { "Version": "2012-10-17", "Statement": [ { "

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

CloudNativePGを動かしてみた！ ～PostgreSQL on Kubernetes～（第34回PostgreSQLアンカンファレンス@オンライ...