OpenTelemetryとは OpenTelemetryは、マイクロサービスアーキテクチャーで分散されたサービス（アプリケーション）の健全性や性能を示す「テレメトリーデータ」を生成、収集、管理、エクスポートするためのOSSです。 大規模な分散システムでは、健全性や性能を把握することが極めて困難なため、迅速なトラブルシューティングのためにはテレメトリーデータの収集が求められます。分散されたサービス（アプリケーション）からテレメトリーデータを収集するには、それらのアプリケーションが異なるプログラミング言語で実装していたとしても、それらに組み込むことができる、標準化された（ベンダーに依存しない）APIやSDKなどが必要です。それを提供するのがOpenTelemetryです。 OpenTelemetryの目的は、あくまでもテレメトリーデータを簡単に生成、収集、管理、エクスポートできるようにするこ

dbt-bigquery-monitoring helps you to monitor your BigQuery compute and storage assetsIntroductionI’ve been using BigQuery for eight years, and it’s been an incredible platform for working with data at scale using SQL. Running queries and creating tables for analytics and data products is remarkably easy. The advent of dbt has further simplified creating complex workflows for many data practitioner

※この投稿は米国時間 2020 年 6 月 23 日に、Google Cloud blog に投稿されたものの抄訳です。 運用業務の担当者にとって、機械的な作業（いわゆる「手間のかかる仕事」）にとられる時間を減らし、もっと有益な作業に時間を費やしたいというのは世界共通の願いであり、こうした背景から、モニタリング ワークフローやアラート送信ワークフローの自動化が進められています。たとえば、Google のサイト信頼性エンジニアリング（SRE）部門は、SRE の業務のうち、機械的な作業にとられる時間を 50% 未満に抑えることを目標に掲げ、より意義深いエンジニアリング プロジェクトに時間を充てることを目指しています。 Google の Cloud Monitoring サービスでは、多様な通知チャネルからアラートを送信することが可能です。たとえば、通知チャネルの一つである Webhook は、

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 概要 Stackdriverを使用してGCE(Google Compute Engine)へ基本的な監視設定を行う手順を説明していきます。 Stackdriverの公式ドキュメントがかなり難解なため、Stackdriverの前提知識が薄い方も理解できる内容で記載していきたいと思います。 なお、本記事はDebian系 or RHEL系のLinuxが稼働しているGCEを想定して記載しております。 今回は基本的な監視設定の解説となりますが、Stackdriverはより応用的な活用をすることでクラウドネイティブな監視ツールとしての威力を発揮しま

インフラの反田 (@mtanda) です。 GREEでは、多くのサービスをAWS環境で運用しており、それらサービスのモニタリングシステムとしてPrometheusを利用しています。 Prometheusを導入してから約2年がたち、1台のPrometheusで数百台規模のインスタンスをモニタリングするなかで、さまざまな問題に直面しました。 それら問題の原因を分析し、設定や利用の仕方を改善することで、ある程度安定して運用できるようになりました。 これらの知見が少しでもお役に立てばと思い、ここで共有いたします。 なお、対象とするPrometheusのバージョンは1.xです。Prometheus 2.0では、これら問題のほぼ全てに対して改善されています。そのため、2.0でどういった点が改善されているかを知るためにも有用だと思います。 Prometheusのストレージ実装の基礎知識 Promethe

Docker( https://www.docker.com/ )をモニタリングする方法を紹介します。 Dockerコンテナの消費リソースを把握するには、Dockerが利用しているリソースの統計情報を参照します。 Dockerのリソースの統計情報はAPI( https://docs.docker.com/reference/api/engine/ )を利用して取得します。 また後方互換性のためにcgroupのファイルシステム経由でメトリックすることもできますが、現在は非推奨です。 技術的な詳細は公式ドキュメント( https://docs.docker.com/engine/containers/runmetrics/ )を参照してください。 mackerel-plugin-dockerを利用する Mackerelではmackerel-plugin-dockerを利用することで、各コンテナ

Philosophy We strive to create an environment conducive to many different types of research across many different time scales and levels of risk. Learn more about our Philosophy Learn more

※収録パッケージ名はAmazon Linuxの場合 procpsは数年間動きがなかったのでprocps-ngというプロジェクトがフォークした。ディストリビューションによってはprocps-ngが入っているかもしれない。 最低限覚えるべきはvmstat vmstatは多くの環境で標準でインストールされており、表示項目もメモリ・スワップ・IO・CPUと一通りそろっている。 vmstat 2で2秒ごとに表示される。 -tをつけると時刻も表示される。 $ vmstat -t 2 procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------ ---timestamp--- r b swpd free buff cache si so bi bo in cs us sy id wa st 0 1 0

監視機能（エージェント監視、エージェントレス監視） 監視の方法には、エージェントを用いた「エージェント監視」、エージェントを用いない「エージェントレス監視」があります。エージェントレス監視には、PING による死活監視の他、SNMP/IPMI など、様々な方法があります。 履歴管理・表示機能監視 監視情報を蓄積したデータベースからデータを抽出し、グラフやネットワークマップなどグラフィカルに表示する機能を有しています。 Web インターフェイスからデータベースに直接アクセスを行うため、グラフの表示期間を変えると、すぐにグラフに反映されます。 障害対応・通知機能 監視しているデータが任意に設定した閾 ( しきい ) 値を超えた場合に、障害と検知しメールや画面で通知します。また、障害検知時にはメール通知以外にも同梱されている多数の webhook※ や任意のスクリプトを実行することができます。

Grafana is an open-source analytics and visualization platform used to monitor and analyze metrics from various data sources. It allows users to create, explore, and share interactive dashboards, supporting integrations with databases like Prometheus, InfluxDB, Elasticsearch, and more. Grafana is widely used for observability, providing alerting, plugin extensibility, and a flexible query editor f

新しい監視ツールとして開発途上の Prometheus 概要と、インストール・設定方法、そして複数サーバのCPUやメモリ情報を参照したり、Docker コンテナ情報の取得方法、そしてアラートの確認の仕方を調べました。実際使い始めるまで少々とまどった所もあり、Prometheus を知りたい方、使いたい方向けに、ここで共有します。 ■ Prometheus とは？ Prometheus（プロメテウス）は、オープンソースのサービス監視システムと時系列データベースであり、要は監視ツールです。先月末にバージョン 0.1.0 が公開され、目下開発が進んでいます。開発は、音楽のソーシャル・プラットフォームを展開しているSoundCloud社によって2012年から行われ、数千ものサーバを管理することが目的でした。現在はGitHub上で公開されています。開発言語は Go です。 ■ これまでの監視ツールと

こんにちは！freeeでインフラゾンビをやっている @sugitak です。ゲームではレベルを上げて物理で殴る派です。 freee ではたまにインフラエンジニアの数が減るのですが、その減ったインフラエンジニアはインフラゾンビへと進化し、社内を闊歩します。インフラゾンビは主に開発チームに所属して、アプリっぽいインフラの仕事をインフラからアプリ側へと持っていきます。デプロイとか、Dockerとか、Jenkinsとかの、いわゆる DevOps 系のところですね。こうすることで開発者は手を出せるものの自由度が増えるし、インフラはより本来のインフラとして純度を上げていける、 so, win-win ってわけです。 さて、そんなわけで監視です。freee Engineers Advent Calendar 2016の9日目の記事として、 Prometheus による監視が最高なのでみんなもっと使おうと

6/14 に開催された「Prometheus Casual Talks #1」に参加してきた．既に Prometheus を1年以上運用してる話などもあって，ハイレベルな話を聞くことができた．勉強会の後に実際に Prometheus を動かしてみたり，サンプルで Exporters を実装してみたりしてからブログを書こうと思っていたら，業務的にバタバタして，気付いたらブログも書かずに1週間たってた…！今さらだけど参加レポートは書いておこうと思う． prometheus.io connpass.com Hadoop, Fluentd cluster monitoring with Prometheus and Grafana / @wyukawa 元々 Google で SRE を担当してたエンジニアが SoundCloud 社に JOIN して実装している プル型 Zabbix Agent

日本全国 5000 万人の docker とダッシュボード愛好家の皆様、おはようございます。 参考 Dashing かっこいいダッシュボードが簡単に作れるDashingがすごい Dashingで簡単にダッシュボードを作る方法 セットアップ せっかくなので Dockerfile こちら ちょっと困ったところ（1） dashing start すると以下のエラー。 /usr/local/lib/ruby/gems/2.1.0/gems/execjs-2.0.2/lib/execjs/runtimes.rb:51:in `autodetect': Could not find a JavaScript runtime. See https://github.com/sstephenson/execjs for a list of available runtimes. (ExecJS::Runt

Sensu について復習してみたいと思う。 ということで... 復習環境に Grafana 2.0 を導入した際のメモ。 Grafana とは サイト 本家 grafana.org Github github.com スクショ 説明下手なのでスクショ一枚で。 三行で Graphite 等の時系列データベースに蓄積されたメトリクスを綺麗に見せるダッシュボード Sensu でメトリクス見るならほぼ標準 導入はとても簡単（でした） サポートする時系列データベース Graphite InfluxDB OpenTSDB 上記以外にも KariosDB や SQL も実験的にサポートされるようだ。 尚、 Elasticsearch もサポートされているが、実際に試してみたところ手元の環境で Elasticsearch のメトリクスを Grafana に表示することは出来なかった（多分、自分のやり方が悪

#dd_sushi での発表資料です。

クラウドの監視・管理サービスについて、第2弾。 性能監視サービスNew Relicについてまとめます。 ※下記は、2013年8月末時点の情報です。 （2017/11/1追記） ここに記載したNew Relicの機能のうち、サーバーリソース監視のNew Relic Serversは、2017年11月14日をもってサービス終了とのことです。 ・New Relic Technical Community/Important: Upcoming Changes for New Relic Servers and legacy alerting features https://discuss.newrelic.com/t/important-upcoming-changes-for-new-relic-servers-and-legacy-alerting-features/49474 後継サービ