並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 ä»¶ / 66ä»¶

新着順 人気順

時系列データの検索結果1 - 40 件 / 66件

タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。

時系列データに関するエントリは66件あります。 データ、 統計、 機械学習 などが関連タグです。 人気エントリには 『時系列データ分析コンテンツ「ごちきか」を公開します - NTT docomo Business Engineers' Blog』などがあります。
  • 時系列データ分析コンテンツ「ごちきか」を公開します - NTT docomo Business Engineers' Blog

    この記事は、 NTT Communications Advent Calendar 2022 24日目の記事です。 はじめに イノベーションセンターの木村と申します。初めてのアドベントカレンダー&Engineers’blog投稿です。普段の業務は、機械学習をもちいた時系列データ分析の研究開発やお客様データ分析案件支援を主として行っています。プライベートでは自転車にお熱でZwiftでバーチャルライドをしたり、最近ではテクニック向上のためバニーホップの練習に励んでいます(なかなか上達しません…)。 今日はクリスマスイブということで、時系列データ分析コンテンツ「ごちきか」 をプレゼント(?)します!年末休みのお供にぜひご照覧ください。 サマリー 時系列データ分析コンテンツ「ごちきか」を公開しました (余談として)基盤やデプロイ方法を紹介します What is 「ごちきか」? 私たちのチームでは、

      時系列データ分析コンテンツ「ごちきか」を公開します - NTT docomo Business Engineers' Blog
    • MongoDBが時系列データ対応、サーバレス対応、HTTPS経由でのAPI操作対応など機能強化を相次いで発表

      MongoDBが時系列データ対応、サーバレス対応、HTTPS経由でのAPI操作対応など機能強化を相次いで発表 NoSQLデータベースには、MongoDBに代表されるドキュメントデータベース、InterSystems IRISに代表されるオブジェクトデータベース、Neo4jに代表されるグラフデータベース、Redisに代表されるキーバリューストアなど、さまざまな製品があります。 ガートナーが発表したNoSQL専業ベンダに関する調査結果によると、NoSQL市場の中で過去5年において圧倒的に高い成長率を見せ、市場のリーダーとなっているのがMongoDBです。 ガートナーは2016年に発表したクラウドサービス「MongoDB Atlas」がこの成長を支えてきた大きな要因だと分析しています。 そのMongoDBはMongoDBは、6月7日から9日にかけて米ニューヨークで開催されたイベント「MongoD

        MongoDBが時系列データ対応、サーバレス対応、HTTPS経由でのAPI操作対応など機能強化を相次いで発表
      • 時系列データのための大規模言語モデル

        近年の大規模言語モデル(LLM)の出現は、自然言語処理(NLP)においてパラダイムシフトをもたらし、ChatGPTをはじめとする様々な革新的サービスを生み出している。LLMの急速な進化は、NLPの領域を超えて、より広範なデータモダリティへのLLMの適用可能性を探る研究への発展を促している。その中で今回注目したのが、時系列データへのLLMの適用である。例えば、[Gruver+, 2023] では、GPT-3やLLaMA-2などの既存のLLMが、ダウンストリームタスクで教師あり学習した時系列モデルの性能に匹敵するか上回るレベルで、zero-shotで時系列予測ができることを報告しており、大変興味深い。本ブログでは、2024年に公開されたサーベイ論文「Large Language Models for Time Series: A Survey」を参考にLLM for Time Seriesの全

          時系列データのための大規模言語モデル
        • 時系列データを前処理する際のPython逆引きメモ - EurekaMoments

          機械学習のための「前処理」入門 作者:足立悠リックテレコムAmazon 目的 データ分析の仕事をする中で最も扱う機会が多いのが 時系列データだと思います。その中で欠損値を扱ったり、 統計を取ったり、特徴量を作り出したりするのですが、 毎回やり方を忘れてググっているので、上記の書籍を読んで こういった前処理の方法をいつでも確認できるように メモしておこうと思います。 目次 目的 目次 日時のデータをdatetime型に変換する 最初の日時からの経過時間を計算する 各データの統計量を計算する 欠損値の確認と補完 経過時間の単位を変換する データフレーム結合する 基準日時からの経過時間を計算する 重複した行を削除する 特定のデータ列をインデックスにする 部分的時系列を抽出して統計量を計算する データフレームの各列をリストにして結合する 不均衡データから教師データを作成する データの読み込みと可視

            時系列データを前処理する際のPython逆引きメモ - EurekaMoments
          • 最近噂のノーコードAIモデル開発ツール Node-AIで時系列データの因果分析・重要度可視化・要因分析をしてみた - NTT docomo Business Engineers' Blog

            はじめに こんにちは。イノベーションセンター、テクノロジー部門、データ分析コンサルティングPJの更科です。 この記事では、2022年12月08日にβ版フリートライアルキャンペーンが始まったNode-AIで時系列データの因果分析・重要度可視化・要因分析などをしてみようと思います。 Node-AIは時系列データの分析をするNTT Communicationsの内製開発サービスで、製造業を中心に様々な領域で活用されています。Node-AIについて詳しくは「ノーコードAIモデル開発ツール Node-AI」や「ノーコードAI開発ツールNode-AIの紹介」をご覧ください。 読んでほしい人 ノーコード(ローコード)AI開発ツールに興味がある人 時系列データの可視化に興味がある人 因果分析、特徴量重要度、要因分析に興味がある人 伝えたいこと Node-AIを使ってデータの様々な情報を可視化できる! No

              最近噂のノーコードAIモデル開発ツール Node-AIで時系列データの因果分析・重要度可視化・要因分析をしてみた - NTT docomo Business Engineers' Blog
            • 時系列データの保存先をDynamoDBからTimestreamへ移行すべきか検討してみる | DevelopersIO

              計測対象が増えた場合にカラムやアトリビュートが横に増えていくのか、レコードが縦に増えていくのかという違いがあります。 ストレージ Timestreamはメモリストアとマグネティックストアという2種類のストレージを持ちます。それぞれ以下のような役割を持ちます。 メモリストア 新しいデータを保存するためのストレージ ある時点のデータを高速に抽出するようなクエリに最適化されている マグネティックストア データを長期間保存するためのストレージ 分析クエリをサポートするように最適化されている 各ストレージにはデータの保持期間が設定でき、設定したデータ保持期間とレコードのタイムスタンプに応じてレコードの保存先がメモリストア → マグネティックストアと遷移し、マグネティックストアのデータ保持期間を超過したレコードは削除されます。 現在はメモリストアとマグネティックストアの2種類でストレージが構成されてい

                時系列データの保存先をDynamoDBからTimestreamへ移行すべきか検討してみる | DevelopersIO
              • インクリメンタルに複数の時系列データに対する平均・標準偏差を計算する

                はじめに データ分析を行う際、それらのデータの特徴を知るために頻繁に平均や分散(データのばらつき)を計算します。 それらは、n個のデータをx_1,x_2,\ldots,x_nと表すと、それぞれ次のような式で計算できました。 平均 m_n = \frac{1}{n}\sum_{i=1}^{n}x_i 分散 \sigma_{n}^2 = \frac{1}{n}\sum_{i=1}^{n} (x_i - m_n)^2 この計算式を愚直にコード(rust)に落とし込むと次のように記述できます。(もしrustを書いたことない方でもプログラミングに馴染みのある方であればなんとなくわかると思います。) // 平均 fn mean(data: &Vec<f64>) -> f64 { let mut sum: f64 = 0.0; for i in 0..data.len() { sum += data[i

                  インクリメンタルに複数の時系列データに対する平均・標準偏差を計算する
                • 時系列データの交差検証(クロスバリデーション)は交差検証とはいえないし、良い方法でもないらしい

                  この記事は Qiita に投稿した以下の記事と同一の内容です。 https://qiita.com/s_katagiri/items/7f06ca85f851e0a50516 概要 時系列データ、あるいは独立かつ同一の分布 (i.i.d.) の仮定が成立しない、観測点どうしで自己相関のあるデータに対する予測モデルの交差検証(クロスバリデーション)について書きます。情報量規準との関連まで書きたかったけど時間がないので時系列データとクロスバリデーションについてだけ書きます。 本文ではまず、最初のセクション1では交差検証がなんであるかを確認したうえで、時系列データは交差検証法の想定しているものではなく、そのまま使うことが難しいことを直感的に説明します。次のセクション2では、これまで提案された様々な時系列データに対する予測誤差の評価方法を紹介します。セクション3では、これらの性能を実験で検証した研

                    時系列データの交差検証(クロスバリデーション)は交差検証とはいえないし、良い方法でもないらしい
                  • Transformerによる時系列データ予測のご紹介 - Platinum Data Blog by BrainPad ブレインパッド

                    本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 発展を続ける「自然言語処理」技術。その中でも幅広く使用される深層学習モデルTransformerは、自然言語処理以外の音楽生成や物体検出などの領域でも適用できます。本ブログでは、 Transformerを時系列データに適用する方法をご紹介します。 こんにちは、AIソリューションサービス部の井出と申します。 この記事では、特に自然言語処理分野で幅広く使用される深層学習モデルTransformerを時系列データへ適用する方法に関してご紹介します。 以前の記事では、Transformerの構造や特徴などについて、自然言語処理分野の機械翻訳を例としてご紹介しております。はじめに、こちらの記事をご一読していただくことで、より本記事でご紹介する内容に対する理解が深まるかと思います。 Transform

                      Transformerによる時系列データ予測のご紹介 - Platinum Data Blog by BrainPad ブレインパッド
                    • Pandas で時系列データをグループ化して集計できる「Grouper」 - kakakakakku blog

                      Pandas で groupby() 関数を使うと,データセットをグループ化して集計できる.さらに Grouper オブジェクトと組み合わせると,より高機能なグループ化を実現できる.今回は groupby() 関数と Grouper オブジェクトを組み合わせて「時系列データの集計」を試す.最後に関連する resample() 関数も試す. pandas.DataFrame.groupby — pandas 1.2.4 documentation pandas.Grouper — pandas 1.2.4 documentation データセット 🪢 今回使うサンプルデータセットを準備する.まず,Pandas の date_range() 関数を使って 2020/1/1 ~ 2020/12/31 の範囲で1年間の DatetimeIndex を作る.そして DatetimeIndex をイ

                        Pandas で時系列データをグループ化して集計できる「Grouper」 - kakakakakku blog
                      • 【漁業の今を知る】地球温暖化で魚は北上している!? 208漁港の魚種別漁獲量の時系列データをpythonで可視化 | 宙畑

                        【漁業の今を知る】地球温暖化で魚は北上している!? 208漁港の魚種別漁獲量の時系列データをpythonで可視化 地球温暖化によって、獲れるはずの場所で魚が獲れなくなっている……。そんなニュースを知った宙畑編集部はオープンデータからその傾向が分かるのか調査してみました。 2022年8月31日以降、Tellus OSでのデータの閲覧方法など使い方が一部変更になっております。新しいTellus OSの基本操作は以下のリンクをご参照ください。 https://www.tellusxdp.com/ja/howtouse/tellus_os/start_tellus_os.html 「地球温暖化の影響でこれまで獲れていた魚が北上しているのかもしれませんね」 そんな疑問が生まれたのは大分でサワラ網漁を営む漁師、江本さん(※)から最近サワラが獲れなくなったと聞いた時でした。 ※沿岸漁業で衛星データ活用チ

                          【漁業の今を知る】地球温暖化で魚は北上している!? 208漁港の魚種別漁獲量の時系列データをpythonで可視化 | 宙畑
                        • MongoDB 5.0が登場。時系列データ対応、実行中のシャーディング変更に対応など

                          MongoDB社は、同名のNoSQLデータベースの最新版となる「MongoDB 5.0」のリリースを発表しました。MongoDB 5.0はオンプレミス用と、クラウドサービス「MongoDB Atlas」の両方で提供されます。 Breaking News - CTO @MarkLovesTech announces the release of MongoDB 5.0! Introducing new workloads Future proof apps Next-gen privacy pic.twitter.com/bZhv7vw8kt — MongoDB (@MongoDB) July 13, 2021 MongoDBは、さまざまな種類が存在するNoSQLデータベースの中でも、ドキュメント指向データベースとしてJSON形式のデータ格納を中心としたデータベースです。JSONを用いること

                            MongoDB 5.0が登場。時系列データ対応、実行中のシャーディング変更に対応など
                          • LLMによる時系列データ分析に「ニュース情報」を混ぜるアプローチ 為替予測精度など大幅に向上 | AIDB

                            本記事では、時系列予測にLLMを活用した研究を紹介します。 今回研究者らは、ニュース記事などのテキストデータを予測に組み込むことに成功しました。 金融、エネルギー、パンデミック予測など幅広い分野での活用が期待される本手法は、予測精度の向上だけでなく、人間の行動や社会の変化をより正確に反映できる可能性を示しています。 背景 時系列予測は、経済、インフラ、社会の様々な分野における意思決定の重要な基盤とされてきました。しかし従来の予測手法は、時系列の変動が安定している場合には有効でしたが、突発的な出来事による急激な変動や異常値への対応には限界があります。また、複雑な社会的出来事と時系列データの変動との関連性を体系的に理解することも難しい課題です。 そんな中、「ニュースデータ」が予測の精度向上における可能性を秘めています。ニュースには、予期せぬ出来事、政策変更、技術の進歩、世論の変化など、数値デー

                              LLMによる時系列データ分析に「ニュース情報」を混ぜるアプローチ 為替予測精度など大幅に向上 | AIDB
                            • 時系列データから大量の特徴量を生成するパッケージ「tsfresh」の使い方|CO-WRITE ─ AIとデータサイエンス by GRI

                              こんにちは!突然ですが、皆さんは下のような二種類の時系列データを判別できるような特徴量を抜き出したいときに何を考えますか?そしてどうやって特徴量を抽出しますか? 私はパッと見て次の手法を使えば特性が取り出せると思いました。 ピークの数 → k近傍法 ノイズの大きさ → 分散統計量 時系列方向で周期成分の大きさ → Wavelet変換 しかし、当然これだけでは十分な数の特性を網羅できていないでしょうし、適切な特性を抜き出すためにパラメータチューニングを行う必要があります(例えば、Wavelet変換であれば適切な基底関数を選ぶ必要があります)。 このように時系列データの特徴量エンジニアリングは調べることが無限にあり、どの特徴量を算出するかを考えているだけで日が暮れてしまいます。また、抜き出す特徴量が決まったとしてもモノによっては計算が複雑で実装に時間がかかってしまう場合もあります。 そんなとき

                                時系列データから大量の特徴量を生成するパッケージ「tsfresh」の使い方|CO-WRITE ─ AIとデータサイエンス by GRI
                              • Pythonで実践する時系列データ分析: pandasとProphetで未来を予測する - Qiita

                                はじめに ビジネスの世界で「先を読む」ことの重要性は言うまでもありません。売上予測、需要予測、株価分析など、時系列データを扱う機会は非常に多いですよね。しかし、時系列データの分析は一筋縄ではいきません。トレンド、季節性、外部要因など、考慮すべき要素が多岐にわたります。 そこで本記事では、Pythonを使って時系列データを効果的に分析する方法をご紹介します。特に、データサイエンティストの強い味方であるpandasライブラリの時系列機能と、FacebookのAIチームが開発した予測ライブラリProphetに焦点を当てます。 これらのツールを使いこなせば、複雑な時系列データでも、まるで未来を見通すかのように分析できるようになります。さあ、一緒にPythonで時を操る魔法を学んでいきましょう! 1. pandasを使った基本的な時系列データ操作 1.1 データの読み込みと前処理 まず、時系列データ

                                  Pythonで実践する時系列データ分析: pandasとProphetで未来を予測する - Qiita
                                • Python Pandasを使った時系列データの移動平均計算: 実装と分析技法 - Qiita

                                  はじめに 時系列データの分析は、ビジネス、金融、科学研究など、様々な分野で重要な役割を果たしています。その中でも、移動平均は最も基本的かつ強力なツールの一つです。この記事では、Pandasを使用した移動平均の計算と可視化について、基礎から応用まで幅広く解説します。 この記事を読むメリット 実践的なデータ分析スキルの向上: 単純な移動平均から適応型移動平均まで、様々な手法の実装方法を学べます。これらのスキルは、株価予測、需要予測、センサーデータの分析など、実務で即座に活用できます。 効率的なコード設計とパフォーマンス最適化: 大規模データセットの処理技術や、再利用性の高いコード設計について学べます。これにより、より効率的で保守性の高い分析プログラムを作成できるようになります。 分析手法と可視化技術の習得: 移動平均の交差シグナルやボリンジャーバンドなど、分析手法と、それらを効果的に可視化する

                                    Python Pandasを使った時系列データの移動平均計算: 実装と分析技法 - Qiita
                                  • 無償でも利用可能 ~マインドマップ作成ソフト「XMind」デスクトップ版がアップデート/時系列データをまとめる「タイムライン」やスライド化する「ピッチモード」が強化

                                      無償でも利用可能 ~マインドマップ作成ソフト「XMind」デスクトップ版がアップデート/時系列データをまとめる「タイムライン」やスライド化する「ピッチモード」が強化
                                    • マイクロサービスにおける性能異常の迅速な診断に向いた時系列データの次元削減手法 - ゆううきブログ

                                      著者 坪内 佑樹(*1), 鶴田 博文(*1), 古川 雅大(*2) 所属 (*1) さくらインターネット株式会社 さくらインターネット研究所、(*2) 株式会社はてな 研究会 第7回Webシステムアーキテクチャ研究会 2010年代のクラウド技術であるコンテナオーケストレーション、サーバーレス、マイクロサービス、さらにはエッジコンピューティングなどの普及により、分散システムとしての複雑度が高まっている。このまま複雑度が高まっていくと、人手によるルールベースの運用にいずれは限界が訪れるのではないかと考えている。そこで、最近は、このようなクラウドを中心とするSRE分野の課題に対して、機械学習やその他の数理的アプローチを適用するアプローチを模索している。特に、SREの中でも、システムに発生する異常への対応については、現場のエンジニアの経験に基づき直感に大きく依存している。 異常への対応を構成する

                                        マイクロサービスにおける性能異常の迅速な診断に向いた時系列データの次元削減手法 - ゆううきブログ
                                      • Kubernetesで構築する大規模時系列データのスケーラブルな分散処理

                                        CloudNative Days Tokyo 2023 での登壇資料です

                                          Kubernetesで構築する大規模時系列データのスケーラブルな分散処理
                                        • MongoDB 6.0がリリース。時系列データ対応、ポーリング不要でデータ変更によるトリガー処理、スケーラビリティ、暗号化など強化

                                          MongoDB 6.0がリリース。時系列データ対応、ポーリング不要でデータ変更によるトリガー処理、スケーラビリティ、暗号化など強化 代表的なNoSQLデータベースの1つであるMongoDBの最新バージョン「MongoDB 6.0」がリリースされました。 MongoDB 6.0 is now available! More support for time series data Build better event-driven architectures Deeper insights from enriched queries More operators, less work More resilient operations Smoother search & seamless data synchttps://t.co/PvF17HXMI7 pic.twitter.com/GOW

                                            MongoDB 6.0がリリース。時系列データ対応、ポーリング不要でデータ変更によるトリガー処理、スケーラビリティ、暗号化など強化
                                          • ARCHモデルで時系列データの変動の大きさを見積もる

                                            この記事は GMOアドマーケティング Advent Calendar 2020 4日目の記事です。 はじめ こんにちは。 GMOアドマーケティングのS.Sです。 時系列データの中には、株価のreturnデータのように変動の大きさが時間とともに変動するようなものがあります。 今回の記事ではARCHモデルを使って、時系列データの変動の大きさを見積もってみたいと思います。 データの準備 大きく株価が変動するようなイベントというと、2008年のサブプライム危機があったので、その時期の変動の大きさの変化をある程度モデルでも捉えることができればよさそうということにします。 サブプライムの直前の時期のアップルの株価データがmatplotlibのサンプルに含まれているので、以下からダウンロードします。 株価のlogarithmic differenceをとるのは大雑把に日次の変化率を計算するためです。 h

                                              ARCHモデルで時系列データの変動の大きさを見積もる
                                            • 大規模言語モデルの研究動向の調査:時系列データ分析とData-centric AIの視点から

                                                大規模言語モデルの研究動向の調査:時系列データ分析とData-centric AIの視点から
                                              • 複数時系列データ × Transformerの実装と評価

                                                目次 本記事の動機 時系列解析とTransformerに対する先行研究のまとめ 複数時系列データの解析に対する課題を解決した改善モデル iTransformer iTransformerモデルの実装 実装環境と学習データ データの前処理 iTransformerモデル実装と最適パラメータ探索 数値実験と考察 本記事のまとめ 参考文献 本記事の動機 近年ではビックデータの利活用が活発になっており、データを蓄積・分析することが多くなっています。その際、機械学習やAIの実装をしてデータの分析を行う場合、データ数が鍵となっています。しかしながら、データの項目数が多いと、各項目のデータ数が少なくなる可能性があります。例えば、ある市場で売られている品種が複数あった場合、受注数の差だけではなく、受注のデータ数にも差が生じ、結果的に分析に使用可能なデータ数が少なくなり、分析の精度が低下することが考えられま

                                                  複数時系列データ × Transformerの実装と評価
                                                • 埼玉大学で時系列データ分析コンテンツ「ごちきか」を元にした講義をしました - NTT docomo Business Engineers' Blog

                                                  この記事では、NTTコミュニケーションズの先端AI数理PJが埼玉大学で行った時系列分析に関する研究会の様子とその講義資料およびハンズオン資料について紹介します。本記事で紹介した資料の完全版はこちらをご覧ください! 目次 目次 はじめに 講義の準備 講義内容の紹介と研究会の様子 AI・データ分析関連事業紹介と時系列分析の背景 可視化と探索的データ解析/前処理 線形モデリング Deep Learningによる時系列予測 質疑応答 参加者の声 感想 おわりに はじめに イノベーションセンター テクノロジー部門 先端AI数理PJの石山です。普段の業務では、因果推論や機械学習をもちいた時系列データ分析の研究開発やお客さまデータ分析案件支援を行っています。 この記事では、2023年12月に埼玉大学で行われた「埼玉大学産学官連携協議会データサイエンス技術研究会第4回」の内容とその様子を紹介します。 研究

                                                    埼玉大学で時系列データ分析コンテンツ「ごちきか」を元にした講義をしました - NTT docomo Business Engineers' Blog
                                                  • 【Python】HANTSを用いた時系列補正【時系列データ】 - LabCode

                                                    HANTS法とは?HANTS(Harmonic ANalysis of Time Series)は、リモートセンシングデータの時系列解析に使用される手法の一つで、時系列データを周期的な成分(調和成分)に分解し、ノイズや異常値を除去しながらデータを再構築する手法です。今回はNDVIでよく利用されるZhou et al., 2015の方法をもとに、この方法の基本的な考え方と動作原理を以下に解説します。 HANTSの基本概念1. 理論的背景HANTS法は、フーリエ級数展開の考え方を基礎としています。フーリエ級数展開では、任意の周期関数を正弦波と余弦波の和で表現できるという原理を用います。HANTS法は、この原理を時系列データに適用し、データに含まれる様々な周期成分を抽出します。 2. 基本モデルHANTS法では、時系列データ $y(t_j)$を以下のようにモデル化します: $$ \tilde{y

                                                      【Python】HANTSを用いた時系列補正【時系列データ】 - LabCode
                                                    • 【時間-周波数解析の基礎】特異スペクトル解析を用いた時系列データの成分分析【SSA】 - LabCode

                                                      時系列データの特異スペクトル解析 特異値分解 まず,特異スペクトル解析で用いられる特異値分解について説明します。線形代数の言葉が出てきますので,難しいと思う方は飛ばしてもらっても大丈夫です。 階数 $r$ の $m\times n$ 行列 $\mathsf{A}$ に対して,次のような分解 (特異値分解 (singular value decomposition: SVD)といいます) が存在します: $$ \mathsf{A} = \mathsf{U}\mathsf{\Sigma} \mathsf{V}^\top $$ ここに,$\mathsf{U}$ と $\mathsf{V}$ はそれぞれ,$m$ 次と $n$ 次の直交行列 (複素行列の場合は,エルミート行列) で,$\mathsf{\Sigma}$ は $$ \mathsf{\Sigma} = \left(\begin{array

                                                        【時間-周波数解析の基礎】特異スペクトル解析を用いた時系列データの成分分析【SSA】 - LabCode
                                                      • 能登半島地震 被害は 避難は 断水は 時系列データで振り返る | NHK

                                                        全壊、半壊、一部損壊の被害を受けた住宅の数です。 県内では7万6114棟が確認されています。 自治体別の内訳です。 ▽輪島市14816棟▽七尾市13214棟▽珠洲市8197棟▽能登町6304棟▽志賀町5367棟▽金沢市5052棟▽穴水町4034棟▽中能登町3687棟▽羽咋市3118棟▽小松市2235棟▽津幡町1970棟▽かほく市1938棟▽加賀市1725棟▽内灘町1590棟▽宝達志水町1270棟▽能美市1165棟▽白山市358棟▽野々市市51棟▽川北町23棟 このほか志賀町では床上浸水が6棟、床下浸水が5棟確認されています。 石川県内の市や町が設ける避難所では、7400人以上が避難生活を余儀なくされています。 3万4000人あまりだったピーク時と比べると4分の1を下回りましたが、断水の長期化や仮設住宅への入居待ちなどもあって避難所での生活が長期化している被災者が多くなっています。 自治体別

                                                          能登半島地震 被害は 避難は 断水は 時系列データで振り返る | NHK
                                                        • ディープラーニングによる時系列データ予測モデルの問題点を解消する

                                                          本稿では、NTTテクノクロスでAIエンジニアとして活躍する筆者が、実際にどのようなことを行っていて、どのような苦労があるのかを、実際に動かして試せる「時系列データの予測モデル作成」の題材を通して、4回にわたってお伝えします。最終回となる今回は、これまでに作成した予測モデルを振り返り、時系列データを用いた予測モデルを作成する際に起きやすい問題とその対応方法をお伝えいたします。(編集部) AIを用いた時系列データ予測-予測モデルの評価 本連載では、時系列データを用いた予測モデルの作成を題材に、その作成方法を前回まで紹介してきました。 AIを用いた新規サービス開発におけるPoC(概念実証)において、このように予測モデルをプロトタイプとして作成した際、AIエンジニアには作成した予測モデルが「どのくらい目標としているサービスに適用できそうか」「どのような特徴・問題があるか」「今後どのくらい拡張・改善

                                                            ディープラーニングによる時系列データ予測モデルの問題点を解消する
                                                          • データサイエンティスト以外でもデータが使えるように サービス運用のための時系列データ予測ツールの作り方 | ログミーBusiness

                                                            2021年11月10日と11日の2日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2021」がオンラインで開催されました。そこでLu Yan氏がサービス運用のための時系列データ予測について紹介しました。 自己紹介&アジェンダLu Yan氏:LINE FukuokaのData Science Team、データサイエンティストのLu Yanといいます。今日は「サービス運用のための時系列データ予測」についてお話しします。特に我々同様、データ予測ツールを作る方のお役に立てればと思います。 まずは、プロジェクトの背景とプロジェクトのメンバーを紹介します。次に、時系列予測ツールについて紹介し、最後に、達成事項および将来の目標についてお話ししていきます。 最初に、プロジェクトの背景とプロジェクトのメンバーです。プロジェクトは3人で構成されています。

                                                              データサイエンティスト以外でもデータが使えるように サービス運用のための時系列データ予測ツールの作り方 | ログミーBusiness
                                                            • 富士通、時系列データで異常要因を特定する世界初のAI技術を開発「技術改良と実用化に期待している」 | Ledge.ai

                                                              TOP > Article Theme > AI(人工知能)ニュース > 富士通、時系列データで異常要因を特定する世界初のAI技術を開発「技術改良と実用化に期待している」 富士通株式会社は7月16日、Topological Data Analysis(TDA※)技術をベースに、時系列データにおいてAIによる異常判定の要因を特定し、正常と異常間の判定の変化を視覚的にわかりやすく提示できる技術を開発したと発表。フランスの国立研究機関Inriaとの共同研究によるもので、世界初とうたう。 (※)データをある空間内に配置された点の集合とみなし、その集合の幾何的な情報を抽出するデータ分析手法のこと。 近年、ヘルスケアや社会インフラ、ものづくり分野など、さまざまな場面で多くの時系列データが収集され、AIを活用した状況判断や異常検知が実施されている。なかでも、AIによる判定結果の根拠を説明することが求めら

                                                                富士通、時系列データで異常要因を特定する世界初のAI技術を開発「技術改良と実用化に期待している」 | Ledge.ai
                                                              • 時系列データ予測の最前線まとめ:機械学習からディープラーニングまで - Qiita

                                                                みなさんこんにちは!私は株式会社ulusageの、技術ブログ生成AIです!これからなるべく鮮度の高い情報や、ためになるようなTipsを展開していきます。よろしくお願いします!(AIによる自動記事生成を行なっています。システムフローについてなど、この仕組みに興味あれば、要望が一定あり次第、別途記事を書きます!) はじめに 時系列データ予測は、多くの産業で重要な役割を果たしています。金融、医療、マーケティング、物流など、さまざまな分野で活用されています。過去のデータを基に未来の値を予測する能力は、意思決定プロセスや運用効率の向上に大きく寄与します。近年の機械学習、生成AI、ディープラーニングの進歩により、時系列予測のための高度な手法が数多く登場しています。本記事では、これらの手法を紹介し、その特徴と利点を探ります。 時系列データとは? 時系列データとは、特定の時間間隔で収集または記録されたデー

                                                                  時系列データ予測の最前線まとめ:機械学習からディープラーニングまで - Qiita
                                                                • 時系列データをネイティブサポートした「MongoDB 5.0」が公開 | OSDN Magazine

                                                                  米MongoDBは7月13日、ドキュメント指向データベースの最新のメジャーリリーースとなる「MongoDB 5.0」の一般公開(GA)を発表した。時系列のネイティブサポートなどが加わっている。 MongoDBはJSONのような形式でドキュメントとしてデータを表現するドキュメント指向のデータベース。スキーマレスで、分散構成が可能。独自のServer Side Public License(SSPL)の下で公開されている。MongoDB 5.0は2018年に公開された4系に続くメジャーリリース。 時系列データを格納するコレクションを導入した。通常のコレクションと合わせて利用でき、容易に時系列データを組み合わせることができる。時系列コレクションで時系列データを格納することで、クエリの性能を改善し、ディスクの使用も削減できるとしている。 Versioned APIを導入した。アプリのライフサイクル

                                                                    時系列データをネイティブサポートした「MongoDB 5.0」が公開 | OSDN Magazine
                                                                  • 時系列データを扱う新しい選択肢?! Amazon Timestream を試してみた - OPTiM TECH BLOG

                                                                    はじめに こんにちは。技術統括本部、DX推進部の張です。 留学生で中国から来て、日本文化が大好きで日本の企業に働くことになった社会人一年目です。 個人的なニュースは、最近サイバーパンク2077にハマっていて、よりいい画質のためグラボ買い替えを考えたところビットコインブームに遭遇して、グラボがほぼ欠品になっていることです。 さて、今回はAmazon Timestreamというサービスを試していまして、その結果を紹介いたします。 要約 2020年10月に時系列専用DB:Amazon Timestreamがリリースされました DBのアップロード、クエリ時の性能を調査しました 公式Go言語SDKを使ってDBに230万レコードのデータを入れてみました このデータをもとにいくつかのクエリを実行し、レスポンスを測りました SQLがサポートされている時系列DBとして十分使えます 目次 はじめに 要約 目次

                                                                      時系列データを扱う新しい選択肢?! Amazon Timestream を試してみた - OPTiM TECH BLOG
                                                                    • 時系列データに異常発見。「時系列異常検知」とは – 株式会社Laboro.AI

                                                                      エンジニアコラム 広い技術領域をカバーする当社の機械学習エンジニアが、 アカデミア発のAI&機械学習技術を 紹介&解説いたします。 2020.10.20 株式会社Laboro.AI リード機械学習エンジニア 大場 孝二 概 要 気温や降水量をはじめとする気象データや交通量データなど、時間の変化に沿ってまとめられた情報は、時系列データと呼ばれます。時系列データは、時期や時間ごとの変化を捉えるため主に用いられますが、ビジネスシーンではこうした時系列情報をただ捉えるだけでなく、急激な変化や異常が起きた場合にそれを察知したり、場合によっては通知するような仕組みを検討することも重要なポイントになるはずです。 このコラムでは、こうした時系列データに表れる異常を検知するための手法「時系列異常検知」の紹介と、とくにSR法と呼ばれる手法の技術解説をしていきます。 目 次 ・時系列異常検知とは ・Spectr

                                                                        時系列データに異常発見。「時系列異常検知」とは – 株式会社Laboro.AI
                                                                      • Python ruptures でサクッと時系列データの変化点を見つける方法

                                                                        ビジネスの世界のデータの多くは、時間軸のあるデータである時系列データです。 時系列データを手に入れたら、どのようなデータかなんとなく知りたくなります。 時系列データの多くは色々な変化をしながら推移していきます。 例えば…… 全体の水準が大きくなったと思えば、水準が急激に落ちたり 上昇トレンドがあったかと思えば、下降トレンドになったり 振幅の幅が急激に大きくなったり、小さくなったり ……などなど。 時系列データは一定ではなく、このような変化をすることも少なくありません そこで知りたくなるのが、このような変化をする時期、つまり変化点です。 変化点を検出する技術は色々とあります。 幸いにも、Pythonのライブラリーの中に時系列データの変化点を見つけるためのパッケージがいくつかあります。 今回は、「Python ruptures でサクッと時系列データの変化点を見つける方法」というお話しをします

                                                                          Python ruptures でサクッと時系列データの変化点を見つける方法
                                                                        • Excelã‚„Goolgeスプレッドシートの時系列データをMod関数によって間引く方法 - シン・春夏冬広場

                                                                          ビッグデータ解析がはやっている。ビックデータ解析は色んなデータを組み合わせて、新しい何かを生み出そうぜっていう取り組み。パソコンの計算量が増えてきて、様々なことが出来るようになってきた。しかしながら、それだけ巨大なデータだと簡単に利用できるソフトがあればいいが、可能な限り手元にあるソフトで対応したい。 Excelを使って、データの間引き作業などができると、とっても便利だなって考えた。ただ、データ量が増えれば増えるほどエクセルはかなり重くなって使いにくくなる。最終的にはデータの処理スピードが速い専用のソフトで計算できるようにするしかない。 今回の取り組みは実験的なものでもあるが、便利だと思うので紹介したい。 Mod関数とは何か 2つの正の整数である、割られる数 a【被除数】と割る数 n【除数】が与えられたときに、aをnで割ったあまり【剰余】を計算する関数のこと。例えば5 mod 2とすると結

                                                                            ExcelやGoolgeスプレッドシートの時系列データをMod関数によって間引く方法 - シン・春夏冬広場
                                                                          • 【時系列データ】衛星データの時系列分解を行う【STL分解】 - LabCode

                                                                            時系列分解の意義 多くの実世界のデータは、時間的な変化を伴った時系列データとして記録されます。需要予測、気象予報、株価分析など、時系列データを分析する分野は多岐にわたります。 時系列データは大抵以下のような構造が含まれています。 トレンド(Trend) : 長期的に増減する動き 季節成分(Seasonality) : 1年や1か月など一定の周期で繰り返す変動 残差(Residual) : 不規則な変動やノイズなど これらの成分を分解して扱えると、データの理解が格段に進み、将来予測や異常検知に応用する際にも有利になります。 伝統的な時系列分解モデル 加法モデル(Additive Model) 古典的な加法モデルによる時系列分解では、時系列 $y_t$ を以下のように表します。 $y_t = T_t + S_t + R_t$ $y_t$: 観測値 (Observed series) $T_t$

                                                                              【時系列データ】衛星データの時系列分解を行う【STL分解】 - LabCode
                                                                            • 時系列データの価値を引き出す Amazon Timestream データモデリングのベストプラクティス | Amazon Web Services

                                                                              クエリの例をいくつか見てみましょう。 Query 1 – 次のクエリは region でデータをフィルタリングし、過去 1 日間で米国地域で視聴されたビデオの合計回数をカウントしています (Timestream の ago() 関数を利用) 。指定された地域でのビデオ消費量の全体像を示します。 SELECT COUNT(*) AS video_count FROM "test"."videostreaming" WHERE time >= ago(1d) AND region = 'US' Query 2 – 次のクエリは device_type に基づいてデータをグループ化し、過去 1 日分の各デバイスタイプ毎のビデオストリーミングセッションの平均時間を計算します。こうする事でデバイス毎に平均時間がどのように変化するか分析出来ます。この情報は様々なデバイスでのユーザの行動や好みを理解し、

                                                                                時系列データの価値を引き出す Amazon Timestream データモデリングのベストプラクティス | Amazon Web Services
                                                                              • 【Python 入門】Prophet を使った時系列データ分析と Plotly による可視化!

                                                                                こんにちは、機械学習の講師をしている木下です! ビックデータ自体の今、時系列データが多く取得できるようになっています。しかし、時系列データは分析・可視化・解釈が難しく、多くの人の頭を悩ませています。 多くの人が用いているのが、Prophet という非常に便利なライブラリです!Prophet を用いると簡単に分析できるのですが、その後の解釈や可視化の難しさはまだ課題として残っています。 ここでは、そんな時に便利なライブラリ plotly について Google Colaboratory を用いて初学者向けに解説していきます。

                                                                                • 時系列データ向けの表現学習「T-Rep (ICLR2024è«–æ–‡)」の紹介 - Qiita

                                                                                  概要 時系列データ向けの表現学習手法「T-Rep: Representation Learning for Time Series using Time-Embeddings」 (ICLR2024) の論文、公式リポジトリを読んだので備忘録を兼ねて紹介します。 本手法は多変量の時系列データに対応しており、表現学習時に複数のPretextタスクを導入することで異常検出や分類・予測に寄与する汎用的な特徴量を獲得しています。 時系列表現(representation)はタイムスタンプ単位で出力できるため、point-wiseな異常検出であったり、window単位で集約することでsegment-wiseな分類や異常検出も可能な手法です。 記事の後半では公式チュートリアルを参考に、多変量時系列データの分類を試してみます。 arxiv Github モデル構造 T-Repモデルは以下の3つのモジュール

                                                                                  新着記事