This post is also available in 简体中文, Français, Deutsch, Italiano, 日本語, 한국어, Português, Español (Latinoamérica), Español, Рyсский, Polski, Nederlands and 繁體中文. On 18 November 2025 at 11:20 UTC (all times in this blog are UTC), Cloudflare's network began experiencing significant failures to deliver core network traffic. This showed up to Internet users trying to access our customers' sites as an err

これを記事にしている 2025 年 5 月の二年ほど前 (2023-06-02) に、縁あって明治大学 情報科学科での特別講義 [1] を担当させてもらいました。 身内の評判は悪くなかったのでスライドは公開していたんですが、単に Google Slides を公開状態にしただけだったんですね。 [2] これではあとから参照・引用するのも難しく、ちょっともったいないかと思ったので、いまさらながら記事の形でまとめなおしておくことにしました。 一年も経てば情報が古くなってしまうコの業界です。賞味期限切れの話もあると思いますが、話のネタにでもしてもらえれば幸いです。 講義の対象と目的 この講義、目的は2つあって、まず「最新の情報科学トピックに触れる」こと。 それから、就職活動が始まる3年生がメインの対象者なので、 今後のキャリアプランとか人生指針に関するいろいろな視点を持ってもらうことです。 この

Road to SRE NEXT@会津若松 2025/05/17

こんにちは。クラウド型電子カルテであるエムスリーデジカルのソフトウェアエンジニア兼 Team SRE をしている井上 渉（@wtr_in）です。キャベツ相場が落ち着いてきて一安心しています。 今回は、デジカルを構成するサービスの DB（基本的に読み取りのみ）を Aurora MySQL から Fargate 上の SQLite に移行し、性能も向上しつつ当該サービス全体のインフラコストを約 1/8 まで大幅に削減できた話をご紹介します。 移行前・移行後の構成とその効果 移行前 (Aurora MySQL) 移行後 (SQLite) 移行で得られた効果 移行を検討した背景 なぜ SQLite を選んだか SQLite のデータをどこに置くか インメモリ SQLite へのデータロード まとめ We are hiring! 移行前・移行後の構成とその効果 今回 SQLite を採用したサービス

# 失敗から学ぶRDBの正しい歩き方 - https://amzn.to/4e0CqfH

国立遺伝学研究所 生命情報・DDBJセンターは10月22日、ハッカー集団から「データを窃取した」「データの5％を公開し、1万ドルを支払わなければ残りの95％も公開する」とする脅しをX上で受けたと発表した。しかし、肝心のデータはもともと誰でも無料でダウンロードできるもので「脅迫は無意味」（生命情報・DDBJセンター）という。 脅迫を確認したのは8日深夜。「CyberVolk」（サイバーフォルク）と名乗る国際ハッカー集団から、塩基配列のデータベース「DDBJ」の情報を窃取したと脅されたという。生命情報・DDBJセンターは事態を受け詳細を調べたが、22日時点ではシステムへの不正侵入や改ざんの形跡はなかった。 DDBJは、研究者から投稿された DNAおよびRNAの塩基配列データを収集・注釈付けし、無料で公開するプラットフォームだ。ハッカー集団が窃取したと主張するデータも、誰でも無料でダウンロードで

データベースアップグレード後の性能劣化、イヤですよね。 去る2023年某日、弊社ではAmazon Aurora MySQL 互換エディション 2 (MySQL 5.7 互換) から Aurora MySQL 互換エディション 3 (MySQL 8.0 互換) にアップグレードしました。当時の背景やアップグレードに関する知見は以下の記事をぜひ読んでみてください。 blog.smartbank.co.jp ソフトウェアバージョンアップをするとき、旧バージョンが抱えていた問題の解決などの恩恵を我々は期待します。しかし時には予期せぬデグレーションに遭遇することもあります。我々のMySQL 8.0へのアップグレード前後においてもいくつかの問題に遭遇しました。 本記事ではそんな問題の一つ、MySQL 8.0のオプティマイザが選択したセミジョイン最適化が性能劣化を引き起こした事例と解決方法について紹介し

たまにウソつく生成AIに「契約書管理」は無理？　「40年の歴史」持つ言語解析AIが再評価されるワケ：万能ではないからこそ（1/5 ページ） 2022年末のChatGPTの登場以来、ビジネスの世界では生成AI技術の可能性に沸き立っている。多くの企業が競うように最新のAI技術を自社サービスに組み込み、イノベーションの波に乗ろうとしている。しかし、生成AIが万能かというとそんなことはない。 Sansanが2022年にリリースした契約書管理サービス「Contract One」は、最新の生成AI技術だけでなく、40年の歴史を持つルールベースの言語解析技術を中核に据えている。なぜSansanはこのような選択をしたのか。 契約書関連の業務をデジタル化する、いわゆるリーガルテック市場は活況だ。コロナ禍に急速に普及した電子契約を皮切りに、人間に代わりAIが契約書のレビューをサポートする契約書レビュー、締結し

以前にデータベースを自作しようとして、SQLiteのアーキテクチャを見てみたらVMだったことに疑問を感じ、それをツイートしたところ作者からリプをもらいました。 作者いわく、次のような背景があったとのことでした。 SQLiteを作った当初はデータベースエンジンのことをよく知らないがコンパイラのことをよく知っていた SQLデータベース・エンジンを書くという問題をコンパイラ構築の問題として扱うのは自然なことだった データベースエンジンのコアの部分をVMにするという発想がまったくなかったので、どんなメリットがあるのか？と気になっていました。 それを作者に聞いたら、詳細な説明ページを作ってくれました。 個人的にVMにしたことで、評価&実行のパフォーマンスは多少良くなると思うが、データベースエンジンのパフォーマンスにそれほど寄与していないんじゃないかな？って思ったりしました。 本記事はそのページについ

回答 (7件中の1件目) まずはUUID及びその対案として用いられる連番(自動採番)のメリット・デメリットを整理します。 (タイムスタンプキーや複合キーなどもその効率性から設計上有用なシーンはありますが、比較から除外します。) * UUIDを使うことのメリット * * データベースにSQLを送信する前からアプリケーションレイヤーでIDを生成できる。 * * トランザクション処理を実装しやすい場合がある。 * IDを推測しにくい。リソースが列挙可能ではない。 * UUIDを使うことのデメリット * * レコード・インデックスサイズが増加する。 * * ...

概要 Web バックエンドのテストコードを書く場合、その多くは DB に依存していることが多いです。 DB 関連のテストは、テストデータの準備やテストケース毎の DB 処理化を適切に行うことが重要ですが、手間がかかる場合あるため、Mock で擬似的にテストしてしまうことも多いかと思います。 ただ、Mock を使ったテストは本質的な問題を検知できない意味のないテストになってしまう可能性があり、可能な限り DB の Mock を行わずに、実際の DB を使用してテストすることが望ましいと考えています。 本記事では、pytest、sqlalchemy、PostgreSQL を使った場合に、テストケース毎に DB を簡単に初期化しつつ、テストケース毎の前提データ登録も簡単うことでテスト開発体験を向上させる方法を紹介します。 前提環境 本記事では、以下の環境を前提として説明いたします。 python

※この記事はMySQL Advent Calendar 2023の4日目です。 MySQL 8.0シリーズでは正式版になってから多数の新機能が追加されるというリリースモデルであった。正式版になってから追加された新機能の中に、GIPK（Generated Invisible Primary Key）というものがある。これはなんとMySQL 8.0.30で追加された機能だ。MySQL 8.0が正式版になってから、なんと4年と3ヶ月後のことである。そんな感じでMySQL 8.0の新機能は正式リリース後にも増え続け、途方もない規模になっている。このブログでは一度に紹介するのは諦め、少しずつ気の向いたものから紹介していこうと思う。今回はその第一弾として、GIPKについて解説しよう。 GIPKとは GIPKとは、その名前が示すように、自動的に生成される不可視の主キーである。主キーを持たないテーブルに対

「家のソファーにいながら、ほとんどのサービスが受けられるよ」 「納税手続きはオンラインで数分で終わり。これが普通だ」 行政や医療分野で、個人番号制度を利用したオンラインサービスが普及する北欧のスウェーデン。もう何年も役所を訪れていないという人にも出会いました。 世界では日本に先がけて、個人番号制度が多くの国で利用されています。ただ、情報漏洩えいやひも付けミスなどの課題も山積。世界の個人番号制度をめぐる現状を取材しました。 （国際部 北井元気 / 山田裕規 / 松本弦） スウェーデン 生まれた直後に個人番号を付与 人口はおよそ1045万（2021年時点）の北欧スウェーデン。 スウェーデンの首都ストックホルム 個人番号制度が導入されたのは70年以上前の1947年のことです。人口の把握などが目的でした。当初は地域の教会がとりまとめていましたが、その後電子化され、1991年から国税庁が管理を担って

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? pictBLandとpictSQUAREに対する不正アクセスがあり、パスワードがソルトなしのMD5ハッシュで保存されていたことが話題になっています。 2023年8月16日に外部のフォーラムにpictSQUAREより窃取した情報と主張するデータ販売の取引を持ち掛ける投稿が行われた（中略）パスワードはMD5によるハッシュ化は行われているもののソルト付与は行われていなかったため、単純なパスワードが使用されていた29万4512件は元の文字列が判明していると投稿。（それ以外の26万8172件はまだMD5ハッシュ化されたままと説明。） 不正アクセス

Python(pytest)でテスト書くならfixture,conftest,parametrizeを理解すると世界が一気に変わる 概要 Pythonのテストライブラリといえばpytestが一般的です。 Python標準のuniitestとは異なり、クラスベースではなく関数ベースでテストコードを記述することが一般的ですが、fixture,conftest,parametrizeを理解すると一気に世界が変わり、テスト体験が圧倒的に向上するため、これらの実装方法を紹介します。 リポジトリ 本記事の説明に使用しているサンプルのテスト実装は、以下のリポジトリです。 想定読者 PythonやGitの基本的な使い方を理解している方を想定しているため、基本的な用語説明は省略しています。 環境 エンジニアの利用率の高いmacOSを前提として説明していますので、その他の環境の方は随時読み替えてください。 開

先日は住所の件でお楽しみでしたね。 私も楽しくなってしょうもないツイートをしたところ、@masanorkさんから有用な情報をいただいてしまいました。 異体字に加えて外字も根深いですし、日付型に収まらない住基の生年月日とか、屋号を含んだ個人事業主の口座名義とか、外国人氏名における住民登録のアルファベットと口座名義のカタカナとの解離とか、旧姓併記の例外処理とか、文字列型に刻まれたバッドノウハウの塊ですね https://t.co/GOaytijfst — Masanori Kusunoki / 楠 正憲 (@masanork) June 6, 2023 このとき、私はごく簡単な「名寄せの難しさ」の社内研修資料を作っている最中だったのですが、この情報が大変参考になりました。 一方、私だけが得をしているのがなんとなくムズムズしてきたので、ここにアウトプットしてスッキリしようと思います。 なお、住所

日本の住所表記の正規化・名寄せがTwitter上で話題になっている。きっかけとなったのは河野太郎デジタル大臣がテレビ番組で発した「AIを使って表記揺れを判断することがあり得るかもしれない」という言葉。これに対し、ネット上ではさまざまな議論が巻き起こっている。 Twitter上では「住所の揺らぎ程度のことでAIは不要」という意見が見られた。これに対して、ITエンジニアなどからは「住所の表記揺れはすぐ解決できる問題ではない」などと反論の声が上がり、「日本住所のヤバさをもっと知ってほしい」と訴えるユーザーも多数見られた。 そんな中、地図や地図データベースを手掛けるゼンリンもこの話題に反応。そこで住所の表記揺れを直すのがどのくらい難しいのか、またどうすれば解決できるのか。ゼンリンに話を聞いた。 表記ゆれの“ワナ”はいくらでも そもそも住所の表記揺れとは「誤字ではないが、同じ意味、同じ読み方であるに