こんにちは。クラウド型電子カルテであるエムスリーデジカルのソフトウェアエンジニア兼 Team SRE をしている井上 渉（@wtr_in）です。キャベツ相場が落ち着いてきて一安心しています。 今回は、デジカルを構成するサービスの DB（基本的に読み取りのみ）を Aurora MySQL から Fargate 上の SQLite に移行し、性能も向上しつつ当該サービス全体のインフラコストを約 1/8 まで大幅に削減できた話をご紹介します。 移行前・移行後の構成とその効果 移行前 (Aurora MySQL) 移行後 (SQLite) 移行で得られた効果 移行を検討した背景 なぜ SQLite を選んだか SQLite のデータをどこに置くか インメモリ SQLite へのデータロード まとめ We are hiring! 移行前・移行後の構成とその効果 今回 SQLite を採用したサービス
# 失敗から学ぶRDBの正しい歩き方 - https://amzn.to/4e0CqfH
国立遺伝学研究所 生命情報・DDBJセンターは10月22日、ハッカー集団から「データを窃取した」「データの5％を公開し、1万ドルを支払わなければ残りの95％も公開する」とする脅しをX上で受けたと発表した。しかし、肝心のデータはもともと誰でも無料でダウンロードできるもので「脅迫は無意味」（生命情報・DDBJセンター）という。 脅迫を確認したのは8日深夜。「CyberVolk」（サイバーフォルク）と名乗る国際ハッカー集団から、塩基配列のデータベース「DDBJ」の情報を窃取したと脅されたという。生命情報・DDBJセンターは事態を受け詳細を調べたが、22日時点ではシステムへの不正侵入や改ざんの形跡はなかった。 DDBJは、研究者から投稿された DNAおよびRNAの塩基配列データを収集・注釈付けし、無料で公開するプラットフォームだ。ハッカー集団が窃取したと主張するデータも、誰でも無料でダウンロードで
2chで祭り状態の複製ネタ。 2月19日にトレード停止の対策がとられたので、もう書いても良いだろう。 【GREEドリランド カード複製方法とその原因についての考察】 『複製方法』 ・用意するもの 携帯電話（スマートフォンで成功･･･ガラケーは不明） PC（ドリランドにログインできるようにChromeをUA偽装したもの） GREEアカウント（単アカで良いが、複アカあると捗る） ・複製手順 １．複製したいカードをトレードに出し、キャンセルしてもらう（複アカならサブに出してすぐにキャンセルすれば良いが、単アカの場合は最悪24時間待つ）。 ２．スマホとPCでドリランドにログインしておく。 ３．どちらもトレード品の受け取り画面にする。 ４．タイミングを計って、２台とも「受け取り」をほぼ同時に選択する。 ５．要はトレキャン倉庫に入っているカードを２台で同時に受け取るだけ（試してないがプレゼントボックス
データベースアップグレード後の性能劣化、イヤですよね。 去る2023年某日、弊社ではAmazon Aurora MySQL 互換エディション 2 (MySQL 5.7 互換) から Aurora MySQL 互換エディション 3 (MySQL 8.0 互換) にアップグレードしました。当時の背景やアップグレードに関する知見は以下の記事をぜひ読んでみてください。 blog.smartbank.co.jp ソフトウェアバージョンアップをするとき、旧バージョンが抱えていた問題の解決などの恩恵を我々は期待します。しかし時には予期せぬデグレーションに遭遇することもあります。我々のMySQL 8.0へのアップグレード前後においてもいくつかの問題に遭遇しました。 本記事ではそんな問題の一つ、MySQL 8.0のオプティマイザが選択したセミジョイン最適化が性能劣化を引き起こした事例と解決方法について紹介し
たまにウソつく生成AIに「契約書管理」は無理？ 「40年の歴史」持つ言語解析AIが再評価されるワケ：万能ではないからこそ（1/5 ページ） 2022年末のChatGPTの登場以来、ビジネスの世界では生成AI技術の可能性に沸き立っている。多くの企業が競うように最新のAI技術を自社サービスに組み込み、イノベーションの波に乗ろうとしている。しかし、生成AIが万能かというとそんなことはない。 Sansanが2022年にリリースした契約書管理サービス「Contract One」は、最新の生成AI技術だけでなく、40年の歴史を持つルールベースの言語解析技術を中核に据えている。なぜSansanはこのような選択をしたのか。 契約書関連の業務をデジタル化する、いわゆるリーガルテック市場は活況だ。コロナ禍に急速に普及した電子契約を皮切りに、人間に代わりAIが契約書のレビューをサポートする契約書レビュー、締結し
以前にデータベースを自作しようとして、SQLiteのアーキテクチャを見てみたらVMだったことに疑問を感じ、それをツイートしたところ作者からリプをもらいました。 作者いわく、次のような背景があったとのことでした。 SQLiteを作った当初はデータベースエンジンのことをよく知らないがコンパイラのことをよく知っていた SQLデータベース・エンジンを書くという問題をコンパイラ構築の問題として扱うのは自然なことだった データベースエンジンのコアの部分をVMにするという発想がまったくなかったので、どんなメリットがあるのか？と気になっていました。 それを作者に聞いたら、詳細な説明ページを作ってくれました。 個人的にVMにしたことで、評価&実行のパフォーマンスは多少良くなると思うが、データベースエンジンのパフォーマンスにそれほど寄与していないんじゃないかな？って思ったりしました。 本記事はそのページについ
概要 Web バックエンドのテストコードを書く場合、その多くは DB に依存していることが多いです。 DB 関連のテストは、テストデータの準備やテストケース毎の DB 処理化を適切に行うことが重要ですが、手間がかかる場合あるため、Mock で擬似的にテストしてしまうことも多いかと思います。 ただ、Mock を使ったテストは本質的な問題を検知できない意味のないテストになってしまう可能性があり、可能な限り DB の Mock を行わずに、実際の DB を使用してテストすることが望ましいと考えています。 本記事では、pytest、sqlalchemy、PostgreSQL を使った場合に、テストケース毎に DB を簡単に初期化しつつ、テストケース毎の前提データ登録も簡単うことでテスト開発体験を向上させる方法を紹介します。 前提環境 本記事では、以下の環境を前提として説明いたします。 python
※この記事はMySQL Advent Calendar 2023の4日目です。 MySQL 8.0シリーズでは正式版になってから多数の新機能が追加されるというリリースモデルであった。正式版になってから追加された新機能の中に、GIPK（Generated Invisible Primary Key）というものがある。これはなんとMySQL 8.0.30で追加された機能だ。MySQL 8.0が正式版になってから、なんと4年と3ヶ月後のことである。そんな感じでMySQL 8.0の新機能は正式リリース後にも増え続け、途方もない規模になっている。このブログでは一度に紹介するのは諦め、少しずつ気の向いたものから紹介していこうと思う。今回はその第一弾として、GIPKについて解説しよう。 GIPKとは GIPKとは、その名前が示すように、自動的に生成される不可視の主キーである。主キーを持たないテーブルに対
「家のソファーにいながら、ほとんどのサービスが受けられるよ」 「納税手続きはオンラインで数分で終わり。これが普通だ」 行政や医療分野で、個人番号制度を利用したオンラインサービスが普及する北欧のスウェーデン。もう何年も役所を訪れていないという人にも出会いました。 世界では日本に先がけて、個人番号制度が多くの国で利用されています。ただ、情報漏洩えいやひも付けミスなどの課題も山積。世界の個人番号制度をめぐる現状を取材しました。 （国際部 北井元気 / 山田裕規 / 松本弦） スウェーデン 生まれた直後に個人番号を付与 人口はおよそ1045万（2021年時点）の北欧スウェーデン。 スウェーデンの首都ストックホルム 個人番号制度が導入されたのは70年以上前の1947年のことです。人口の把握などが目的でした。当初は地域の教会がとりまとめていましたが、その後電子化され、1991年から国税庁が管理を担って
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? pictBLandとpictSQUAREに対する不正アクセスがあり、パスワードがソルトなしのMD5ハッシュで保存されていたことが話題になっています。 2023年8月16日に外部のフォーラムにpictSQUAREより窃取した情報と主張するデータ販売の取引を持ち掛ける投稿が行われた（中略）パスワードはMD5によるハッシュ化は行われているもののソルト付与は行われていなかったため、単純なパスワードが使用されていた29万4512件は元の文字列が判明していると投稿。（それ以外の26万8172件はまだMD5ハッシュ化されたままと説明。） 不正アクセス
Python(pytest)でテスト書くならfixture,conftest,parametrizeを理解すると世界が一気に変わる 概要 Pythonのテストライブラリといえばpytestが一般的です。 Python標準のuniitestとは異なり、クラスベースではなく関数ベースでテストコードを記述することが一般的ですが、fixture,conftest,parametrizeを理解すると一気に世界が変わり、テスト体験が圧倒的に向上するため、これらの実装方法を紹介します。 リポジトリ 本記事の説明に使用しているサンプルのテスト実装は、以下のリポジトリです。 想定読者 PythonやGitの基本的な使い方を理解している方を想定しているため、基本的な用語説明は省略しています。 環境 エンジニアの利用率の高いmacOSを前提として説明していますので、その他の環境の方は随時読み替えてください。 開
先日は住所の件でお楽しみでしたね。 私も楽しくなってしょうもないツイートをしたところ、@masanorkさんから有用な情報をいただいてしまいました。 異体字に加えて外字も根深いですし、日付型に収まらない住基の生年月日とか、屋号を含んだ個人事業主の口座名義とか、外国人氏名における住民登録のアルファベットと口座名義のカタカナとの解離とか、旧姓併記の例外処理とか、文字列型に刻まれたバッドノウハウの塊ですね https://t.co/GOaytijfst — Masanori Kusunoki / 楠 正憲 (@masanork) June 6, 2023 このとき、私はごく簡単な「名寄せの難しさ」の社内研修資料を作っている最中だったのですが、この情報が大変参考になりました。 一方、私だけが得をしているのがなんとなくムズムズしてきたので、ここにアウトプットしてスッキリしようと思います。 なお、住所
日本の住所表記の正規化・名寄せがTwitter上で話題になっている。きっかけとなったのは河野太郎デジタル大臣がテレビ番組で発した「AIを使って表記揺れを判断することがあり得るかもしれない」という言葉。これに対し、ネット上ではさまざまな議論が巻き起こっている。 Twitter上では「住所の揺らぎ程度のことでAIは不要」という意見が見られた。これに対して、ITエンジニアなどからは「住所の表記揺れはすぐ解決できる問題ではない」などと反論の声が上がり、「日本住所のヤバさをもっと知ってほしい」と訴えるユーザーも多数見られた。 そんな中、地図や地図データベースを手掛けるゼンリンもこの話題に反応。そこで住所の表記揺れを直すのがどのくらい難しいのか、またどうすれば解決できるのか。ゼンリンに話を聞いた。 表記ゆれの“ワナ”はいくらでも そもそも住所の表記揺れとは「誤字ではないが、同じ意味、同じ読み方であるに
paild 社でお手伝いをしている yuki です。前回に引き続き Dependency Injection 略して DI の話題を書いていきたいと思います。今回は Rust における DI についていろいろと考えてみました。今回紹介する実装はかなり単純な例を用いたもので、この記事からさらにみなさんのアプリケーションの実装状況に合わせていくつか工夫は必要になるかもしれません。ただ、とっかかりとしては十分なものになっていると思うので、DI でお困りの方はぜひ参考にしてみてください。 今回実装したいアプリケーションのお題について 今回紹介する技法の種別について コンストラクタインジェクション 静的ディスパッチを用いたもの 動的ディスパッチを用いたもの 静的ディスパッチと動的ディスパッチの利点・欠点 shaku （DI コンテナ）を用いたインジェクション shaku の利点・欠点 余談: DI
paild 社でお手伝いをしている yuki です。みなさんは Rust で DI をしようと思った際に困ったことはありませんか？この連載では、他のプログラミング言語で利用される DI パターンを参照しながら、Rust でそれを実装するためにはどのような工夫が必要かまでを検討します。中には Rust での実装が難しいパターンも出てくるかもしれません。その際は、なぜ難しいのかまでを検証します。 そこそこの規模のソフトウェアを実装するにあたって、ソフトウェアエンジニアが共通して利用する手法がいくつかあると思います。その中でも DI (Dependency Injection; 依存オブジェクト注入) は最もポピュラーな手法の一つであり、保守運用まできちんと耐えうるソフトウェアの設計をしたいとなったときに、まず真っ先に候補に上がる手法でしょう。 Rust ではこの DI をどのように行えばよいの
マイナンバーカードを使ったコンビニエンスストアでの証明書の交付で不具合が発生する中、マイナンバーカードと一体化された健康保険証を医療機関などで利用した際に、別の人がひも付けされ診療情報などが閲覧されたケースがあったことが分かりました。 マイナンバーカードをめぐっては、コンビニで住民票の写しや戸籍証明書などを交付するサービスで別人の証明書が発行される不具合が発生していて、政府は運営会社に対してシステムの一時停止を要請しています。 加藤厚労相「入力時にミス 別人情報がひも付いたケース」 これに関連して加藤厚生労働大臣は閣議のあと記者団に対し、マイナンバーカードと一体化した健康保険証を医療機関などで利用した際、本人ではなく別の人の情報がひも付けされていたケースが確認されたことを明らかにしました。 厚生労働省によりますと、健康保険を運営する組合などが加入者の健康保険証とマイナンバーカードをひも付け
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く