AWS Lambdaの環境がどのようになっているか、ユーザが用意したLambdaファンクションがどんな感じで実行されるかってあたりを可能な限り詳しく説明したいと思います。 はじめに 大前提 コールドスタート/ウォームスタート コントロールプレーン/データプレーン アイソレーション AWS Lambdaのコンポーネント群 同期実行かつ初回呼び出し（コールドスタート）、もしくはスケーリング 同期実行かつ再利用（ウォームスタート） 非同期実行 スケールアップ エラーハンドリング リトライ その他 ネットワーク まとめ はじめに この投稿は2020年9月29日の21時から開催予定のイベント（ライブストリーミング）で話す内容です。 serverless-newworld.connpass.com もし間に合えば、かつ時間があればぜひライブ配信のほうにも参加ください。 （2020.09.30 upda
最近「ああ、これ前職でも前々職でもやったことあるなぁ」という仕事があった。データエンジニア(やその関連職種)として働き始めて約5年、3社でフルタイムとして働いてきて「このスキルは業界や組織規模が変わってもデータエンジニアとしてスキルを求められることが多いな」と感じたものをまとめてみることにした。棚卸し的な意味はあるが、特に転職用などではないです。 前提 どこでも必要とされたスキル データマネジメントに関する概要レベルの知識と実行力 セキュリティや法令に関する知識 事業ドメインに関する興味関心 他職種とのコミュニケーション能力 コスト管理 / コスト削減のスキル ソフトウェアエンジニアとしてのスキル DataOpsやアラートのハンドリング能力 分析用のSQLを書く力 古いテーブルやデータパイプラインを置き換えていくスキルや胆力 あるとやりやすいスキル 関連部署の動きを何となく把握しておく力
ちょっと昔まではデータ基盤の管理人・アーキテクト, 現在は思いっきりクラウドアーキを扱うコンサルタントになったマンです. 私自身の経験・スキル・このブログに書いているコンテンツの関係で, 「データ基盤って何を使って作ればいいの?」的なHow（もしくはWhere）の相談. 「Googleのビッグクエリーってやつがいいと聞いたけど何ができるの?」的な個別のサービスに対するご相談. 「ぶっちゃけおいくらかかりますか💸」というHow much?な話. 有り難くもこのようなお話をよくお受けしています. が, （仕事以外の営みにおける）個人としては毎度同じ話をするのはまあまあ疲れるので, データ基盤にありがちな「何を使って作ればよいか？」という問いに対する処方箋 というテーマで, クラウド上でデータ基盤を構築する際のサービスの選び方 （データ基盤に限らず）クラウド料金の基本的な考え方 をGoogle
はじめに（ホームラボとは） ホームラボ（Homelab）とは、ITエンジニアが市販されているサーバやネットワーク機器を自宅に購入して、検証環境を自宅に保有すること（楽しむこと）事をさします。海外ではHomeLab、日本では”逸般の誤家庭”とX（Twitter）などで書かれており。一部の好事家がと思われがちですが、実はFortigate持ってますとか、Cisco持ってますとか、RTX（Yamaha）持ってますとかは意外と多く、誤家庭予備軍みたいな人は多くいるのではと思います。 今日は深沼にどっぷりはまって抜けられなくなったエンジニアのお話です。 私も20年以上エンジニアとして仕事をしており、若い頃から様々な機器を購入しては捨ててきました。間に結婚や転職などのライフイベントがあり、だいぶ拡大/縮小を繰り返してきましたが、現職でVMware Cloudのサービス責任者という立場になりいろいろ学ぶ
新潟県は4月21日、サーバに保存していた公文書データ10万件が消失したと発表した。外部からの攻撃によるものではなく、システム保守業者の人為ミスが原因としている。 県は富士電機ITソリューション（東京都千代田区）が開発・保守を担う公文書管理システムを使用している。消失したのは同システムにおいて3月24日午後9時から31日午後11時59分までに登録した文書の添付ファイル10万3389件。「県民や関係事業者に直ちに大きな影響があるものではない」としている。 4月10日に、県の職員が添付ファイルを開けない状況になっていることに気付き、富士電機ITソリューションに調査を依頼した。ファイルが消失したのは9日夜ごろで、判明した段階でバックアップ期間（3日間）を過ぎていたためバックアップファイルが残っていないことが分かった。 原因は、添付ファイルの拡張子を小文字に変更する新機能を、運用テストや社内審査など
こんにちは、エムスリー エンジニアリンググループ の鳥山 (@to_lz1)です。 ソフトウェアエンジニアとして 製薬企業向けプラットフォームチーム / 電子カルテチーム を兼任しています。 ソフトウェアエンジニアという肩書きではありますが、私は製薬企業向けプラットフォームチームで長らくデータ基盤の整備・改善といったいわゆる "データエンジニア" が行う業務にも取り組んできました。 本日はその設計時に考えていること / 考えてきたことをデータ基盤の設計パターンという形でご紹介しようかと思います。多くの企業で必要性が認識されるようになって久しい "データ基盤" ですが、まだまだ確立された知見の少ない領域かと思います。少しでもデータエンジニアリングを行う方の業務の参考になれば幸いです。 データ基盤の全体像 収集部分の構成 RDBデータ ログデータ 活用部分の構成 データマートの実例 「データ基
はじめに データ分析基盤の資料を力尽きるまで追記していきます。 構成図にあるアイコンや記事の内容から技術要素を調べて記載していますが、不明分は未記載にしています。修正のコメント頂ければ助かります。この記事追加してっていう要望も歓迎いたします。 テンプレート 2025年 2024/09/12 : 株式会社朝日新聞社 データソース : Google Analytics、Adobe Analytics、Amazon S3、Amazon RDS データ処理 : TROCCO、BigQuery アウトプット :Tableau、Looker Studio 2024/09/12 : 株式会社CARTA MARKETING FIRM データソース : Amazon EC2、Amazon S3 データ処理 : Fivetran、Snowflake、dbt、AWS Step Functions、Element
咲来さん@ @sakkurusan 「テレビ本体の主電源を切るとすごい節電になる」という30年前の情報を未だに鵜呑みにして、いまのリモコン操作大前提のテレビで主電源で毎度電源オンオフしてた結果、電源基盤がすぐぶっ壊れて莫大な修理費がかかった人をアタシは何人も知っている
YOASOBI @YOASOBI_staff We are YOASOBI from JAPAN!Composer:Ayase→@Ayase_0404 Vocal:ikura→@ikutalilas Songs: youtube.com/playlist?list=… yoasobi-music.jp リンク YouTube Ayase / YOASOBI ボカロP・Ayase、そしてAyaseがコンポーザーを務めるユニット・YOASOBIのYouTubeチャンネルです。 1 user 443 YOASOBI @YOASOBI_staff 「ミスター」ジャケットデザインを手掛けてくださったのはきくちともこさん(@KIKU_1990 )💐 機械仕掛けのハートの意味は、島本理生さんの原作小説「私だけの所有者」を読んだ方ならバッチリですよね🤖 今朝の1曲目もぜひ「ミスター」から！ orcd.
こんにちは、データ基盤グループの吉田(id:syou6162)です。データ基盤グループでは安定してデータを利用できるように様々な取り組みを行なっています。本エントリでは、データ品質に問題がある場合にすぐに気付けるようにしたSQLによる監視の仕組みを紹介します。 背景 SQLを使った監視基盤の構築 実際の監視項目例 他チームがdailyで転送しているデータがバッチの失敗により遅れていないか BigQueryのエラーレートが急激に増加していないか 承認済みビューの設定が意図せず消えていないか 今後の展望 背景 データ基盤の運用をしていると、日々様々なトラブルと向き合う必要があります。例えば、以下のようなものがあります。 他チームがdailyで転送しているデータがバッチの失敗により遅れている TerraformなどのIaCで承認済みビューの権限管理を行なっているが、コードの設定ミスで意図せぬ状態
Data Engineering Study #2「データ収集基盤とデータ整備のこれまでとこれから」https://forkwell.connpass.com/event/182769/ 作成者 ：しんゆう＠データ分析とインテリジェンス Twitter：https://twitter.com/d…
さがらです。 11月8日20時～22時に、datatech-jp(データエンジニアリング関係のコミュニティ)主催でみんなの考えた最強のデータアーキテクチャというイベントが開催されました。 本記事はこのイベントのレポートブログとなります。 イベント概要 ※connpassより引用 datatech-jpで集ったデータエンジニアが、それぞれみんなの考えた最強のデータアーキテクチャを紹介し合うという夢のような企画が実現しました！ たくさんの新しいプロダクトが群雄割拠する現在、モダンデータスタックなどという言葉も登場しています。 今こそ、どんなプロダクトを選び、どのようなデータ基盤を作れば、効率的にやりたいことが実現できるのか。 5人の猛者からおすすめの構成をご紹介いただきながら、参加者のみなさんとも一緒に考えていく時間としたいと思います。 おまけ：当イベントの応募者数 このイベントですが、なんと
OpenShift.Runで登壇した資料です。
主にクラウドの話してます - 広島 での登壇資料です。 https://omoni-cloud.connpass.com/event/315682/
家庭向け電気代の値上げの実施を受けて、大手電力の収益が改善している。31日までに発表した東北電力や中国電力など電力大手8社の2024年3月期の連結最終損益は、計9405億円の黒字（前期は約4170億円の赤字）になる見通し。法人向けを含め電気代の値上げが8000億円規模で収益を押し上げる。円安が進んでいるほか冬以降に燃料価格が上昇に転じる可能性もある。ウクライナ侵攻後の燃料高で財務体質が大きく傷
こんにちは、佐々木です。NRIネットコムの社外向け勉強会で、「データ分析基盤を作ってみよう ～性能測定編～」というタイトルで登壇してきました。その前に設計編というテーマで開催しており、今回はその続きです。アーキテクチャ設計をする上でAWSのサービスをどういう観点で評価するのか、またその裏付けを取るためにどうしているのかというのを実際の測定例とともに話しました。 発表資料と当日の動画 当日の発表資料と動画です。 speakerdeck.com www.youtube.com アーキテクチャの選定について アーキテクチャ選定の部分で取り上げたのが、BIツールでダッシュボードを作ってデータを可視化する例です。セッション中も話していたのですが、アーキテクチャの選択肢は沢山あります。そんな中でどうやって選ぶかなのですが、ここで取り上げた例はユーザーがどういう属性の人なのかということです。 例えば、ダ
拙稿では、これまでにゲームの歴史や文化、資料を残すため、各方面で実施されているアーカイビング（保存活動）の状況、今後の課題などを何度かご紹介してきた。 今回はちょっと視点を変えて、家庭用ゲーム機やPC用ソフトではなくアーケード、つまりゲームセンター用のゲーム基板、および筐体（※「きょうたい」と読む。ゲーム機のガワの部分のこと）の流通と、アーカイビングの現状についてお伝えする。 ゲーム基板とは、簡単に言うとソフト・ハードが一体化したコンピューター機器のこと。ゲームメーカーが新製品として開発した基板は、ます最初にオペレーター（ゲームセンターの経営会社）や、ディストリビューターと呼ばれる流通業者に販売される。 アーケードゲーム基板の一例。古い時代の基板は写真のようにパッケージがなく、むき出しになっているものが多い（※筆者撮影。以下同）販売された基板や筐体は、やがて設置店での人気や売上が低下すると
はじめに こんにちは、クラウドエース データソリューション部の松本です。 普段はデータ基盤や MLOps の構築をしたり、Google Cloud 認定トレーナーとしてトレーニングを提供しております。また、昨年は Google Cloud Partner Top Engineer 2024 に選出されました。今年も Goodle Cloud 界隈を盛り上げていけるよう頑張っていきたいと思います。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが データソリューション部 です。 弊社では、新たに仲間に加わってくださる方を募集しています。もし、ご興味があれば エントリー をお待ちしております！ 今回は、次世代データ基盤であるデ
カプコン: Cloud Spanner や GKE を用いて『ストリートファイター6』のためのクロスプレイ プラットフォームを構築 『ストリートファイター』や『バイオハザード』、『モンスターハンター』など、世界中で愛されるゲームシリーズでその名を知られる株式会社カプコン（以下、カプコン）。その最新 AAA タイトル『ストリートファイター6』では、ユーザーのすそ野を広げる意欲的な取り組みを多数実施して注目を集めています。そこに Google Cloud のテクノロジーがどのように役立てられているのか、開発の中核メンバーにお話を伺いました。 利用しているサービス: Cloud Spanner, Memorystore for Redis, Google Kubernetes Engine, Anthos Service Mesh, Cloud Monitoring, Cloud Logging
CloudNative Days Tokyo 2021での登壇資料です https://event.cloudnativedays.jp/cndt2021/talks/1252
こんにちは、『freee技術の本』編集長のWaTTsonです。 先日のブログ記事で、技術書典17で『freee技術の本』の第2弾を出すことを発表しました。 developers.freee.co.jp 前回の記事では概要だけを公開していましたが、書影や目次などの詳細を公開します！ 『freee技術の本 freeeにおけるマルチプロダクト開発 ～モノリシックとマイクロサービスの狭間で～』 目次 第I部 freee のプロダクトアーキテクチャと開発 第1章 成熟したプロダクトの大規模リアーキテクチャ～統合分離への挑戦～ 第2章 インタビュー: 新しい業務システムを作るために必要な思想を巡って 第II部 マルチプロダクトを構成する要素 第3章 アクセス制御基盤 第4章 ワークフロー基盤 第5章 通知基盤 第III部 freee のプロダクト開発を支える基盤チーム 第6章 マイクロサービスにおける
データセンター設立により「Googleのツールやサービスを利用する際のアクセスを高速化し、より高い安定性を実現する」（Google）という。環境にも配慮するとして、寒冷期には外気を使ったサーバを冷却する仕組みなども搭載した。 関連記事 Googleが日本に約1000億円投資、ネットワークインフラ増強へ 2024年に千葉でデータセンター開設 Googleが日本のネットワークインフラに約1000億円を投資すると発表した。今後、日本とカナダを結ぶ海底ケーブルを開設する他、千葉県印西市に同社初の国内データセンターを開設する。 GoogleのピチャイCEO、「日本にも旗艦店を出したい」 Googleのスンダー・ピチャイCEOは来日中、日本でもオリジナルハードウェアの旗艦店を開設したいと語った。Pixelシリーズなどを体験、購入できる旗艦店の1号店はニューヨークにある。 AWS、日本リージョンに約34
2024.08.20 大規模データの負債解消への道のり Lunch LT の登壇資料です。
はじめにこんにちは、Finatextで証券プラットフォーム（Brokerage as a Service、以下BaaS）の開発に携わっている石橋（@bashi0501）です。過去のFinatextテックブログではTerraform、CDKとIaCをテーマにした記事しか書いたことがなかったのですが、今回はログの分析活用をテーマとします。 概要弊社の証券事業ではECSによるワークロードを組んでいます。本テーマのアプリケーションログについては標準出力したものをawslogsログドライバーが回収してCloudWatch Logsに送信しています。 ログの検索という観点ではCloudWatch Logs Insightsというサービスでかなりリッチにフィルターや集計を行うことができるのですが、ログデータを元にしたユーザーのファネル分析や業務改善（後述します）に活かしていきたいという意図があるため、マ
｜DMM inside
はじめに こんにちは、freee の 権限管理基盤マイクロサービスを開発するチームでエンジニアリングマネージャーを務めている sentokun と申します。前職ではできることをできる限りやろうというスタンスで開発チームをリードし、アーキテクチャ設計やチームビルディングなどに取り組んでいました。その後 2022 年に freee へ入社し、freee で初めてエンジニアリングマネージャーの役割に。変わらずできることにできる限り取り組むスタンスでチームビルディングに従事しています。 この記事では、我々のチームが担当している権限管理基盤について語っていこうと思います！ 権限管理基盤の成り立ち freee では、「スモールビジネスを、世界の主役に。」をミッションに掲げ、統合型経営プラットフォームの開発・提供を進めています。最近では freee Togo Panorama を公開するなど、統合に向け
佐藤 大輔 オープントーン @satou_ot 基盤がクラウドになって。ビジネスサイドの経営陣には「でかいサーバー室」や「そこで働くスタッフ」がいなくなったことで。 ますますシステム基盤の運用や維持にコストを払う理由が見えなくなり。 「お金を払わずにシステム基盤を維持したい」という相談が増えてきましたね。 2024-12-25 18:37:53 佐藤 大輔 オープントーン @satou_ot 元々ITリテラシーの低い業種を中心に。中規模企業（数百人クラス）や、金融サービスをもっている会社でも 今度は「クラウドに払う費用をなくしたい」「システムの維持にお金がかかる意味がわからない」という相談が増えてきた。 「そんな難しいことも大したこともしてないのに、お金かかる理由がない」 2024-12-25 18:41:11 佐藤 大輔 オープントーン @satou_ot 事務所の片隅に置いたパソコンを
はじめに 新卒3年目のらぴおです。入社当初からエンジニアとして広告事業を営むZucksでアドネットワークの開発、運用に携わっています。 Zucksでは、2022年夏頃から円安の影響でサーバ費が上昇しコスト削減の温度感が高まっていました。 そこで、 僕が携わるアドネットワークにおいては、少ない作業量で大きい見直し効果が期待できそうなAWS S3のコスト最適化に取り組む ことになりました。 S3全体で月々のコストが $ 13,000 を超えており、特に広告配信関連のログデータが大部分を占めていました。 今回は、僕が実施したコスト削減調査と実施プロセス、その成果を共有します。 S3のコスト削減は、以下のアプローチで行います。 オブジェクト数を減らす 最適なストレージ階層に移行し保存する これらの取り組みにより、月々のストレージコストを $ 13,000 から $ 5,000 に削減 することがで
こんにちは、バックエンドのリードエンジニア兼バックエンド基盤チームのマネージャーの夏（なつ）と申します。バックエンド基盤チームは、バックエンドエンジニアの生産性向上やコスト削減を目的に、エンジニア主導で課題を発見・解決している部署です。 今回は基盤チームが行った、Google CloudのIdentity-Aware Proxy（IAP）を利用したローカル環境での開発体験の向上について紹介したいと思います。この改善により、ローカル環境（Mac）上でも開発環境のデータを参照しながら開発が行えるようになり、開発体験が大幅に向上しました。 背景 基盤チームでは定期的にバックエンドチームのメンバーに対して「開発者体験に関するアンケート」を実施しています。基盤チームにとっての直接のユーザはバックエンドメンバーであるため、生の声を聞くことで、現在解決しようとしている問題や開発リソースの配分、優先順位が
こんにちは、認証認可基盤・課金基盤のエンジニアリングマネージャーを務めている muraと申します。直近2年間は、今回お話しするfreeeの認証認可基盤のマイクロサービス化のプロジェクトにバックエンドエンジニア、エンジニアリングマネージャーとして携わってました。最近はfreeeが利用する課金基盤のエンジニアリングマネージャーも兼務するようになり、本格的にマネージャーの道を歩み始めたところになります。 本日は、私が2年間携わってきた「認証認可基盤のマイクロサービス化」のプロジェクトについてお話しします。このプロジェクトは私が入社するより前の2019年から進められてきたプロジェクトで、2022年6月末に移行に一区切りがついたものになります。プロジェクトの始まった経緯や実際の移行作業に加えて、4年間という長期間のプロジェクトへの振り返りについてお話させて頂ければと思います。 freeeの認証認可基
Microsoftは2019年以降、世界中で話題となっているチャットAI「ChatGPT」を開発したOpenAIに対して多額の投資を行っており、ChatGPTをリリースした直後の2023年1月には数十億ドル(数千億円)規模の出資を行い、長期的なパートナーシップを結んだことが発表されました。MicrosoftはOpenAIを支援するため、数億ドル(数百億円)以上を費やしてAI開発用のスーパーコンピューターを構築していたことも明らかになっています。 How Microsoft’s bet on Azure unlocked an AI revolution - Source https://news.microsoft.com/source/features/ai/how-microsofts-bet-on-azure-unlocked-an-ai-revolution/ Microsoft
はじめに こんにちは。データエンジニアリンググループの森下です。今回は、私がプロジェクトマネージャーとして約3年間かけて実施した、TreasureDataからBigQueryへの全社データ活用基盤移行プロジェクトについてお話します。このプロジェクトは、全社で1日あたり数千件のクエリが実行されるデータ基盤を移行するという大規模なもので、関係者の数は200〜300人に上りました。プロジェクト期間中は、データ活用基盤の技術調査から始まり、関係者への説明や調整、データ移行、クエリ移行、ETLやReverse ETLに使用する各種ツールの導入など、本当に多くのタスクがありました。 プロジェクト背景: TreasureData導入とその課題 TreasureData導入の背景 2024年時点ではGoogle BigQueryを使用していますが、その前の環境が導入された背景を説明します。 2018年12
セガサターンのプラモを本物のゲーム機にしてくれそうな基板「Mini SS Main Board for CM4 Lite」の予約受付がスタート 編集部：松本隆一 レトロなコンシューマ機の改造パーツなどを販売する台湾のショップRetro Game Restoreが，セガサターンが作れそうな基板「Mini SS Main Board for CM4 Lite」の予約受付を開始した。価格は41.69ドルで，2021年9月末の出荷が予定されている。 Retro Game Restore：Mini SS Main Board for CM4 Lite ‐ PreOrder 特徴は，BANDAI SPIRITSが2020年3月に発売したプラモデル，「BEST HIT CHRONICLE 2/5 セガサターン（HST-3200）」（関連記事）にセットできるように設計されている点だ。つまり，実物の5分の2
こんにちは！LayerXのバクラク事業で機械学習・データ周りを担当しております、たかぎわ (@shun_tak) と申します。 みなさま、ChatGPTの登場に衝撃を受け、これを日々の生活やビジネスに活用されていることかと思います。わたしも社内でChatGPT活用の勉強会を開催したところ、大変大きな反響をいただきました。 tech.layerx.co.jp ChatGPTの登場以来、AIを前提としたユーザー体験の構築、すなわちAI-UXの実現を目指すことがLayerX社内の共通認識になりました。LayerXは、プロダクトだけでなくあらゆるビジネスプロセスにおいて、ユーザー体験をAIを前提に再構築するAI Transformation (AX) を推進することで、生産性革命を実現しようとしています。 comemo.nikkei.com AI-UXやAXの実現を通じて、仕事や暮らしの中にある摩
SRE 統制チームの oracle です。 この記事は freee 基盤チームアドベントカレンダー の12日目になります。 今回は AWS の 組織移行を行った話をさせて頂きます。 AWS の 組織移行というのはどういうこと？と思われる方もいらっしゃるかと思いますので、正しく説明しますと、 既存の複数の AWS アカウントを構成している AWS Organizations を解体し、新規に作成した AWS Organizations にすべてのアカウントを移動させました。 となります。 その動機とアプローチについてご紹介したいと思います。 背景 AWS 組織移行する前から、freee では 数十の AWS アカウントを運用していました。運用の仕方は組織によって様々ですが、一般的にはプロダクトで分けたり、環境で分けたりすることが多いかと思います。 freee でも同様の手法でアカウントを分け
Google Cloudのサーバレスなサービスでデータ基盤を作った話.
https://sansan.connpass.com/event/329234/ での発表資料です
どうも、freee でエンジニアリングマネージャー をやっている sentokun です。 以前に私の所属しているチームで開発している権限管理基盤マイクロサービスの記事を書いたのですが、そういえば「権限制御ってなに？」という説明をしていないと思ったので、今回記事にしました。 権限制御とは？ freee の権限管理基盤が行なっている権限制御とは？を一文でまとめると以下となります。 アクセス制御ポリシーを元に、ユーザーの属性に合わせた適切なアクセス制御を行うこと というわけで、この記事は権限制御について説明しました。ありがとうございました！ … とはなりませんよね。ちゃんと一文の中の要素を分解してそれぞれ解説していきます。 ユーザーの属性 適切なアクセス制御 アクセス制御ポリシー ユーザー属性とは？ freee ユーザーが持っている、様々な属性のことです。例えば以下が挙げられます。 管理者やメ
この記事は enechain Advent Calendar 2024 の12日目の記事です。 はじめに こんにちは！ enechain でデータプラットフォームデスクのEMをしている26Takafujiです。 私は2023年9月にenechainへジョインし、そこからちょうど1年強の時間が経ちました。 入社時はまだ全社横断のデータ基盤は検討中の段階で本格的な提供はこれからという状態でしたが、この1年間でデータ基盤としての1st Stepである「まずはデータを集める」を進めてきて、主要なデータソースのBigQueryへの集約を一通り仕組み化できました。 今回は進めてきた仕組み化の中で、データ界隈では数年前から巷でよく取り上げられる「データメッシュ」の概念を念頭においた時、BigQueryへ集約されたデータの管理をどういった形で考えたのかを書いてみたいと思います。 これからデータ基盤を構築し
本記事は、データ推進室 Advent Calendar 2024 24日目の記事です はじめに こんにちは。HR領域でアナリティクスエンジニアのテックリードをしている山家雄介です。 アナリティクスエンジニアが担当する業務の一つに、データ利用者向けのいわゆるデータマートの設計・開発があります。これは、さまざまな仕様のデータソースを適切に組み合わせて、データ利用者の業務上の目的を達成することを助ける、平易に理解しやすく、ドキュメントも整備されたテーブル群を設計・開発し提供していく営みです。この業務を首尾よく進めていくには、dbtやDataformといったデータモデリングのツールの機能性を深く理解すると同時に、利用しているデータ分析基盤のSQLの仕様や機能性もよく理解しておく必要があります。 同じSQLという言語仕様の中でも、データマートの利用者によく利用される機能性と、それを開発するデータモデ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く