sensy

SENSYデータサイエンティストチーム井上です。 今回はデータ分析で汎用的に使えるPythonの記事（第２回目）になります。 EDA（Explanatory Data Analysis, 探索的データ分析）の際、よく確認する内容を関数化しておくことで作業を効率化するシリーズになります！！ 今回の目的 要点 プロット＆バーグラフの描写を出力する汎用的な関数を作成し、作業を効率化する 今回の関数で作成されるもの プロット＆バーグラフ 左縦軸：プロットグラフ描写したい項目 右縦軸：バーグラフ描写したい項目 横 軸：時間 今回の目的の関数 def plot_and_bar_graph(df, time…

実店舗系のデータ解析に携わっているPDチーム/データサイエンティストの川上雄大です！ 以前執筆した記事で，業務で利用した全国道路・街路交通情勢調査一般交通量調査（道路交通センサス：RTC）情報を国土交通省データプラットフォームのAPIで取得する方法を紹介ました．RTCデータは緯度経度に合わせて２４時間自動車類交通量合計（metadata.RTC:24jikan_jidousharui_koutsuuryou_jouge_goukei_goukei）のような道路交通量を代表するような値を取得できます．以下の図に東京都に関して取得したRTCデータを示します． この表からわかる通り，表形式データでは…

SENSYプロダクトチーム藤沼です はじめに SENSY CLOUDでは、GCPのPub/Subを活用してシステムアーキテクチャを構成しています。本記事では、Pub/Subを用いた技術検証における便利なヒントを共有します。 やりたいこと Pub/Subの技術検証を行う際、手元でgcloud CLIを使い、メッセージをパブリッシュして動作確認を行いたいことがあります。特に、attributesに複数の情報をカンマ区切りで渡したい場面がよくあります。 たとえば、attributesのキーtable_nameに対し、以下の3つのテーブル名を指定したい場合を考えます。 sales_transactio…

はじめに こんにちは、データサイエンス部の荻です。 今回は多くのデータ分析者が悩む「月次データの歯抜け問題」に役立つクエリを書いたのでご紹介します。 背景：なぜ月次データの歯抜けが問題なのか？ データ分析において、月次の集計は非常に一般的です。しかし、データが存在しない月があると、以下のような問題が発生します： グラフや表が不自然に途切れてしまう 前年同月比などの計算が正確にできない トレンド分析の精度が落ちる こういった状況に直面したとき、「あぁ、もし月の歯抜け調査が楽にできればな……」と思ったことはありませんか？ 解決策：SQLで月次シリーズを生成する この問題を解決するため、BigQue…

SENSYデータサイエンティストチーム井上です。 今回もVS Codeを用いた業務効率化関連の記事になります。 背景＆目的 インスタンス上のJupyter NotebookをVS Code上で動作させる 前回 VS CodeでGCEインスタンスにRemoteアクセス この記事の続編になります。 補足事項 今回は再現性を取るために、python:3.10-slimのイメージを使用して環境を揃えておきます そのため、Dockerの知識があるとわかりやすいです。 Dockerの記事は他の方々が素晴らしい記事を書いているので、そちらを確認頂けたらと思います。 VS Codeで追加が必要な拡張機能 De…

はじめに Chief Research Officer (CRO) の岡本です。 2024年のノーベル物理学賞は、「人工ニューラルネットワークを用いた機械学習を可能にする基礎的な発見と発明」に対して、ホップフィールド先生とヒントン先生に贈られました[1]。 ヒントン先生の業績は、誤差逆伝播法、畳込みニューラルネットワーク、深層学習等で大変よく知られたものであると思いますが、ホップフィールド先生の業績、とくにホップフィールド型ニューラルネットワークについては、あまり知られていないかもしれません。 本稿では、ホップフィールド型ニューラルネットワークについて紹介していきたいと思います。 階層型ニュー…

データサイエンス部の荻です． はじめに データサイエンス部で隔週の社内勉強会を行なっているのでその共有です。 背景 みなさんは普段スプレッドシート使っていますか？ 今回は、仕事の能率を上げるためにこの企画をやってみました。 ちょっとした小技でチームの能率アップを図る企画です。 一般的な課題 スプレッドシートで以下のような問題に直面していませんか？ json形式の設定ファイルを書くのがめんどくさい jsonの変換機能がスプレッドシートにない...... そこで、スプレッドシートのデータを簡単にJSONファイルとしてエクスポートできる機能を自作しました。 この記事では、その実装方法と使用方法をご紹…