自己紹介 ‣ 角 征典（@kdmsnr） • ‣ ワイクル株式会社 代表取締 • ‣ 技術書の翻訳・執筆 → アジャイル開発／リーンスタートアップの導入支援 東京工業大学 環境・社会理工学院 特任講師 • エンジニアのためのデザイン思考 2
はじめに エムスリーエンジニアリンググループ AIチームの池嶋です。はじめてのテックブログ投稿です。 AIチームでは機械学習プロジェクトのデータパイプライン構築にgokartというツールを使用しています。今回はこのgokartで発生していたキャッシュ競合を解消した話について紹介します。 gokart gokartとは gokartというのはAIチームが中心に開発しているデータパイプライン構築のためのツールで、Spotify社の開発するパイプラインツールluigiのwrapperです。S3やGCSといったクラウドストレージとのデータ入出力をサポートしたり、中間ファイルをキャッシュとして保存することで実験を再現をしやすくしたりします。当ブログでは過去にも機械学習プロジェクト向けPipelineライブラリgokartを用いた開発と運用 - エムスリーテックブログ などで紹介されています。 Git
Here are some good things about gokart. The following meta data for each Task is stored separately in a pkl file with hash value task output data imported all module versions task processing time random seed in task displayed log all parameters set as class variables in the task Automatically rerun the pipeline if parameters of Tasks are changed. Support GCS and S3 as a data store for intermediate
┌────────────────────────────────┬─────────────────────────────┬────────────────────────────────┐ │ TypeBox │ TypeScript │ Json Schema │ │ │ │ │ ├────────────────────────────────┼─────────────────────────────┼────────────────────────────────┤ │ const T = Type.Any() │ type T = any │ const T = { } │ │ │ │ │ ├────────────────────────────────┼─────────────────────────────┼─────────────────────────────
const { verify } = require("verify-json"); let json = { markers: [ { stars: 5, name: 'Rixos The Palm Dubai', location: [25.1212, 55.1535], favorite: true, color: 'red', }, { stars: 4, name: 'Shangri-La Hotel', location: [25.2084, 55.2719], color: 'blue', }, ], }; // <key>:<validator> // <key>:?<validator> - uses ? for optional // <key> - required non null attribute of any type // Skip all the quot
Cubism SDKを組み込んだアプリケーションのリリース契約については下記リンクをご確認ください。（追記：2019年4月15日） https://www.live2d.com/ja/products/releaselicense Live2D作品の制作〜開発〜配布〜販売まで全てをフリーに。 株式会社サイバーノイズ（東京都新宿区四谷4-30-18、中城哲也社長）は、同社のゲーム・アプリ開発者向けツール「Live2D Cubism SDK」を一般ユーザーおよび小規模事業者*[1]（売上1000万円未満）に対して、無償での提供を開始いたします。これまでは許諾されていなかった商用・営利目的での利用も可能となります。これに伴い、クリエーター向け無料ソフトウェア「Live2D Cubism Editor FREE」やサイバーノイズが提供するサンプルモデルについても一般ユーザーおよび小規模事業者による
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く