【エラー】Cannot interpret feed_dict key as Tensor: Tensor Tensor... is not an element of this graphKeras エラーが出たとき用に足跡を残す。 fit_generatorを使いたいというときがある。kerasのデータ拡張機能を使いたいとき、あるいは色々書き方の問題でメモリエラーになる場合。 fit用にリストに画像とか学習用データを溜め込んで学習するコードを書いていた場合、 データが多くなると当然メモリエラーになる。 全データをバイナリに固めるのがいい場合もあるが、 手っ取り早くジェネレータにしてbatch分だけ取得するようにすることもできる。 fit_generatorを使うときにエラーが出て、結構ハマったが落ち着いて考えると、「そりゃそうだ」というエラーだった。 そもそも計算グラフが構築されてない
備忘録を兼ね、kerasによる深層学習のスクリプトを記載します。 Google Colaboratoryで実行したものです。 データの準備 from tensorflow.examples.tutorials.mnist import input_data from sklearn.model_selection import train_test_split import numpy as np mnist = input_data.read_data_sets("MNIST_data/") X_train = mnist.train.images Y_train = mnist.train.labels X_test = mnist.test.images Y_test = mnist.test.labels X_train, X_validation, Y_train, Y_vali
KerasのImageDataGeneratorはData Augmentation（水増し）にとても便利ですが、最近水増しの方法がいろいろ研究されてきて物足りないなと感じることがあります。KerasオリジナルのImageDataGeneratorを継承・拡張して、独自のImageDataGeneratorを作る方法を考えてみました。 クラス継承なのでオリジナルのImageDataGeneratorと全く同じ感覚で使えます。 参考 以下のサイトを参考にしました。 Kerasでデータ拡張(Data Augmentation)後の画像を表示する flow_from_dirctoryで流した画像をpyplotで表示させる方法について解説されています。 新たなdata augmentation手法mixupを試してみた Mix-upの原著論文やその実装について解説されています。 Extending
残ったM_VAEで評価すると、図中の青い線と赤い線は、同じ土俵で比較することが できます。つまり、同じ閾値で異常判定ができるということです。 コードの解説 コードは以下をベースにしています。 https://github.com/keras-team/keras/blob/master/examples/variational_autoencoder_deconv.py 以下、本稿のコードの一部を解説します。（全コードは一番下に示してあります。） 画像の切り出し 基の画像から、一部を切り取って学習データを作っています。 本稿では、28×28サイズから8×8サイズを切り取り、10万枚を 学習データとして用意しました。 #8×8のサイズに切り出す def cut_img(x, number, height=8, width=8): print("cutting images ...") x_o
画像用のネットワークを調整する際、入力サイズを増やしたら、画像読込時にメモリに乗り切らなくなった問題を解消した際のメモです。 前提環境 Ubuntu 16.04 Keras 2.1.6 課題 学習に使う画像データの総容量が大きくなり、一度に読込できなくなった。 そのため、一定サイズ毎に区切りながらデータを読み込む必要が発生した。 概要 Model.fitの代わりに、Model.fit_generatorメソッドを使って学習する。 fit_generatorメソッドには、学習・検証データとして、Generatorオブジェクトを渡す。 Generatorオブジェクトは、バッチ単位にデータを提供する仕組みを実装する。 実装例 class MyGenerator(Sequence): """Custom generator""" def __init__(self, data_paths, dat
前編では、ヒートマップを使って異常個所を可視化しました。 後編では、従来手法と提案手法を数値的に比較してみます。 使うツールは、ROC曲線です。 #ROC曲線 ROC曲線は、ラベル間のデータ数に差があるときに使われます。 ROC曲線について、詳しく知りたい方はこちら↓を参考にしてください。 http://www.randpy.tokyo/entry/roc_auc 今回は、ラベル間のデータ数に大きな差はありませんが、論文にならって ROC曲線を描画します。最終的に、AUCを算出して、これが大きい方が優れた 異常検知器といえます。 #コードの解説 コードの一部を解説します。 ##異常スコアの算出 論文によると、異常判定の基準は以下のとおりです。 このパッチ全てに関して異常度を算出し、少なくとも1枚が閾値を 超えてる場合、テストデータは異常であると判断した． パッチというのは、前編でお伝えした
#1.概要 CNNをつかって、家のエアコンのオン・オフを見分けるAIをつくりました。 #2.はじめに Aidemyで「ディープラーニングで画像認識モデルを作ってみよう！」の受講ルートを勉強しました。なにかアウトプットをしようと思って、この記事を書きました。 ぼくはエアコンのスイッチを消したか覚えてなくて気になることが多いです。そこで、AIでエアコンのオン・オフを判別できたら便利だなと思い作ってみました。 強迫性障害のひとにとってはすごく大事な問題です。友達に強迫性障害のような症状をもっているひとがいて、「ドアのカギを何度も確認したくなって辛い」と言っていました。 強迫性障害では、自分でもつまらないことだとわかっていても、そのことが頭から離れない、わかっていながら何度も同じ確認をくりかえしてしまうことで、日常生活にも影響が出てきます。意志に反して頭に浮かんでしまって払いのけられない考えを強迫
「PyTorchは速いぞ」という記事がいろいろ出てて気になったので、何番煎じかわかりませんが、どのぐらい速いんだろうと思って実験してみました。実験するのはこの前作ったDenseNetです。 環境 Google Colab GPUはTesla K80、ハードウェアアクセラレータはON Kerasのバージョンは2.1.6、PyTorchのバージョンは0.4.1 条件 Dense Netの論文の条件を若干アレンジしたものです。Data Augmentationはシンプルにしました。 成長率K=16とし、DenseNet-121と同じ構成のDenseNetを作る CIFAR-10を分類する Data Augmentationは左右反転、ランダムクロップのみ。 L2正則化（Weight Decay）に2e-4（0.0002）。ドロップアウトはなし オプティマイザーはAdam、初期の学習率は0.001
以前の記事でKeras遅いなとぼやいたら「MXNetをバックエンドにすると速いよ」と指摘してくださった方がいたので、どうにかしてGoogle Colabで使う方法を模索してみました。Colabで使う情報が全くなかったので書きます。 Keras+MXNetは速い KerasのMXNetのバックエンドは、Amazonにより開発が進められています。 AWSLabsが公開しているベンチマークによると、ResNet50を使ったCIFAR10の分類で、TensorFlowのバックエンドよりもMXNetのバックエンドのほうが1.5倍～4倍程度速いとの結果が出ています。 Instance Type GPUs Batch Size Keras-MXNet (img/sec) Keras-TensorFlow (img/sec)
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 顔の識別、検索をしたいがデータを集めて切り取りする作業があまりにも鬼畜な作業なので自動化したくて頑張ってみる。 open cv では傾いた顔を認識しない、顔じゃないものを顔と認識するなどなどイマイチ。 #物体検出というものがあるらしい ここ https://github.com/pierluigiferrari/ssd_keras にあるコードが自分の環境（TensorFlow 1.x、Keras 2.x）で動きそうだったので試してみた。 ssd300_inference.ipynbかssd512_inference.ipynbに従って
An opensource DIY self driving platform for small scale cars. RC CAR + Raspberry Pi + Python (tornado, keras, tensorflow, opencv, ....) Build your own toy car that can drive itself.Drive your car with your phone or laptop.Record images, steering angles & throttles.Train neural net pilots to drive your car on different tracks.Race your car in a DIY Robocars race. ®You can make almost any RC car s
Getting Started Guides Model definition Sequential Model Functional API Extending and customizing Training & evaluation with the built-in methods Customizing `fit()` with Tensorflow Writing your own callbacks Making new layers and models via subclassing Writing a training loop from scratch in TensorFlow Serialization and Saving Other topics Transfer learning and fine tuning Distributed training wi
The examples covered in this post will serve as a template/starting point for building your own deep learning APIs … Some of the issues that I’ll cover include handling a custom metric when using model persistence with Keras, dealing with multi-threading concerns when using Keras in combination with Flask, and getting it all running on an EC2 instance. The complete code listing for this post is av
Google AI has finally released the beta version of AutoML, a service that some are saying will change the way we do deep learning entirely. Google’s AutoML is a new cloud software suite of Machine Learning tools. It’s based on Google’s state-of-the-art research in image recognition called Neural Architecture Search (NAS). NAS is basically an algorithm that, given your specific dataset, searches fo
直感的かつ短いコードでアイデアを形にできるKerasはTensorFlowのラッパーとして大人気のライブラリです。本書でもTensorFlowをバックエンドとして使用し、自然言語処理、画像識別、画像生成、音声合成、テキスト生成、強化学習、AIゲームプレイなどさまざまなモデルをPythonとKerasで実装します。対象読者は、各種のディープラーニングを素早く実装したいプログラマー、データサイエンティスト。ディープラーニングを支える技術の速習にも好適です。数式はなるべく使わずにコードと図で説明します。ニューラルネットワークおよびPython 3の基本を理解している人であれば誰でも始めることができます。 目次 訳者まえがき まえがき 1章 ニューラルネットワークの基礎 1.1 パーセプトロン 1.1.1 最初のKerasのコードの例 1.2 多層パーセプトロン：最初のネットワークの例 1.2.1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く