Introduction

備忘録。基本中の基本だけど数学苦手で理論も苦手な自分用のメモ。
基本、train.pyについての解説。

What is problem?

配列の次元の意味

ChainerCVにおけるサンプルのSSDの実装は、MultiboxTrainChainクラスが中心。
で、ネットワークに画像(正確にはバッチ数分)を入力した際の出力について。

下記画像における、mb_locs、mb_confs。

• mb_locs
  • multibox locations、つまり位置の損失
  • 次元は、バッチ数、8732、4(x,y,w,h)
• mb_confs
  • multibox confidences、つまり確信度の損失
  • 次元は、バッチ数、8732、カテゴリ数+1

となる。
カテゴリ数にプラス1しているのは、どのカテゴリにも合致しない、というカテゴリを用意するため。
SSDのサンプルはVOC2007のため、カテゴリ数は20なので、21になる。
8732はデフォルトボックス、つまり画像全体を分割する矩形の個数。

なので、mb_confsの場合、カテゴリ毎に8732の矩形それぞれに損失が格納されていることを意味する。
(正確には、画像毎に対して、カテゴリ8732個が割り当てられ、その1つ1つにカテゴリ21個の損失が格納されている。)
損失はラベルに合致した場合は正、合致しない場合は負になる。

可視化

学習や推論に使用される変数を可視化するといろいろわかる。

データセット

学習を始める前に、利用される教師データがどのようなものかを可視化する。

from chainercv.visualizations import vis_bbox



vocTrain = VOCBboxDataset(year='2007', split='trainval')

img, bbox, label = vocTrain[0]

vis_bbox(img, bbox, label)

imgs

MultiboxTrainChainのcallに渡ってくる引数を確認することでいろいろな情報が確認できる。
imgsは

1. cupy.core.core.ndarrayなので、Numpy.ndarrayに変換
2. チャネル数、高さ、幅の順の次元をNumpy.transposeで、高さ、幅、チャネル数に変換
3. uint8に変換
4. RGB形式として画像に変換し、ファイル出力

という手順で可視化ができる。

from PIL import Image

Image.fromarray(np.uint8(np.transpose(chainer.cuda.to_cpu(imgs[0]), (1, 2, 0))),"RGB").save("test.png")

この段階で来る画像は、学習用に水増しされている画像に変換されているので注意。

Introduction

ChainerCVでSSD (Single Shot Multibox Detector)を遊んでみます。

How to?

CUDA、cuDNNのチェック、仮想環境作成、仮想環境のアクティベートまでの手順は下記です。

パッケージのインストール

cupy、cupy-cuda、chainerのバージョンは一致させます。
cupy-cudaの末尾の数値は、先ほど確認したCUDAのバージョンに合わせます。
また、Chainerは4.5.0を使うため、ChainerCVは0.10.0になります。
(0.11.0はChainer 5.0.0になるため)

また、下記の順番を守ってインストールします。

> python -m pip install --upgrade pip

> python -m pip install cupy==4.5.0

> python -m pip install cupy-cuda92==4.5.0

> python -m pip install chainer==4.5.0

> python -m pip install chainercv==0.10.0

> python -m pip install opencv-python

最終確認

Chainer、ChainerCVがインストールされたこと、ChainerがCUDA、cuDNNを認識していることを確認します。

> python -c "import chainer; chainer.print_runtime_info()"

Platform: Windows-10-10.0.17134-SP0

Chainer: 4.5.0

NumPy: 1.15.4

CuPy:

  CuPy Version          : 4.5.0

  CUDA Root             : C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.2

  CUDA Build Version    : 9020

  CUDA Driver Version   : 9020

  CUDA Runtime Version  : 9020

  cuDNN Build Version   : 7104

  cuDNN Version         : 7104

  NCCL Build Version    : None



> python -m pip freeze

chainer==4.5.0

chainercv==0.10.0

cupy==4.5.0

cupy-cuda92==4.5.0

fastrlock==0.4

filelock==3.0.10

numpy==1.15.4

opencv-python==3.4.3.18

Pillow==5.3.0

protobuf==3.6.1

six==1.11.0

デモ (学習)

ChainerCVのリポジトリにサンプルが含まれているのでブランチを指定してクローンします。
クローンしたらサンプルを実行します。

> git clone -b v0.10.0 https://www.github.com/chainer/chainercv

> cd chainercv/examples/ssd

> python train.py --model ssd300 --batchsize 32 --gpu 0

データセットはVOC2007のようです。
GeForce GTX 1080を利用した場合、約30時間かかりました。また、バッチサイズを増やそうとしたらメモリが足りなくなりました。

下記は学習後の損失の推移グラフです。
上から、全体の損失、カテゴリの損失、位置の損失です。

デモ (推論)

前項での学習した結果、モデルがresult\model_iter_120000として保存されていますのでそれを活用します。
学習に使ったVOC2007のカテゴリは下記のとおりです。

• Aeroplanes
• Bicycles
• Birds
• Boats
• Bottles
• Buses
• Cars
• Cats
• Chairs
• Cows
• Dining tables
• Dogs
• Horses
• Motorbikes
• People
• Potted plants
• Sheep
• Sofas
• Trains
• TV/Monitors

試しにWikipediaにある羊の画像(Lleyn sheep.jpg)を認識させてみます。

なお、推論のデモには追加でモジュールが必要であるためインストールします。

> pip install matplotlib

実行は下記のように行います。

> python demo.py --gpu 0 --pretrained-model result\model_iter_120000 800px-Lleyn_sheep.jpg

良い感じです。