畳み込みニューラルネットワーク（CNN）の魅力とウォーリーを探せプロジェクトその２

この記事では、Pythonの機械学習ライブラリChainerを使って、人気絵本「ウォーリーを探せ」の主人公ウォーリーを自動認識するプロジェクトに挑戦します。画像認識の基礎から教師データの収集、モデル構築、学習プロセスまでを詳しく解説しています。

www.ct-innovation.blog

2024.02.09

検証用データの収集

まずは、正解データとして前回も利用した購入した本からウォーリーを再び探してデータを集めていきます。

あまりこの能力の向上はうれしくないですが…順調に私の探索能力が上がっていっており、早いとページを開いて数秒で見つけられるようになってきています。

次に、不正解データを用意します。ここで正解と判断されたくないけど紛らわしいキャラクターを使ってみたいと思います。ウォーリーにはガールフレンドがいるんですが、これがそれなりに似ています。名前は「ウェンダ」というらしいです。見た目はこんな感じです。

プログラム実装

def return_result(data_input):
    model = cnn.MyCNN(2)
    serializers.load_npz("mymodel.npz", model)
    x = Variable(np.array([data_input], dtype=np.float32))
    y = model.forward(x)
    return y

def main():
    train_pathes = {'folder_path': '0'}
    for fil in train_pathes.keys():
        append_data(fil, train_pathes[fil], 'train')
        N = len(x_train_data)
        x_train_data_np = np.array(x_train_data, dtype=np.float32)
        x_train_data_reshape = x_train_data_np.reshape(N, 1, 60, 60)
        x_train_data_reshape /= 255 # to 0-1
 
        for i in range(len(x_train_data_reshape)):
            data_input = x_train_data_reshape[i]
            r_data = return_result(data_input)
            data = np.argmax(r_data.data)
            if data == 1:
                print(str(t_train_data[i]) + 'はウォーリー')
            else:
                print(str(t_train_data[i]) + 'は違う')

検証結果

以下のファイル群をプログラムにかけて結果を確認してみます。

ちゃんと判断してくれた！ひとまず成功ですね。よかった。とりあえずは第一関門は突破しました。次回は走査的に全体を探索していくプログラムを組んで実際にウォーリーを探していきます。

はじめに

前回の記事では、「ウォーリーを探せ」の主人公ウォーリーを自動認識するプロジェクトに挑戦することを決めました。今回は教師用データを集め、Chainerを用いたCNNの構築に挑戦します。

畳み込みニューラルネットワーク（CNN）の魅力とウォーリーを探せプロジェクトその１

このブログ記事では、畳み込みニューラルネットワーク（CNN）について解説しています。初めに、CNNの基本的な概念について説明し、その後に実際の題材として、CNNを用いて「ウォーリーを探せ」の絵本のキャラクターを検出するプロジェクトに取り組む構想を紹介しています。また、題材選定の経緯や教師データの収集についても触れています。この記事を通じて、機械学習におけるCNNの応用や実践的な活用方法について興味を持つ読者に向けた情報提供を行っています。

www.ct-innovation.blog

2021.03.09

教師データの収集

画像認識AIを学習させるには、教師データが必要不可欠です。ウォーリーの絵本から手作業で画像を切り抜き、約40枚のウォーリー画像と100枚の非ウォーリー画像を用意しました。

問題その1：画質

購入した本がポケット版であったことから原本の1/4程度に縮小されているため、画質が粗いという課題が発生しました。後の学習プロセスで工夫することにしました。

問題その2：ウォーリー作画問題

画像を切り抜きながら感じた大きな問題です。

よく漫画とかで初期のころと最後の方で絵のタッチとかが変わることってあると思うのですが、それと似たような現象がウォーリーを探せにも起こっています。機械学習をさせる側にしては大きな問題です。参考に抜き出したデータをいくつか貼ります。

こう見るとこれらが全部ウォーリーだと判断して見つけられる人間の補完力に驚かせられます。

ライブラリの選定とインストール

Chainerを用いて学習を実行しました。40エポックの学習で早い段階で収束が確認されましたが、実際の判別性能は次回のテストで確認する予定です。ただし、Chainerは開発をやめてしまったので今は利用は推奨されません。今なら、PyTorchなどを利用しましょう。

CNN モデルの構築

畳み込みニューラルネットワーク(CNN)を使ってモデルを構築しました。6層のディープラーニングモデルを設計し、入力画像からウォーリーか否かを2値分類できるようにしています。

# coding=utf-8 
from chainer import Chain 
import chainer.links as L 
import chainer.functions as F 

class MyCNN(Chain):
    def __init__(self, n_out):
        super(MyCNN, self).__init__(
            conv1=L.Convolution2D(in_channels=1, out_channels=10, 　　　　　　　　　　　　　　
                                  ksize=5, stride=1, pad=2), 
            conv2=L.Convolution2D(in_channels=None, out_channels=20, 　
　　　　　　　　　　　　　　　　　ksize=5, stride=1, pad=2),
            l1=L.Linear(None, 500),
            l2=L.Linear(500, 500),
            l3=L.Linear(500, n_out)
        )
    def forward(self, x):
        h1 = self.conv1(x)
        h2 = self.conv2(h1)
        h3 = F.relu(self.l1(h2))
        h4 = F.relu(self.l2(h3))
        out = self.l3(h4)
        return out

学習とモデルの保存

収集した教師データを使い、ミニバッチ学習による反復学習を実施しました。損失関数にはソフトマックス関数を使用し、40エポックで収束しました。学習済みモデルをファイルに保存しました。

model = cnn.MyCNN(2) 
optimizer = optimizers.Adam() 
optimizer.setup(model) 
n_epoch = 40 
batch_size = 30 

for epoch in range(n_epoch):
    sum_loss = 0
    sum_accuracy = 0
    perm = np.random.permutation(N)
    for i in range(0, N, batch_size):
        x = Variable(data[perm[i:i+batch_size]]) 
        t = Variable(label_data[perm[i:i+batch_size]])
        y = model.forward(x) model.zerograds() 
        loss = F.softmax_cross_entropy(y, t) 
        acc = F.accuracy(y, t) 
        loss.backward() 
        optimizer.update()

serializers.save_npz("wally.npz", model)

次のステップ

次は収束したモデルを使って、実際にウォーリーの認識が可能かテストを行う予定です。プロジェクト全体を通して、機械学習の基礎からモデル構築、学習プロセスまで実践的に学ぶことができました。

畳み込みニューラルネットワークの基礎

畳み込みニューラルネットワーク（Convolution Neural Network)は、画像分析を行うための機械学習手法の一つです。画像内のパターンを学習し、物体や顔などを認識することが可能です。また、最近では自然言語処理にも応用されています。

CNNは主に「畳み込み」と「ニューラルネットワーク」の処理から成り立っています。畳み込みは画像の特徴を抽出し、ニューラルネットワークはその特徴を分析します。

https://world4jason.gitbooks.io/research-log/content/deepLearning/CNN/Model%20&%20ImgNet/lenet.html

畳み込みとプーリング

畳み込み処理は、画像から特徴を抽出する重要な工程です。この処理をさらに分割すると、「畳み込み」と「プーリング」という手法があります。畳み込みでは、画像全体を適当なサイズのフィルタで走査し、特徴を抽出します。プーリングは、画像サイズを縮小しつつ特徴を保持する処理です。

もう一度この図に戻ると、C1とC3と書いているところが畳み込みでS2とS4と書いているところがプーリングです。

畳み込み

畳み込みは、元の画像から適当なサイズのフィルタを用いて特徴点を抽出する処理です。以下のようなことを行っています。

画像で示していてわかりやすいサイトがあったのでこちらからお借りしました。しっかりビジュアライズされているので、中身まで理解したい方はぜひこちら見てください。

プーリング

前章の畳み込みで、フィルタの数によって画像の枚数が増えます。最終的には『ニューラルネットワーク』を行い、分析をするのですがその際に入力するデータの数がどんどん増えてしまいます。これを防ぐためにプーリングでは特徴を残しつつ画像サイズを小さくする処理を行っています。

先ほどと同じサイトから参照させていただきました。

題材を探せ

CNNの優れた特性を活かし、楽しい題材を選びました。「ウォーリーを探せ」の絵本は、赤白のボーダーの服に帽子と眼鏡をつけたキャラクターを探す遊び絵本です。この楽しいテーマにCNNを適用し、「ウォーリー vs. AI」という無謀な挑戦を始めることにしました。

ウォーリーを探せ

1987年に発表されたこの絵本は、幅広い世代に親しまれています。ウォーリーを探す喜びは、誰もが体験したことがあるでしょう。

そもそもこの本を知ってる人はどれぐらいいるのかなと思ってたら、少し前は（2017/10/24）しぶちかの広告にウォーリーいたし、テレビCMで物件探しのCMにも出ていたのである程度の知名度はあるようですね。

アプローチ方法

ウォーリーを探すためのアプローチとして、以下の二つの方法を検討しました。

1. CNNを用いた学習モデルの構築と画像の走査による検出
2. OpenCVを活用した物体検出によるウォーリーの捜索

今回は、CNNの勉強のために一つ目のアプローチを採用することにしました。

教師データの収集

CNNの学習には正解の画像が必要ですが、インターネット上で適切な教師データを見つけることが難しいことがわかりました。そのため、TSUTAYAで絵本を購入し、自らウォーリーを探して写真を撮ることで教師用の画像を収集することにしました。

まとめ

機械学習の世界は、私たちに新たな挑戦を促します。CNNを使って「ウォーリーを探せ」のプロジェクトに取り組むことで、機械学習の基礎を学びながら楽しい時間を過ごすことができます。これからの記事で、プロジェクトの進捗や結果を共有していきます。