本文へスキップ

新潟県工業技術総合研究所は、工業系の技術支援機関です。
Topページ　>　機械・金属関係　技術トピックス 　>　ディープラーニングによる鋼の結晶粒度の測定（Lobeによる結果との比較）
ディープラーニングによる鋼の結晶粒度の測定（Lobeによる結果との比較）

１．はじめに
　前回1)は、マイクロソフト社の機械学習アプリLobeを用いた鋼の結晶粒度の測定について紹介しました。今回は、そのときに用いた画像と同じ画像を用いて、Keras2)というニューラルネットワークのライブラリのモデルで同様な測定を行い、結果を比較しました。この実験は令和3年1月に行ったものです。
２．学習と検証
　前回1)用いた次の画像について、KerasライブラリのVGG16モデルで学習と検証を行いました。

①結晶粒界が明瞭な組織画像（結晶粒度2.0～7.0まで0.5おき、各100枚）
②結晶粒界が不明瞭な組織画像（結晶粒度2.0～7.0まで0.5おき、各100枚）
③上記①と②（結晶粒度2.0～7.0まで0.5おき、各200枚）

上記の画像①、②、③を学習したモデルの名前をそれぞれモデル①'、②'、③'とします。なお、前回1)、Lobeで作成したモデルの名前はモデル①～③です。
　ここで、図1と図2に上記①と②の画像の例を示します。画像のサイズはVGG16モデルの入力サイズ（224×224）にトリミングしてあります。

結晶粒度7.0 結晶粒度5.0 結晶粒度3.0
図1　結晶粒界が明瞭な組織画像の例
（左：結晶粒度7.0、中：結晶粒度5.0、右：結晶粒度3.0）

結晶粒度7.0 結晶粒度5.0 結晶粒度3.0
図2　結晶粒界が不明瞭な組織画像の例
（左：結晶粒度7.0、中：結晶粒度5.0、右：結晶粒度3.0）

　VGG16モデルによる学習と検証は表1の条件で行いました。画像①～③については、各結晶粒度ごとに学習用と検証用に80：20に分けて学習と検証に用いました。
表1　学習と検証の条件
モデル VGG16（Imagenetによる学習済み）
学習方法 ファインチューニング
（最後の畳込み層以降を学習）
入力画像サイズ 224×224
プーリング Maxpooling
活性化関数 Relu, Softmax
最適化アルゴリズム Adam
誤差関数 多クラス交差エントロピ
学習率 5×10-5：学習回数100まで
1×10-6：学習回数101以降
ドロップアウト率 0.5
バッチサイズ 32
学習回数 150
学習用画像の水増し チャンネルシフト


　学習と検証の結果を説明します。まず、モデル①'～③'の学習曲線（学習回数に対する学習データと検証データの正解率）を図3～5に示します。これらの図において、150回学習後の検証データの正解率は、モデル①'99％、モデル②'94％、モデル③'97％となっています。このことから、モデル①'～③'はLobeのモデルの正解率（モデル①83％、モデル②83％、モデル③77％）1)に比べてかなり高いことが分かります。なお、学習回数100以降で正解率のばらつきが小さくなっているのは学習率が小さいためと考えられます。
モデル①'の学習曲線
図3　モデル①'の学習曲線
モデル②'の学習曲線
図4　モデル②'の学習曲線
モデル③'の学習曲線
図5　モデル③'の学習曲線

　次に、150回学習後のモデル①'～③'について、各結晶粒度に対する正解率を求めた結果を図6～8に示します。各結晶粒度に対して、モデル①'では95％以上、モデル②'では85％以上、モデル③'では92.5％以上の正解率が得られており、Lobeのモデル①～③の正解率（モデル①71％以上、モデル②68％以上、モデル③64％以上）1)に比べてかなり高いことが分かります。以上により、モデル①'～③'は学習・検証データに対して正解率が高いモデルになっていることが分かります。
各結晶粒度に対する正解率（モデル①'）
図6　各結晶粒度に対する正解率（モデル①'）
各結晶粒度に対する正解率（モデル②'）
図7　各結晶粒度に対する正解率（モデル②'）
各結晶粒度に対する正解率（モデル③'）
図8　各結晶粒度に対する正解率（モデル③'）
３．結晶粒度の推論および他の結果との比較
　前回1)、Lobeのモデル①～③の推論に用いた

・結晶粒界が「明瞭」な組織画像10枚
・結晶粒界が「不明瞭」な組織画像10枚

について、150回学習後のモデル①'～③'で推論しました。推論に用いた組織画像の例を図9に示します。ここで、推論用の組織画像は正方形にトリミングおよび224×224にリサイズしてあります。

結晶粒界が明瞭 結晶粒界が不明瞭
図9　推論に用いた組織画像の例
（左：結晶粒界が明瞭、右：結晶粒界が不明瞭）

　表2に推論結果を示します。表には、Lobeのモデル①～③による推論結果とJIS G05513)（以降、JIS）の比較法・切断法による測定値も示しました。表において、±記号の前後の数値は推論値や測定値に対する平均値とその95％信頼限界（t分布）です。
　表2において、VGG16の推論値はモデル①'～③'の全てでJISの測定値とほぼ一致しています。一方、Lobeの推論値はモデル①で「不明瞭」な画像を推論した以外でJISの測定値とほぼ一致しています。このことから、推論に用いた画像については、LobeよりVGG16のモデルの方がJISの測定値と一致する範囲が広いことが分かります。
　なお、推論値・測定値のばらつきの大きさを表す信頼区間の大きさは、VGG16とLobeで同程度となっています。
表2　モデル①'～③'による推論結果の平均値とその95％信頼限界
画像の結晶粒界の見え方 明瞭 不明瞭
VGG16の推論 モデル①' モデル②' モデル③' モデル①' モデル②' モデル③'
9.4±0.6 9.3±0.6 9.4±0.6 10.6±1.0 10.2±0.8 10.2±0.8
Lobeの推論 モデル① モデル② モデル③ モデル① モデル② モデル③
9.3±0.6 9.0±0.9 9.3±0.6 11.4±0.8 10.0±0.9 9.7±0.6
JISの比較法 9.6±0.5 10.0±0.9
JISの切断法 9.4 9.8


４．終わりに
　今回は、Kerasの学習済みのVGG16モデルで結晶粒度の測定を行い、Lobeモデルと比較しました。実験で行った範囲において、VGG16モデルはLobeモデルに比べて学習・検証データの正解率が高く、JISの比較法や切断法の測定値と一致する範囲が広い結果が得られました。
参考文献
1) Lobeによる鋼の結晶粒度の測定（結晶粒界の見え方による推論結果の違い）http://www.iri.pref.niigata.jp/topics/R2/2kin25.html
2) Kerasで利用可能なモデル（ImageNetで学習した重みをもつ画像分類のモデル）https://keras.io/ja/applications/
3) 日本規格協会, JIS G0551（2020） 鋼－結晶粒度の顕微鏡試験方法

  問い合わせ：新潟県工業技術総合研究所
　　　　 　　 中越技術支援センター 　　斎藤　雄治
　 　　　　 　TEL：0258-46-3700 　　FAX：0258-46-6900