新潟県工業技術総合研究所は、工業系の技術支援機関です。

Topページ　>　機械・金属関係　技術トピックス 　>　ディープラーニングによる金属組織の結晶粒度の評価

ディープラーニングによる金属組織の結晶粒度の評価

１．はじめに

　金属材料の多くは無数の結晶粒からできています。同じ金属材料でも熱処理などによって結晶粒の大きさが変化すると、材料の機械的性質（強さ）も変化します。例えば、結晶粒が大きくなると、材料の降伏応力や衝撃値が低下することが知られています。このことから、結晶粒の大きさを知ることは材料の機械的性質を推測する重要な手掛かりになることが分かります。
　ここで、鋼材の結晶粒の大きさを評価する方法として、JIS G 0551 鋼－結晶粒度の顕微鏡試験方法¹⁾（以下、JISを呼びます）があります。この方法では、試料を結晶粒の境界（粒界）が明瞭になるようにエッチングした後、顕微鏡観察で得られる金属組織から次式
\[ m=8\times 2^G \tag{1} \] で定義される結晶粒度番号$G$を求めます。ここに、$m$は試験面の1mm²あたりの平均結晶粒数です。この方法で結晶粒度を評価する方法として、JISでは

(1) 結晶粒度標準図との比較による方法
(2) 単位面積当たりの結晶粒数を計数する方法
(3) 試験線1mm当たりの捕捉する結晶粒数又は交点の数によって評価する方法（切断法）

が規定されています。
　前回²⁾³⁾は画像処理を使って上記(3)の方法から結晶粒界を計数する方法を紹介しました。しかし、この方法では、人間による計数結果の修正を要する場合が多く、計数の完全自動化は難しいです。この修正作業を省くには、多少の誤判断の可能性はありますが、見た目で判断する上記(1)の方法を自動化するのが適当と考えられます。
　ここで、上記(1)をコンピュータで自動化する方法として、ディープラーニングを使って種々の結晶粒度に対する組織画像を学習させる方法が考えられます。そこで今回は、まず、焼入れした鋼材の旧オーステナイト結晶粒界を現出させた組織画像から種々の結晶粒度に対する組織画像を作成しました。次に、作成した画像を学習用と検証用に分け、学習用の画像をディープラーニングで学習させた結果を用いて、検証用の画像を認識できるか調べました。ここで、前回⁴⁾も類似の実験を行っていますが、試料（前回：SUS304鋭敏化材、今回：SCM435焼入れ材）と結晶粒度の種類（前回：7種類、今回：11種類）が異なっています。この実験は令和2年9月～10月に行ったものです。

２．種々の結晶粒度に対する組織画像の作成

　前回⁵⁾作製したSCM435の焼入れ材（直径19mm×長さ20mm、850℃×15分保持後油冷）について、断面を鏡面研磨後に（株）山本科学工具研究社製 AGSエッチング液で腐食させて、旧オーステナイト結晶粒界を現出させたものを試料としました。この試料について金属顕微鏡観察で得られた組織画像から、次の方法により種々の結晶粒度に対する組織画像を作成しました。

　上記④の方法で求めた種々の結晶粒度に対する元画像のトリミング範囲を表1に示します。表1には、式(1)から求めた$m$と$\sqrt{m}$も示しました。また、元画像と種々の結晶粒度にトリミングした組織画像の一例を図1に示します。図1において、各画像を縦横105mmで表示すると、倍率100の結晶粒度に相当した結晶粒の大きさになります。なお、トリミングした画像は224×224にリサイズしてからディープラーニングの学習モデルに代入するため、トリミング後の画像は224×224にリサイズしておきます。

表1　種々の結晶粒度に対する元画像のトリミング範囲

結晶粒度	1mm2あたりの 平均結晶粒数 $m$	$\sqrt{m}$	元画像のトリミング範囲
7.4	1351.2	36.76	1440×1440
7.0	1024.0	32.00	1253×1253
6.5	724.1	26.91	1054×1054
6.0	512.0	22.62	886×886
5.5	362.0	19.027	745×745
5.0	256.0	16.000	626×626
4.5	181.02	13.454	527×527
4.0	128.00	11.314	443×443
3.5	90.51	9.514	372×372
3.0	64.00	8.000	313×313
2.5	45.25	6.727	263×263
2.0	32.00	5.659	221×221

左：元画像、中：結晶粒度7.0、右：結晶粒度6.5


左：結晶粒度6.0、中：結晶粒度5.5、右：結晶粒度5.0


左：結晶粒度4.5、中：結晶粒度4.0、右：結晶粒度3.5


左：結晶粒度3.0、中：結晶粒度2.5、右：結晶粒度2.0
図1　元画像および種々の結晶粒度にトリミングした組織画像

３．ディープラーニングによる学習

　上記のように作成した結晶粒度2.0～7.0の各100枚の組織画像について、各結晶粒度につき学習用70枚、検証用30枚に分けてディープラーニングによる学習および検証を行いました。学習と検証は表2の条件で行いました。学習用画像は表3の条件で水増しを行いました。

表2　計算の条件

入力画像サイズ	224×224
モデル	VGG16（転移学習）
プーリング	Maxpooling
活性化関数	Relu, Softmax
最適化アルゴリズム	Adam
誤差関数	多クラス交差エントロピ
学習率	10-3
ドロップアウト率	0.5
バッチサイズ	32
学習回数	100

表3　画像の水増しの設定

設定項目	設定内容
画像の回転	0～90deg
水平方向反転	あり
垂直方向反転	あり

　表2の条件で学習用データを学習させたときの各学習における学習データと検証データの正解率を図2に示します。学習回数が増えるとともに正解率が高くなっていくことが分かります。100回学習後の検証データによる正解率は93％となりました。

図2　学習回数に対する画像認識の正解率

　この正解率の内訳（各結晶粒度に対する正解率）を図3に示します。図より、全ての結晶粒度について76％以上の正解率が得られました。

図3　各結晶粒度の検証データの画像認識の正解率

４．終わりに

　今回は、一つの試料について倍率200倍で撮影した100枚の組織画像から、種々の結晶粒度をもつ組織画像を100枚ずつ作成して、それを学習用と検証用に分けて、ディープラーニングで学習させて正解率を調べました。その結果、検証用データについても76％以上の高い正解率が得られました。その理由としては、学習用と検証用の組織画像が同じ試料を撮影したものであることが挙げられます。今後は、実験に用いた試料とは異なる試料について画像認識させたときの正解率を調べたいと考えています。

参考文献

問い合わせ：新潟県工業技術総合研究所 　　　　 　　 中越技術支援センター 　　斎藤　雄治 　 　　　　 　TEL：0258-46-3700 　　FAX：0258-46-6900