本文へスキップ

新潟県工業技術総合研究所は、工業系の技術支援機関です。



ディープラーニングによる金属組織の結晶粒度の評価

Topページ > 機械・金属関係 技術トピックス  > ディープラーニングによる金属組織の結晶粒度の評価

1.はじめに
 金属材料の多くは無数の結晶粒からできています。同じ金属材料でも熱処理などによって結晶粒の大きさが変化すると、材料の機械的性質(強さ)も変化します。例えば、結晶粒が大きくなると、材料の降伏応力や衝撃値が低下することが知られています。このことから、結晶粒の大きさを知ることは材料の機械的性質を推測する重要な手掛かりになることが分かります。
 ここで、鋼材の結晶粒の大きさを評価する方法として、JIS G 0551 鋼-結晶粒度の顕微鏡試験方法1)(以下、JISを呼びます)があります。この方法では、試料を結晶粒の境界(粒界)が明瞭になるようにエッチングした後、顕微鏡観察で得られる金属組織から次式
\[ m=8\times 2^G \tag{1} \] で定義される結晶粒度番号$G$を求めます。ここに、$m$は試験面の1mm2あたりの平均結晶粒数です。この方法で結晶粒度を評価する方法として、JISでは

(1) 結晶粒度標準図との比較による方法
(2) 単位面積当たりの結晶粒数を計数する方法
(3) 試験線1mm当たりの捕捉する結晶粒数又は交点の数によって評価する方法(切断法)

が規定されています。
 前回2)3)は画像処理を使って上記(3)の方法から結晶粒界を計数する方法を紹介しました。しかし、この方法では、人間による計数結果の修正を要する場合が多く、計数の完全自動化は難しいです。この修正作業を省くには、多少の誤判断の可能性はありますが、見た目で判断する上記(1)の方法を自動化するのが適当と考えられます。
 ここで、上記(1)をコンピュータで自動化する方法として、ディープラーニングを使って種々の結晶粒度に対する組織画像を学習させる方法が考えられます。そこで今回は、まず、焼入れした鋼材の旧オーステナイト結晶粒界を現出させた組織画像から種々の結晶粒度に対する組織画像を作成しました。次に、作成した画像を学習用と検証用に分け、学習用の画像をディープラーニングで学習させた結果を用いて、検証用の画像を認識できるか調べました。ここで、前回4)も類似の実験を行っていますが、試料(前回:SUS304鋭敏化材、今回:SCM435焼入れ材)と結晶粒度の種類(前回:7種類、今回:11種類)が異なっています。この実験は令和2年9月~10月に行ったものです。

2.種々の結晶粒度に対する組織画像の作成
 前回5)作製したSCM435の焼入れ材(直径19mm×長さ20mm、850℃×15分保持後油冷)について、断面を鏡面研磨後に(株)山本科学工具研究社製 AGSエッチング液で腐食させて、旧オーステナイト結晶粒界を現出させたものを試料としました。この試料について金属顕微鏡観察で得られた組織画像から、次の方法により種々の結晶粒度に対する組織画像を作成しました。

① 金属顕微鏡で倍率500倍の組織画像を5枚撮影し、前回の方法2)3)により結晶粒度を求めます。得られた結晶粒度は9.4となりました。
② 金属顕微鏡を使って組織画像を同じ倍率で100枚撮影します。撮影した画像をトリミングして種々の結晶粒度に対する画像を作成するため、観察倍率は低く、画像サイズは大きくして撮影します。
今回撮影した画像の撮影倍率は200倍、サイズは1920×1440です。以下の作業を容易にするため、撮影した画像を正方形(サイズ1440×1440)にトリミングしておきます。以下では、この画像を元画像と呼ぶことにします。
③ 元画像の結晶粒度を定義します。いま、元画像を倍率100倍で撮影したものと仮定すると、画像の見かけの結晶粒度は9.4から2を引いた7.4と表せます。この結晶粒度7.4を元画像の結晶粒度と定義します。
④ 元画像のトリミング範囲を計算します。③で求めた元画像の結晶粒度7.4と元画像のサイズ(1440×1440)から、式(1)の関係を用いて計算します。

 上記④の方法で求めた種々の結晶粒度に対する元画像のトリミング範囲を表1に示します。表1には、式(1)から求めた$m$と$\sqrt{m}$も示しました。また、元画像と種々の結晶粒度にトリミングした組織画像の一例を図1に示します。図1において、各画像を縦横105mmで表示すると、倍率100の結晶粒度に相当した結晶粒の大きさになります。なお、トリミングした画像は224×224にリサイズしてからディープラーニングの学習モデルに代入するため、トリミング後の画像は224×224にリサイズしておきます。

表1 種々の結晶粒度に対する元画像のトリミング範囲
結晶粒度 1mm2あたりの
平均結晶粒数 $m$
$\sqrt{m}$ 元画像のトリミング範囲
7.4 1351.2 36.76 1440×1440
7.0 1024.0 32.00 1253×1253
6.5 724.1 26.91 1054×1054
6.0 512.0 22.62 886×886
5.5 362.0 19.027 745×745
5.0 256.0 16.000 626×626
4.5 181.02 13.454 527×527
4.0 128.00 11.314 443×443
3.5 90.51 9.514 372×372
3.0 64.00 8.000 313×313
2.5 45.25 6.727 263×263
2.0 32.00 5.659 221×221


元画像 結晶粒度7.0 結晶粒度6.5
左:元画像、中:結晶粒度7.0、右:結晶粒度6.5

結晶粒度6.0 結晶粒度5.5 結晶粒度5.0
左:結晶粒度6.0、中:結晶粒度5.5、右:結晶粒度5.0

結晶粒度4.5 結晶粒度4.0 結晶粒度3.5
左:結晶粒度4.5、中:結晶粒度4.0、右:結晶粒度3.5

結晶粒度3.0 結晶粒度2.5 結晶粒度2.0
左:結晶粒度3.0、中:結晶粒度2.5、右:結晶粒度2.0
図1 元画像および種々の結晶粒度にトリミングした組織画像

3.ディープラーニングによる学習
 上記のように作成した結晶粒度2.0~7.0の各100枚の組織画像について、各結晶粒度につき学習用70枚、検証用30枚に分けてディープラーニングによる学習および検証を行いました。学習と検証は表2の条件で行いました。学習用画像は表3の条件で水増しを行いました。

表2 計算の条件
入力画像サイズ 224×224
モデル VGG16(転移学習)
プーリング Maxpooling
活性化関数 Relu, Softmax
最適化アルゴリズム Adam
誤差関数 多クラス交差エントロピ
学習率 10-3
ドロップアウト率 0.5
バッチサイズ 32
学習回数 100

表3 画像の水増しの設定
設定項目 設定内容
画像の回転 0~90deg
水平方向反転 あり
垂直方向反転 あり

 表2の条件で学習用データを学習させたときの各学習における学習データと検証データの正解率を図2に示します。学習回数が増えるとともに正解率が高くなっていくことが分かります。100回学習後の検証データによる正解率は93%となりました。
図2 画像認識の正解率
図2 学習回数に対する画像認識の正解率

 この正解率の内訳(各結晶粒度に対する正解率)を図3に示します。図より、全ての結晶粒度について76%以上の正解率が得られました。
各結晶粒度に対する正解率
図3 各結晶粒度の検証データの画像認識の正解率

4.終わりに
 今回は、一つの試料について倍率200倍で撮影した100枚の組織画像から、種々の結晶粒度をもつ組織画像を100枚ずつ作成して、それを学習用と検証用に分けて、ディープラーニングで学習させて正解率を調べました。その結果、検証用データについても76%以上の高い正解率が得られました。その理由としては、学習用と検証用の組織画像が同じ試料を撮影したものであることが挙げられます。今後は、実験に用いた試料とは異なる試料について画像認識させたときの正解率を調べたいと考えています。

参考文献
1) 日本規格協会, JIS G0551(2020) 鋼-結晶粒度の顕微鏡試験方法.
2) 画像処理による鋼の結晶粒度の測定についてhttp://www.iri.pref.niigata.jp/topics/R2/2kin16.html
3) 画像処理による鋼の結晶粒度の測定について(計数結果の訂正機能の付加)http://www.iri.pref.niigata.jp/topics/R2/2kin17.html
4) ディープラーニングによる金属組織の結晶粒の大きさの認識http://www.iri.pref.niigata.jp/topics/R2/2kin13.html
5) 焼入れ、焼戻し、納入時の鋼材のディープラーニングによる金属組織の識別http://www.iri.pref.niigata.jp/topics/R2/2kin11.html

  問い合わせ:新潟県工業技術総合研究所
        中越技術支援センター   斎藤 雄治
        TEL:0258-46-3700   FAX:0258-46-6900

バナースペース