【本学研究者情報】

〇金属材料研究所　教授　熊谷悠
研究室ウェブサイト

【発表のポイント】

• 材料の情報を文章で表すことで、専門的な数値指標を設計せずに材料物性を予測する軽量な手法「ZEBRA-Prop」を開発
• 従来のLLMを用いた手法より学習時間を約95%短縮、PCでも学習が可能に
• 合成条件や実験記録など、文章で記述された情報の活用への展開に期待

【概要】

東京科学大学（Science Tokyo）物質理工学院 材料系の山本竜馬修士課程学生、総合研究院 フロンティア材料研究所の高橋亮准教授、大場史康教授（神奈川県立産業技術総合研究所（KISTEC）プロジェクトリーダー兼任）は、横浜市立大学 大学院生命医科学研究科の寺山慧研究教授、東北大学 金属材料研究所の熊谷悠教授らと共同で、大規模言語モデル（LLM、用語1）を再学習することなく、材料物性を予測できる軽量な機械学習手法「ZEBRA-Prop（ゼブラプロップ）」を開発しました。

新規材料の探索では、材料の構造や組成から性質を予測する機械学習手法が広く使われています。こうした手法では、実験やシミュレーションにより物性値が分かっている多数の材料のデータを予測モデルにあらかじめ学習させておき、その学習済みのモデルを用いて新しい材料の物性を高速に予測します。近年、材料の情報を自然言語の文章で表現しLLMで予測する手法が登場しました。しかし、この手法は予測したい材料物性ごとにLLM自体をファインチューニング（再学習、用語2）する必要があり、高性能・大規模な計算資源を持たない研究者が使うことは容易ではありませんでした。

研究チームは、モデルの学習の際にLLMを再学習せず、後段の小規模なニューラルネットワークだけを学習する方式を考案しました。これにより、学習時間を従来のLLMを用いた手法より約95%短縮できました（約2,200件のデータでの比較）。さらに、材料の情報を複数の短い文章に分けて表現し、重みを学習しながら統合することで、LLMが一度に読める文章量の制約も緩和し、精度も従来のLLMを用いた手法に近い水準を保っています。約2,200件の材料データであれば、高性能なGPU（用語3）を使わずに、一般的なPCを用いて数十分程度で学習できることも確認しています。

本手法は、自然言語の文章で記述できる情報であれば入力に使えるため、合成条件や実験記録など、文章で記述された実験データから材料物性を予測する技術への展開が期待されます。

本成果は、11月11日付（現地時間）の「Advanced Intelligent Systems」誌に掲載されました。

図1. ZEBRA-Propの学習過程の概略図。点線内が予測モデルであり、あらかじめ物性値が既知である大量のデータを学習することで構築される。従来手法（上）はLLMを含む全体を学習するが、本手法（下）は後段の小規模なニューラルネットワークだけを学習するため、学習が格段に高速化されている。ここではバンドギャップを対象物性とし、BaTiO₃（チタン酸バリウム）の高温相を例として示している。

【用語解説】

（1） 大規模言語モデル（LLM）：大量の文章を学習し、文章の理解や生成ができる機械学習モデル。ChatGPTなどが代表例。

（2） ファインチューニング（再学習）：学習済みのモデルを、特定の課題に合わせて追加で学習し、内部の数値を調整すること。精度は上がりやすいが、多くの計算資源と時間を要する。

（3） GPU：もともとは画像処理用に開発された演算装置で、機械学習のような大量の計算を高速に実行できる。高価なため、利用できる環境が限られる。

【論文情報】

掲載誌：Advanced Intelligent Systems
論文タイトル：ZEBRA-Prop: A Zero-Shot Embedding-Based Rapid and Accessible Regression Model for Materials Properties（ZEBRA-Prop：ゼロショット埋め込みに基づく、高速で使いやすい材料物性回帰モデル）
著者：Ryoma Yamamoto, Akira Takahashi, Kei Terayama, Yu Kumagai, and Fumiyasu Oba（山本竜馬、高橋亮、寺山慧、熊谷悠、大場史康）
DOI：10.1002/aisy.70592

詳細（プレスリリース本文）

問い合わせ先

東北大学 金属材料研究所 情報企画室広報班
Email：press.imr@grp.tohoku.ac.jp（*を@に置き換えてください）
TEL：022-215-2144 FAX：022-215-2482