カーボンナノチューブの眼が捉えたシルエットで検査物内部の材質と外観を推定～ナノ科学×情報工学によって非破壊検査技術の壁を突破する～

○ コンピュータビジョン^注1）による画像計測によって、薄くて柔らかく扱いやすい多機能光センサを用いて非破壊撮影した検査物の内部材質と内部構造をより確実に推定する技術を開発。
○ コンピュータビジョンを広帯域・多波長に活用。未踏領域である“眼に見えない光”による新たな解析が品質評価分野にブレークスルーをもたらす。
○ センサを成すカーボンナノチューブ（CNT）は、可視光・眼に見えない光のいずれも高感度に検出する眼として、未踏領域でのコンピュータビジョンを力強く後押し。
○ 目視では捉えきれない「複数の材質で成る複雑な構造物」を、触れずに、壊さずに同定し、復元像を生成することが可能に。

　中央大学 理工学部 電気電子情報通信工学科の李 恒助教、河野 行雄教授、木下 祐哉大学院生（理工学研究科　電気電子情報通信工学専攻・博士前期課程2年）、国立情報学研究所（NII）・コンテンツ科学研究系の佐藤 いまり教授、Zhenyu Zhou研究員（研究当時）らを中心とする研究チームは、中央大学グループが独自に開発した「多機能な光-電磁波撮像デバイス・システム」とNIIグループのコンピュータビジョンの手法で画像データから三次元立体的に構造を復元する技術を有機的に組み合わせることで、非破壊で検査物の内部材質と内部構造をより確実に推定する新たな検査技術を創出しました（図1）。
　ヒトとモノが密に相互介入するIoT社会の幕開け以降、工業製品や日用品に対して、不良・変質・異物混入を検知する非破壊検査技術が注目を集めています。なかでも非接触で大面積な解析性能を有する「光-電磁波撮像」は、検査技術の中心的役割を担っています。代表的な検査項目として、材質同定（対象が何でできているか）と構造復元（対象がどのような形状となっているか）の把握が挙げられます。これらの両立は高い精度・信頼性での品質保証につながりますが、非破壊検査技術の研究開発においては、依然として発展途上な状況と言えます。
　そこで本研究では、日本発の先端ナノ材料：カーボンナノチューブ（CNT）をセンサに用いた中央大学グループ独自の材質同定型デバイス・システムに対して、対象物の影（シルエット）の重ね合わせから外観を推定するNIIグループの構造復元手法を導入することで、品質評価の分野にブレークスルーをもたらす新たな非破壊検査技術を創出しました。これら要素技術は、工業・日用品の製造流通において忠実な再現度の品質管理の実現につながると考えられます。
　本研究成果は、2023年12月25日（日本時間）付で国際科学誌『Advanced Optical Materials』でオンライン公開されました。

１．背景
　光-電磁波計測が非破壊検査を主導する中、電波と可視光の間のミリ波（MMW）・テラヘルツ波（THz）・赤外線（IR）帯域が注目されています。これらの波長は、電波由来の物体を通り抜ける透過性と可視光由来の直進性を両立し、ヒトの眼では見えないモノの内部を可視化できます。さらに、非金属材料を中心に波長毎に透過率がさまざまに変化することから、広帯域かつ多波長なMMW–IR計測により材質同定につながります。このような背景の下、同帯域での検査デバイス・システムの研究開発は李助教らを含め世界中で盛んに行われています。それらの代表例であるテラヘルツ時間領域分光法（THz-TDS）^注2）やフーリエ変換型赤外分光法（FTIR）^注3）等の分光装置は、食品・日用品・樹脂製品といった品質評価に活用されています。
　一方で李助教らは独自にCNT型のMMW–IRセンサの設計・作製に着手し、波及効果として機能的な非破壊撮像手法を確立してきました（参考論文2–8）。食品ラップのような薄さ・柔らかさ・伸縮性が特徴で、一般的な平面視野の撮像素子（いわゆるカメラ）では死角となる湾曲検体（例えば、ガス／水道管、飲料ボトル等）の側面・裏面へのセンサの貼り付けによって360°視野の全方位計測が可能になります。
　しかし、分光計測やCNTセンサを含め、MMW–IR計測の構造復元への拡張は不十分と言えます。材質同定が品質評価において重要であるという前提に加え、気温や湿度の外因による検体全体または局所部位の変形や、内部の特定材質の異常拡大といったケースを捉えながら構造を復元することも検査項目として不可欠です。構造復元技術としては光-電磁波撮像時の反射や散乱の信号強度・時間遅れ・位相ずれの光学情報を、座標や角度という空間情報とひも付けるコンピュータビジョン（CV）手法が代表的です。一方で従来のCVは美術映像技術向けの外観復元という可視光での利用が中心であり（参考論文1）、モノの内部理解を志向するMMW–IR帯への拡張は依然として限定的です。これら材質同定・構造復元双方の課題解決、そして相乗効果の新規創出に向けて、本研究チームは、CVの観点では未踏領域と言えるMMW–IR計測に対してMMW–IR帯域の特性を最大限に活かすCNTセンサによる広帯域・多波長撮像を通じて、両者の融合に取り組みました（図2）。

２．研究内容と成果
　本研究ではCNTセンサの動作原理として、光熱起電力効果を用います（図3）。センサを成すCNT膜中央に受光界面としてpn接合が設けられ、吸収により熱に変換された照射エネルギーを更に熱電変換し、光を電気信号として検出します。CNT膜はMMW–IRから可視光まで一貫して90%以上の効率で吸収します。これにより、液体材料型の簡便な作製工程や小型薄膜素子としての扱い易さに加え、巨躯で硬い一般的な素子にも並ぶ動作感度を示します。本研究の鍵となる広帯域・多波長MMW–IR撮像を、CNTセンサは単独で高感度に実現することができます。

　これら特徴的な素子性能を基に、李助教らはCV測定系を構築しました（図4）。CV手法には、外観模写として代表的な視体積交差法注^4）を採用しました。この手法では異なる視点で検体のシルエットを取得し、基準となる空間からシルエットの交差領域をくり抜くことで構造復元を行います。本研究では光源・発振器、検体、CNTセンサから成るコンパクトな測定系を構築し、検体のxy平面走査でシルエット画像を取得後、θ回転により異なる視点へ展開します。

　更に李助教らは、材質同定・構造復元型の非破壊検査というコンセプト実証に向け、図4に示した測定系による多層複合材料の評価を行いました。本研究で用いた検体は、半導体、ガラス、プラスチック、金属など計5種の異なる材質から成り、不透明な外壁により目視では内部材質・構造の把握が困難です。しかし、今日の工業・日用品の多くはこのような材料で組み合わされていることから、本評価の取り組みは社会実装へ向けた試金石と言えます。CNTセンサによる広帯域で多波長なMMW–IR撮像後、NIIグループによるコンピュータビジョンの手法を用いて、各シルエット画像を組み合わせることにより、材質毎の構造復元に成功しました（図5）。具体的には、THz・IR撮像によるシルエット画像を基に外壁越しに中間層および内壁を個別に復元することに成功し、より透過性の高いMMW撮像を通じて、最深部層に内蔵されていた金属棒が抽出されました。一方でMMW撮像は透過性が高いために中間層・内壁の同定・復元には適さず、THz・IR撮像では内壁越しの可視化には透過性が不足するため、相補的と言えます。

　最終的には、材質毎の個別復元像を重ね合わせることで検体全体の非破壊再構成に成功しました（図6）。これらは中央大学グループ独自のCNTセンサを基軸とする広帯域・多波長MMW–IR撮像型CVの集大成と言えます。幅広く普及した各種材料のMMW–IR帯での光学特性データベースを基に、CNTセンサ型CV測定系に採用する光源・発振器の波長の適切な選定が、多様な対象の詳細な非破壊検査の実現に貢献します。また本技術はCNTセンサの“多画素化^注5）”により、測定時間の短縮が可能になります。具体的には実用化段階の他の検査手法に比肩する約150秒での単層復元速度とサイズ誤差2%以内の復元精度を、ともに満たします。

３．今後の展開
　本研究成果を基に当チームでは、① 視点数拡張による実際の工業・日用品の非破壊検査試験、② CNTセンサのカメラ実装によるリアルタイムシステム化、③ 撮像情報の高度化による検査機能の拡充に取り組みます。現在はコンセプトの実証として角柱と角筒を対象に2視点からの復元となりますが、段階的に視点数を増やすことで、凹凸・湾曲等、より実物の検体に近い構造を扱うことができます（①）。また撮像素子の大規模集積によりシルエット撮像が高速化する中、CNTセンサ型の画素を現状の一次元アレイから二次元配列カメラへ拡張し、素子の柔らかさを基にカメラシートとして検体を全方位包囲することで、走査不要な即時観察へ展開されます（②）。更に本成果におけるシルエット復元に加えて、CV手法として、トモグラフィ、光超音波、LiDAR^注6）といった枠組みへ発展させることで、奥深い質感の検査情報へとつなげていきます（③）。

1.　Shijie Nie, Lin Gu, Yinqiang Zheng, Antony Lam, Nobutaka Ono, Imari Sato, Deeply Learned Filter Response Functions for Hyperspectral Reconstruction, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 4767–4776, 2018.
2.　K. Li, Y. Matsuzaki, S. Takahara, D. Sakai, Y. Aoshima, N. Takahashi, M. Yamamoto, Y. Kawano, All-Screen-Coatable Photo-Thermoelectric Imagers for Physical and Thermal Durability Enhancement, Advanced Materials Interfaces 10, 35, 2300528, 2023.　DOI: 10.1002/admi.202300528
3.　T. Araki, K. Li, D. Suzuki, T. Abe, R. Kawabata, T. Uemura, S. Izumi, S. Tsuruta, N. Terasaki, Y. Kawano, T. Sekitani, Broadband Photodetectors and Imagers in Stretchable Electronics Packaging, Advanced Materials early view, 2304048, 2023.　DOI: 10.1002/adma.202304048
4.　K. Li, Y. Kinoshita, D. Sakai, Y. Kawano, Recent Progress in Development of Carbon-Nanotube-Based Photo-Thermoelectric Sensors and Their Applications in Ubiquitous Non-Destructive Inspections, Micromachines 14, 1, 61, 2023.　DOI: 10.3390/mi14010061
5.　K. Li, T. Araki, R. Utaki, Y. Tokumoto, M. Sun, S. Yasui, N. Kurihira, Y. Kasai, D. Suzuki, R. Marteijn, J.M.J. Toonder, T. Sekitani, Y. Kawano, Stretchable broadband photo-sensor sheets for nonsampling, source-free, and label-free chemical monitoring by simple deformable wrapping, Science Advances 8, 19, eabm4349, 2022.　DOI: 10.1126/sciadv.abm4349
6.　K. Li, R. Yuasa, R. Utaki, M. Sun, Y. Tokumoto, D. Suzuki, Y. Kawano, Robot-assisted, source-camera-coupled multi-view broadband imagers for ubiquitous sensing platform, Nature Communications 12, 3009, 2021.　DOI: 10.1038/s41467-021-23089-w
7.　K. Li, D. Suzuki, Y. Kawano, Series Photothermoelectric Coupling Between Two Composite Materials for a Freely Attachable Broadband Imaging Sheet, Advanced Photonics Research 2, 3, 2000095, 2021.　DOI: 10.1002/adpr.202000095
8.　D. Suzuki, K. Li, K. Ishibashi, Y. Kawano, A Terahertz Video Camera Patch Sheet with an Adjustable Design based on Self-Aligned, 2D, Suspended Sensor Array Patterning, Advanced Functional Materials 31, 14, 2008931, 2021.　DOI: 10.1002/adfm.202008931

　本研究は、科学技術振興機構 戦略的創造研究推進事業ACT-X（JPMJAX23KL）および未来社会創造事業（JPMJMI23G1）、日本学術振興会 科学研究費助成事業（基盤研究A（JP23H00169）、基盤研究B（JP21H01746、JP22H01555、22H01553）、学術変革領域研究A（JP21H05809、 JP22H05470）、研究活動スタート支援（JP23K19125））、村田学術振興財団 研究助成（M23助自194）、松尾学術振興財団 松尾学術研究助成、住友電工グループ社会貢献基金 学術・研究助成、神奈川県立産業技術総合研究所 戦略的研究シーズ育成事業（非破壊画像検査用スマートシートの創出）の一環として援助を受け、並びに日本ゼオン株式会社からの試料提供の下に実施されました。

注1）コンピュータビジョン（CV: Computer vision）
　画像データに対する情報工学や数値処理を通じて新たな付加価値を創出する学問分野のこと。

注2）テラヘルツ時間領域分光法（THz-TDS: Terahertz Time-Domain Spectroscopy）
　テラヘルツ・サブテラヘルツ・ミリ波帯での代表的な分光計測手法で、幅広く用いられている。

注3）フーリエ変換型赤外分光法（FTIR: Fourier Transform Infrared Spectroscopy）
　中・遠赤外帯での代表的な分光計測手法で、幅広く用いられている。

注4）視体積交差法
　三次元立体構造復元を可能にする代表的なコンピュータビジョン手法の1つ。複数の視点でシルエット画像を取得し、それらを逆投影した際に交差する領域を抽出することで対象物の外形を再構成することができる。

注5）多画素化
　撮像素子の画素数を増やすこと。二次元平面のシルエット撮像に際して、単一画素素子の場合は検体の二次元走査が必要となる。画素が1つの方向に配列された一次元アレイ素子の場合は、配列方向と直行する向きに検体を一次元走査することで二次元画像が取得できる。画素が二つの方向に配列された二次元カメラ素子の場合は、画素が配列された視野面積内に検体を設置することで、走査を要さずに二次元画像を取得することができる。

注6）トモグラフィ、光超音波、LiDAR
　視体積交差法と並ぶコンピュータビジョン手法の代表例。LiDARは光による検知と測距（Light Detection and Ranging）の略。トモグラフィでは断層画像を取得することができ、光超音波計測では造影剤を用いることなく血管構造の再構成を可能にする。また、LiDARは車間距離センシング等で用いられ、対象との距離情報から形状復元へつなげることができる。