大阪大学 産業科学研究所 複合知能メディア研究分野

コンピュテーショナルイメージング

計算機を駆使した新しい光イメージング技術の開拓

コンピュテーショナルイメージングとは?

イメージングは医療、ライフサイエンス、ロボティクスなどあらゆる科学の基盤です。イメージング技術は、レンズ設計を中心に長い歴史の中で改良を重ねられてきましたが、近年、情報科学の進展を背景に原理レベルでの革新が生まれつつあります。八木研究室では、最先端の光学と情報科学を融合したコンピュテーショナルイメージングと呼ばれる次世代イメージング技術を研究しています。光学設計を駆使した符号化撮影法や、数理最適化及び機械学習を基盤とした画像再構成処理法、及びそれらの協調設計法の開拓が研究テーマとなります。現在は特に、レンズレスイメージング圧縮センシング、超解像イメージング、及びギガピクセルイメージングに関する研究を実施しています。カメラからスキャナー、内視鏡、顕微鏡、望遠鏡まで、あらゆるイメージング装置を変革するような新技術を、光学、情報科学、応用物理学、応用数学、計測学、電子工学、材料科学の高度な組み合わせにより創り出すことを目指しています。

研究例

最適化放射型符号化開口を用いた被写界深度拡大レンズレスイメージング

レンズレスカメラは符号化光学系と復号化演算系で構成される超小型イメージング装置であるが、一度の復号化演算ではある距離にしかピントが合わない、いわゆる被写界深度の制限が実応用上の課題である。距離変数を変えながら何度も復号化演算して、ピントの合った領域をつなぎ合わせることも可能ではあるが、計算時間が一次元分増加する。本研究では、イメージングに適した周波数応答を持つ放射型符号化開口を最適化設計し、それを用いて光学系を構成することで、被写界深度を拡大しつつ結像特性の優れたレンズレスカメラを実現した。レンズレスカメラ実機を構築し撮像実験を行った結果、一度の撮影と一度の復号化演算により深い距離範囲に対して同時にピントの合った画像が得られることを実証した。

受賞

The 13th Japan-Korea Workshop on Digital Holography and Information Photonics (DHIP2023) Student Presentation Award (2023.12, J. Neto).

発表
  1. J. Neto, T. Nakamura, Y. Makihara, Y. Yagi, “Extended Depth-of-Field Lensless Imaging using an Optimized Radial Mask,” IEEE Transactions on Computational Imaging, Vol. 9, pp. 857-868, Sep. 2023. [link] [プレスリリース]
  2. J. Neto, T. Nakamura, Y. Makihara, Y. Yagi, “Optimized Radial Coded Mask for Extended Depth-of-Field Lensless Imaging,” The 13th Japan-Korea Workshop on Digital Holography and Information Photonics (DHIP2023), Beppu, No. P01, pp. 45, Dec. 2023.
  3. J. Neto, T. Nakamura, Y. Makihara, Y. Yagi, “Optimized Radial Mask for Extended Depth-of-Field Lensless Imaging,” 第26回 画像の認識・理解シンポジウム (MIRU2023), 浜松, No. OS6A-S4, Jul. 2023.

回折格子を用いた圧縮センシングによる超解像三次元イメージング

光飛行時間(ToF: Time-of-Flight)を計測して距離画像を取得するToFカメラは、三次元環境の計測装置として様々な用途に応用されているが、特殊なセンサ構造による空間解像度の低さが課題である。本研究では、空間解像度のセンサ限界(ナイキスト限界)を超える超解像距離画像をスナップショットで取得するために、回折格子による超解像情報の光学的符号化計測とスパース性を積極利用した復号化演算(圧縮センシング)を組み合わせた新しいToFカメラシステムを設計した。既存のToFカメラのレンズ面に傾斜回折格子を取り付けて構成した光学系と計算機を用いた実験により、カメラの元々の解像限界を超える空間分解能で距離画像が得られることを実証した。

受賞
  1. The 13th Japan-Korea Workshop on Digital Holography and Information Photonics (DHIP2023) Student Presentation Award (2023.12, H. Kawachi).
  2. 第25回画像の認識・理解シンポジウム(MIRU 2022) MIRU学生奨励賞 (2022.7, H. Kawachi).
発表
  1. H. Kawachi, T. Nakamura, K. Iwata, Y. Makihara, and Y. Yagi, “Snapshot super-resolution indirect time-of-flight camera using a grating-based subpixel encoder and depth-regularizing compressive reconstruction,” Optics Continuum, Vol. 2, No. 6, pp. 1368-1383 (2023). [link]
  2. H. Kawachi, T. Nakamura, K. Iwata, Y. Makihara, and Y. Yagi,  “Snapshot super-resolution depth measurement using depth regularization and a diffraction grating,” OSK-OPTICA-OSJ Joint Symposia on Optics 2023, W1B-XI.03, (Jeju, oral, 2023.8).
  3. H. Kawachi, T. Nakamura, K. Iwata, Y. Makihara, and Y. Yagi, “Snapshot super-resolution time-of-flight imaging by PSF engineering and untrained deep neural-network prior,” 5th International Workshop on Image Sensors and Imaging Systems (IWISS2022), 5, (Hamamatsu, poster, 2022.12.12).

スパースイメージセンサと疎復元による広視野レンズレスカメラ

本研究では、ランダム配置された多数の微小開口を含む”スパースイメージセンサ”による撮影と、圧縮センシングによる画像復元(疎復元)を組み合わせた広視野レンズレスカメラを提案する。二枚のスパースイメージセンサの受光面を向かい合わせた光学系により、表裏両面のまばらなレンズレス符号化画像を一度に計測できる。計測後に圧縮センシング型画像再構成処理を施すことで、それぞれの符号化画像から密な物体画像を復元できる。これにより、イメージセンサのみで構成される超薄型光学系でスナップショット広角イメージングを実現できる。これまでに、模擬光学実験による原理実証に成功しており、現在スパースイメージセンサのプロトタイプ開発を進めている。

受賞
  1. 東京工業大学工学院 若手奨励賞 (2019.12).
  2. IWISS2018 ITE Open Poster Session Award 1st place (2018.11).
発表
  1. F. Hosokawa, K. Kagawa, K. Sasagawa, J. Ohta, and T. Nakamura, “Design of a linkable self-encoding CMOS image sensor for a compact lensless camera with an ultra-wide field of view,” 5th International Workshop on Image Sensors and Imaging Systems (IWISS2022), 7, (Hamamatsu, poster, 2022.12). 
  2. 細川風輝,香川景一郎,笹川清隆,太田淳,中村友哉, “超広視野レンズレスカメラのための連結型CMOSイメージセンサの設計と原理実証,” LSIとシステムのワークショップ2023, S18, (東京, ポスター, 2023.5).
  3. T. Nakamura, K. Kagawa, S. Torashima, and M. Yamaguchi, “Super Field-of-View Lensless Camera by Coded Image Sensors,” Sensors, Vol 19, No. 6, 1329 (2019). [PDF]
  4. 設樂駿人,香川景一郎,中村友哉​,安富啓太,川人祥二,“自己符号化開口型超広角レンズレスカメラに向けた専用CMOSイメージセンサの設計,” 第13回情報フォトニクス研究会関東学生研究論文講演会, O2-04 (横浜, 口頭, 2019.3).
  5. T. Nakamura, K. Kagawa, S. Torashima, and M. Yamaguchi, “Lensless imaging by coded image sensors,” 4th International Workshop on Image Sensors and Imaging Systems (IWISS2018), 16 (Tokyo, demo, 2018.11).

深度-空間座標線形変換光学系による高速三次元レーザ走査型顕微鏡法

レーザ走査型顕微鏡は、高い空間分解能と深い計測深度を実現する顕微鏡法であり、生体試料観察に広く用いられているが、三次元観察用途においては三次元的な走査が必要となり計測時間が長大化する。本研究では、光ニードルを用いた対象物の広深度一括照明系と、計算機合成型ホログラフィック光学素子を用いた深度-空間座標線形変換光学系を介した計測系を組み合わせ、二次元的な走査で実装可能な新しい三次元レーザ走査型顕微鏡法を提案する。光学実験により、深度-空間座標線形変換イメージング、及びそれによるマウスの脳の高速三次元顕微イメージングの実現を実証した。

発表
  1. Y. Kozawa, T. Nakamura, Y. Uesugi, and S. Sato, “Wavefront engineered light needle microscopy for axially resolved rapid volumetric imaging,” Biomedical Optics Express, Vol. 13, No. 3, pp. 1702-1717, (2022). [PDF] [プレスリリース]
  2. Y. Kozawa, T. Nakamura, and S. Sato, “Volumetric Imaging Utilizing Linear-Shift Point-Spread Function Based on Multiplexed Computer-Generated Hologram,” Focus on Microscopy (FOM2021), SU-PAR1-E (online, oral, 2021.03).
  3. T. Nakamura, S. Igarashi, Y. Kozawa, and M. Yamaguchi, “Non-diffracting linear-shift point-spread function by focus-multiplexed computer-generated hologram,” Optics Letters, Vol. 43, No. 24, pp. 5949-5952 (2018). [PDF]

放射状符号化マスクによる全焦点レンズレスカメラ

カメラのピンぼけは、アート写真においては被写体を美しく際立たせるために好まれることも多いが、計測用途においては情報量が欠落するため極力排除されることが望ましい。近年研究されている、計測後の再構成処理を前提としたレンズレスカメラは、レンズを持たない光学設計が許容されるため、原理的にピンぼけの発生しない全焦点カメラを実現できる。本研究では、レンズレスカメラの符号化光学素子として放射状符号化マスクを用いることで、被写体の距離に依存しない光学系応答関数を物理実装し、スナップショットによる全焦点イメージングを実現する。これまでに、提案する全焦点レンズレスイメージング原理の数値実証、及び簡易的なセットアップでの実験実証を確認している。

発表
  1. T. Nakamura, S. Igarashi, S. Torashima, and M. Yamaguchi, “Extended depth-of-field lensless camera using a radial amplitude mask,” Computational Optical Sensing and Imaging (COSI2020), CW3B.2 (online, oral, 2020.6). [PDF]

光学伝達関数の波長依存性を利用したレンズレスカメラの高解像度化

フレネルゾーン開口型レンズレスカメラは、画像再構成処理の高速性や光学伝達関数の解析解が得られる点に利点を有するが、開口構造と光回折に起因する光学伝達関数(OTF)の零交差により空間分解能が制限される。本研究では、この零交差特性が強く波長依存することを利用し、特定の色チャネルの遮断周波数情報を他の色チャネルの情報から補償することで高解像度画像情報を復元する画像処理技術を提案する。プロトタイプ構築に基づく光学実験により、提案手法による高解像度化効果を定量的に実証した。

発表
  1. T. Nakamura, T. Watanabe, S. Igarashi, X. Chen, K. Tajima, K. Yamaguchi, T. Shimano, and M. Yamaguchi, “Superresolved image reconstruction in FZA lensless camera by color-channel synthesis,” Optics Express, Vol. 28, No. 26, pp. 39137-39155 (2020). [PDF]

ホログラフィック不等角反射鏡を用いた非視線イメージング

ホログラフィック光学素子(HOE)はホログラフィの原理に基づき光波を変調する回折光学素子の一種であり、光回折で実装可能な任意の光波入出力応答を記録及び再生することができる。これにより屈折光学素子では実現できない”シースルー不等角反射鏡”を実装することができ、これを介したイメージング系を構成することで、対象物を透明正対素子を介して非視線方向から正面撮影することが可能である。本研究では、視線の合う映像コミュニケーションシステムへの応用を念頭に、不等角反射鏡HOEの大型均質実装法の開発、波長分散の光学的補償法の提案、フルカラー化、不要環境光除去法の提案、及び映像コミュニケーション応用の実証を実施した。それぞれの研究項目について、光学実験やプロトタイプ構築に基づき有効性を実証した。

受賞
  1. 3次元画像コンファレンス 2020年度優秀論文賞 (2020.9)
  2. IDW’17 Best Paper Award (2018.1)
発表
  1. S. Kimura, Y. Aburakawa, F. Watanabe, S. Torashima, S. Igarashi, T. Nakamura, and M. Yamaguchi, “Holographic Video Communication System Realizing Virtual Image Projection and Frontal Image Capture,” ITE Transactions on Media Technology and Applications, Vol. 9, No. 1, pp. 105-112 (2021). [PDF]
  2. F. Matsui, F. Watanabe, T. Nakamura, and M. Yamaguchi, “Unmixing of the background components in an off-axis holographic-mirror-based imaging system using spectral image processing,” Optics Express, Vol. 28, No. 26, pp. 39998-40012 (2020). [PDF]
  3. F. Watanabe, T. Nakamura, S. Torashima, S. Igarashi, S. Kimura, Y. Aburakawa, and M.Yamaguchi, “Dispersion compensation for full-color virtual-imaging systems with a holographic off-axis mirror,” SPIE Photonics West, 11306-3 (San Francisco, oral, 2020.2). [LINK]
  4. T.Nakamura, S. Kimura, K. Takahashi, Y. Aburakawa, S. Takahashi, S. Igarashi, S. Torashima, and M. Yamaguchi, “Off-axis virtual-image display and camera by holographic mirror and blur compensation,” Optics Express, Vol. 26, No. 19, pp. 24864-24880 (2018). [PDF]

投影型シースルー4Dライトフィールドディスプレイと空中映像タッチ検出

4Dライトフィールドディスプレイはレンズアレイによる光線再生方式に基づく立体ディスプレイの一種であり、空中への光学実像再生が可能である。プロジェクタとレンズアレイを離して配置する投影型の構成では、レンズアレイ面での投影像と光学素子の位置合わせが重要である。素子をホログラフィック光学素子(HOE)で実装する方式では、レンズアレイ面をシースルースクリーン化でき環境融合型の応用が可能となるが、その透過性により位置合わせが容易ではなくなる。本研究では、二値正弦波パターン投影に基づく高速化位置合わせ手法を提案し、それに基づく4D像再生を実験的に実証した。また、3Dタッチユーザインタフェース応用を念頭に、4D像へのタッチ検出を散乱光検出と色情報識別で高速かつ安定に実現する手法を提案し、その効果を実験により実証した。

発表
  1. I. A. S. S. Chavarría, T. Nakamura, and M. Yamaguchi, “Interactive optical 3D-touch user interface using a holographic light-field display and color information,” Optics Express, Vol. 28, No. 24, pp. 36740-36755 (2020). [PDF]
  2. T. Nakamura and M. Yamaguchi, “Simple geometrical calibration procedure for a projection-type holographic light-field display,” Digital Holography & 3-D Imaging (DH2018), DTh3D.5 (Orlando, oral, 2018.6).
  3. T. Nakamura and M. Yamaguchi, “Rapid calibration of a projection-type holographic light-field display using hierarchically upconverted binary sinusoidal patterns,” Applied Optics, Vol. 56, No. 34, pp. 9520-9525 (2017). [PDF]

ギガピクセルカメラのオートフォーカス

ボールレンズとマイクロカメラアレイを組み合わせたギガピクセルカメラは、通常のカメラの二桁程度高解像度な画像をスナップショットで撮影できる。広視野と高解像度を両立し、広い物理空間の隅々までを忠実に記録できるため、サーベイランス等の用途での応用が期待されている。一方で、個別のマイクロカメラは高倍率に設計される光学設計であるため、ピントの合う深度範囲が狭く、高速なオートフォーカス機構が必要となる。本研究では、階層的アルゴリズムを利用した高速オートフォーカスシステムを提案し、ギガピクセルカメラに実装した。提案手法の有効性はプロトタイプを用いた実機実験により実証された。

発表
  1. T. Nakamura, D. S. Kittle, S. H. Youn, S. D. Feller, J. Tanida, and D. J. Brady, “Autofocus for a multiscale gigapixel camera,” Applied Optics, Vol. 52, No. 33, pp. 8146-8153 (2013). [PDF]
  2. S. H. Youn, H. S. Son, D. L. Marks, A. Pendleton, P. O. McLaughlin, T. Nakamura, D. J. Brady, and J. Kim, “Thru-focus Optical Analysis of Microcameras in a Gigapixel Camera,” US-Korea Conference on Science, Technology, and Entrepreneurship (UKC2013), K-1029 (New York, oral, 2013.8).

散乱行列法に基づく多重散乱体を介した小型広角イメージング

多重散乱体を通った光は物理的に強く乱されるため、その透過光(散乱画像)から入射側空間の物体像情報(物体画像)を視認することは当然ながら不可能である。一方で、散乱の有無に関わらず光学現象一般には線形性が成り立つため、行列演算により散乱画像から物体画像を数理的に再構成できる。本研究ではこの事実を積極利用し、広角イメージングのために最適設計された人工散乱体をイメージセンサ前に敢えて配置することで、超小型広角レンズレスイメージングシステムを実装した。FDTD法に基づく波動光学精度で厳密な数値シミュレーションにより、提案手法による広角イメージング原理を実証し、その効果を定量的に検証した。

受賞
  1. 日本光学会 奨励賞 (2016.9)
発表
  1. T. Nakamura, R.Horisaki, and J. Tanida, “Compact wide-field-of-view imager with a designed disordered medium,” Optical Review, Vol. 22, No. 1, pp. 19-24 (2015). [PDF]

複眼光学系を積極利用したイメージング

昆虫に見られる複眼光学系は、人間の視覚系やカメラに対応する単眼光学系と比較して薄型軽量かつ広角である利点が広く知られているが、工学応用上は他にも三次元計測実現性や光学設計自由度向上などの観点からも価値がある。本研究では、個別の眼が分離された構成(連立像眼)における三次元画像再構成及びその並列処理化を検討した。また、個別の眼が結合された構成(重複像眼)に着想を得た視野・被写界深度拡大イメージングシステムを提案し、さらに同システムがセンシングだけでなくプロジェクタにも応用可能であることを示した。また、連立像眼光学系がライトフィールド(伝搬方向情報を含む光線場)を計測していることに着目し、従来特殊光学素子を用いて実装されていた”瞳位相変調”を計算機内で実現する手法を考案し、提案手法の効果を瞳位相変調の応用の一つである被写界深度拡大イメージングの実験を介して実証した。

受賞
  1. コニカミノルタ科学技術振興財団賞 (2014.12)
  2. 第36回応用物理学会 講演奨励賞 (2014.5)
  3. 第8回 Optics & Photonics Japan ベストプレゼンテーション賞 (2012.10)
発表
  1. T. Nakamura, R. Horisaki, and J. Tanida, “Computational phase modulation in light field imaging,” Optics Express, Vol. 21, No. 24, pp. 29523-29543 (2013). [PDF]
  2. T. Nakamura, R. Horisaki, and J. Tanida, “Computational superposition projector for extended depth of field and field of view,” Optics Letters, Vol. 38, No. 9, pp. 1560-1562 (2013). [PDF]
  3. T. Nakamura, R. Horisaki, and J. Tanida, “Computational superposition compound eye imaging for extended depth-of-field and field-of-view,” Optics Express, Vol. 20, No. 25, pp. 27482-27495 (2012). [PDF]
  4. 中村友哉,香川景一郎,谷田純, “組み込み用並列プロセッサを用いた複眼カメラシステムにおける被写体距離推定処理の高速化”, 第17回画像センシングシンポジウム (SSII2011), IS4-04, (横浜, 2011.6). [SSII2011ハイライト発表採択]
  5. 中村友哉,香川景一郎,杉村武昭,下村英介,野田英行,谷田純,“複眼カメラシステムTOMBOにおける画像再構成処理の並列プロセッサMXによる高速化の検討”, LSIとシステムのワークショップ2010, pp.221-223, (北九州, 2010.5).