大阪大学　産業科学研究所　複合知能メディア研究分野

サイトマップ English

幾何学的解析

3次元再構成からカメラキャリブレーションまで

高密度なグリッドパターン検出によるワンショット動体形状計測

プロジェクタ－カメラシステムによる構造化光の投影による形状復元を，動的シーンに適用するには，複数パターンの投影を行う方法より，1 パターンのみの投影を行うワンショット手法が望ましい．著者らは，その解決手法として，縦横の線からなるグリッドパターンの交点を用いたワンショット形状計測法を提案してきた．従来手法では，交点情報のみによる解には曖昧性があり，一意に解を決めるには線間隔の粗密といった追加情報が必要であった．本論文では，2 台のプロジェクタから縦横の平行線を投影することで，追加情報無しに交点のみから一意解を得る手法を提案する．このようなシステムでは交点のみから，線形解法によって一意に解を決定することができるため，線間隔に粗密をつける必要がなくパターン密度を上げることが可能となる．さらに，複数のプロジェクタを用いることによって，パターンが遮蔽されて形状計測できない部分を大きく減らすことが可能である．

受賞
  1. The Fourth Pacific-Rim Symposium on Image and Video Technology, Best Paper Award “One-shot Entire Shape Acquisition Method Using Multiple Projectors and Cameras,” Ryo Furukawa, Ryusuke Sagawa, Hiroshi Kawasaki, Kazuhiro Sakashita, Yasushi Yagi, Naoki Asada, 16th November, 2010.
  2. 電気学会 優秀論文発表賞 “デブルーイン系列とBelief-Propagationを用いた高密度ラインパターン検出による高速動体の3次元計測手法”, 佐川立昌, 2010/4/1受賞．
  3. 第12回 画像の認識・理解シンポジウム MIRU2009，デモセッション賞 “デブルーイン系列とBelief-Propagation を用いた高密度ラインパターン検出による高速動体の3 次元計測手法”, 大田雄也，川崎俊央，佐川立昌，古川亮，川崎洋，八木康史，2009/7/22受賞
発表
  1. Hiroshi Kawasaki, Ryo Furukawa, Ryusuke Sagawa, Yuya Ohta, Kazuhiro Sakashita, Ryota Zushi, Yasushi Yagi, Naoki Asada, “Linear solution for oneshot active 3D reconstruction using two projectors”, In In Proc. Fifth International Symposium on 3D Data Processing, Visualization and Transmission, Paris, May, 2010.
  2. Ryusuke Sagawa, Yuya Ohta, Yasushi Yagi, Ryo Furukawa, Naoki Asada, Hiroshi Kawasaki, “Dense 3D Reconstruction Method Using a Single Pattern for Fast Moving Object”, In Proc. 2009 IEEE 12th International Conference on Computer Vision, pp.1779–1786, Kyoto, Sep., 2009.
  3. 大田雄也, 佐川立昌, 古川亮, 川崎洋, 八木康史, 浅田尚紀, “Belief-Propagationによる高密度なグリッドパターン検出及びデブルーイン系列を用いた高速動物体のロバストな三次元計測手法”, 電子情報通信学会論文誌 D, vol.J93-D, no.8, pp.1544-1554, 8月, 2010.
  4. 阪下和弘, 大田雄也, 頭師陵太, 古川亮, 川崎洋, 佐川立昌, 八木康史, 浅田尚紀, “複数プロジェクタを用いたワンショット動体形状計測のための線形解法”, 第13回 画像の認識・理解シンポジウム(MIRU2010), pp.633–640, 7月, 2010.
  5. 阪下和弘, 大田雄也, 川崎俊央, 佐川立昌, 古川亮, 川崎洋, 八木康史, “複数台のプロジェクタ・カメラを用いた動きのある物体の3次元形状計測システム”, 第16回画像センシングシンポジウム SSII2010, 6月, 2010.
  6. 阪下和弘, 大田雄也, 頭師陵太, 古川亮, 川崎洋, 佐川立昌, 八木康史, 浅田尚紀, “2台のプロジェクタを用いたワンショット形状計測システム”, 情報処理学会研究報告 UC研究会, 情報処理学会, 6月, 2010.
  7. 佐川　立昌, 大田　雄也, 古川　亮, 川崎　洋, 八木　康史, “デブルーイン系列とBelief-Propagation を用いた高密度ラ インパターン検出による高速動体の3次元計測手法”, 電気学会 一般産業研究会予稿集, pp.47-52, 徳島, 12月, 2009.
  8. 大田雄也, 川崎俊央, 佐川立昌, 古川亮, 川崎洋, 八木康史, “デブルーイン系列とBelief-Propagationを用いた高密度ラインパターン検出による高速動体の3次元計測手法”, 第12回 画像の認識・理解シンポジウム(MIRU2009), 7月, 2009.

近赤外構造化光投影によるテクスチャと形状の同時計測

動物体の形状とテクスチャを同時実時間計測する事は実世界志向ロボットの制 御や認識の分野での応用が期待できる．これを実現するセンサの開発において， 高速な形状計測，およびテクスチャの同時計測という２点が問題であった．こ れまで高速な形状計測法として，カラー構造化光を用いた一回の撮影での形状 計測手法が提案されている．この手法は高速な形状計測が可能であるが，可視 光を用いた構造化光であるため，テクスチャの同時計測は実現できなかった． そこで本論文では赤外光の構造化光を投影し，形状とテクスチャを同時に計測 するセンサを提案する．可視光をテクスチャ計測，赤外光を形状計測と用途別 に波長を分離することにより，同時計測を可能にした．また，テクスチャ計測 用のカメラと形状計測用のカメラを同軸上に配置することにより，テクスチャ マッピングにおいてオクルージョンが発生しないシステムを構築した．

発表
  1. Kiyotaka Akasaka, Ryusuke Sagawa, Yasushi Yagi, “A Sensor for Simultaneously Capturing Texture and Shape by Projecting Structured Infrared Light”, In Proc. The 6th International Conference on 3-D Digital Imaging and Modeling, pp.375–381, Montreal, Canada, August 21-23, 2007.
  2. 赤坂 清隆, 佐川 立昌, 八木 康史, “近赤外構造化光投影によるテクスチャと形状の同時計測センサ”, 画像の認識・理解シンポジウム論文集(MIRU2007), pp.678-683, 7月, 2007.
  3. 赤坂　清隆, 佐川　立昌, 八木　康史, “近赤外構造化光投影によるテクスチャと形状の同時計測センサ”, 情報処理学会研究報告, 情報処理学会, no.2007-CVIM-159, pp.81–88, 東京, 5月, 2007.

非剛体形状マッチング

形状計測を行い，観測対象をモデリングする従来の研究には静止した物体を扱う研究が殆どであった．我々はこの形状モデリングを運動・変形する非剛体に対しても行えるように拡張した．拡張には，高速に形状計測が行えるセンサと従来剛体に対して行われてきた形状間のマッチング手法の非剛体への適用という2つの問題点があった．高速に形状計測を行う問題に対しては，構造化光投影法と呼ばれるプロジェクタとカメラを用いたレンジセンサを近赤外光を用いて実装し，解決を図った．非剛体の形状マッチングについては，ラプラシアンによる初期変形と初期変形後にガウス・ニュートン法によるの最適化プロセスを実施する事で良好な変形を得る事が出来た．

発表
  1. Ryusuke Sagawa, Kiyotaka Akasaka, Yasushi Yagi, Henning Hamer, Luc Van Gool, “Elastic Convolved ICP for the Registration of Deformable Objects”, In Proc. 2009 IEEE 12th International Conference on Computer Vision Workshops (3DIM2009), pp.1558–1565, Kyoto, Oct., 2009.
  2. Ryusuke Sagawa, Nanaho Osawa, Yasushi Yagi, “Deformable Registration of Textured Range Images by Using Texture and Shape Features”, In Proc. The 6th International Conference on 3-D Digital Imaging and Modeling, pp.65–72, Montreal, Canada, August 21-23, 2007.
  3. 大澤　奈々穂, 佐川　立昌, 八木　康史, “テクスチャと形状の特徴量を用いたテクスチャ付距離画像の変形位置合わせ”, 画像の認識・理解シンポジウム(MIRU2007)予稿集, pp.672–677, 広島, 7月, 2007

異方性誤差分布を考慮した確率的位置合せ・統合手法

本論文では距離画像の位置合わせと統合を最尤推定問題として定式化する確率的な手法を提案する． まず，レンジファインダの誤差分布を分析し，視線方向に沿った正規分布としてモデル化する．位置合わせの際 にはEM アルゴリズム(Expectation Maximization) を用いてパラメータを推定するが，上記の誤差モデルを 仮定するとIterative Closest Point (ICP) 法の派生法をとして実装することが可能である．統合の際には最大 尤度を持つ符号付き距離を計算する．本手法では距離画像の各頂点間について複数の対応点をとるため，一対の 対応点を用いる方法よりも位置合わせや統合後の誤差が小さくなる．最後に，シミュレーションデータと実際の 距離画像を用いて提案手法の評価を行った．

発表
  1. Ryusuke Sagawa, Nanaho Osawa, Yasushi Yagi, “A Probabilistic Method for Aligning and Merging Range Images with Anisotropic Error Distribution”, In Proc. Third International Symposium on 3D Data Processing, Visualization and Transmission, Chapel Hill, USA, June, 2006.
  2. 大澤　奈々穂, 佐川　立昌, 八木　康史, “異方性誤差分布を考慮した確率的位置合せ・統合手法”, 電子情報通信学会論文誌D, vol.J90-D, no.8, pp.1868–1877, 8月, 2007.
  3. 大澤奈々穂, 佐川 立昌, 八木 康史, “異方性誤差分布を考慮した確率的位置合わせ・統合手法”, 画像の認識・理解シンポジウム論文集(MIRU2006), pp.758–763, 7月, 2006.

移動ロボットによる環境認識のための実時間距離画像位置合わせ

移動ロボットによる環境認識ではロボットの自己位置を推定すると同時に3次元環境モデルを作成する必要がある(SLAM問題).そこで,実時間レンジセンサから得られる距離画像を位置合わせすることにより,3次元環境モデリングとロボットの自己位置推定を同時に行う手法を提案する.本手法では,センサから得られる時系列距離画像を用いることで,外部センサや手動に頼ることなく実時間で距離画像の位置合わせを行う.位置合わせには IterativeClosestPoint(ICP)法の派生法を用いるが,ここにセンサ精度を考慮した重み関数を導入し,精度による誤差を軽減する手法を提案する.実験では,センサの性能と位置推定の精度についての分析を行った.また,実際に移動ロボットにレンジセンサを搭載し,実時間環境モデリングとセンサ軌道の推定を行った.

発表
  1. Ryusuke Sagawa, Nanaho Osawa, Tomio Echigo, Yasushi Yagi, “Real Time 3D Environment Modeling for a Mobile Robot by Aligning Range Image Sequences”, In Proc. British Machine Vision Conference 2005, vol.1, pp.330-339, Oxford, UK, September, 2005.
  2. 大澤 奈々穂, 佐川 立昌, 越後 富夫, 八木 康史, “移動ロボットによる環境認識のための実時間距離画像位置合わせ”, 計測自動制御学会論文集, vol.41, no.12, pp.989–997, 12月, 2005.
  3. 大澤 奈々穂, 佐川 立昌, 越後 富夫, 八木 康史, “移動ロボットによる環境認識のための実時間距離画像位置合わせ”, 画像の認識・理解シンポジウム論文集(MIRU2005), pp.777–783, 7月, 2005.
  4. 大澤 奈々穂, 佐川 立昌, 越後 富夫, 八木 康史, “移動ロボットによる環境認識のための実時間距離画像位置合わせ”, 情報処理学会研究報告, 情報処理学会, no.2005-CVIM-149, pp.111–118, 東京, 5月, 2005.

視差検出フィルタによる狭基線長全方位ステレオ

全方位の近接物体を検出するために，複眼全方位センサを用いた 近接物体検出手法が提案されている． この近接物体検出手法は，対応点探索を行わず， 無限遠対応点に同一物体が投影されているかどうかを判定することにより， ある一定距離以内に接近した物体を検出することができる． また，この手法を段階的に縮小した画像に適用することで， 近接物体までの距離を段階的に求める階層化近接物体検出手法も提案されている． これら手法は高速に近接物体を検出できるが， 物体までの距離は2値，あるいは数段階でしか得られなかった． そこで本論文では，視差検出フィルタによる視差検出手法を提案する． これは，様々なウィンドウサイズで平滑化した画像それぞれに対し， 輝度勾配による視差計測を行い，それらの結果を統合することで 入力画像における視差を求める手法である． 提案手法は輝度勾配を用いて視差を計測しているため，対応点探索を行う必要がない． そのため，複雑なエピポーラ線を持つシステムにも適用しやすく，計算量も少ないという利点を持つ． 最後に，試作した複眼全方位センサから得られる画像に提案手法を適用することにより， その有効性を確認した．

発表
  1. 佐川立昌, 八木康史, “狭基線長ステレオのための視差検出フィルタ”, 画像ラボ, vol.18, no.12, pp.53-57, 12月, 2007.
  2. 小嶋　裕一郎, 佐川　立昌, 八木　康史, “視差検出フィルタによる狭基線長全方位ステレオ”, 画像の認識・理解シンポジウム(MIRU2007)予稿集, pp.1105–1110, 広島, 7月, 2007.
  3. 佐川 立昌, 小嶋 裕一郎, 八木 康史, “狭基線長ステレオのための視差検出フィルタ”, 第13回画像センシングシンポジウム講演論文集, 画像センシング技術研究会, pp.IN3-22-1–5, 横浜, 6月, 2007.

複眼全方位センサを用いた自己運動推定

We propose a new egomotion estimation algorithm for a compound omnidirectional camera. Image features are detected by a conventional feature detector and then quickly classified into near and far features by checking infinity on the omnidirectional image of the compound omnidirectional sensor. Egomotion estimation is performed in two steps: first, rotation is recovered using far features; then translation is estimated from near features using the estimated rotation. RANSAC is used for estimations of both rotation and translation. Experiments in various environments show that our approach is robust and provides good accuracy in real-time for large motions.

発表
  1. Ngo Trung Thanh, Yuichiro Kojima, Hajime Nagahara, Ryusuke Sagawa, Yasuhiro Mukaigawa, Masahiko Yachida, Yasushi Yagi, “Real-time Estimation of Fast Egomotion with Feature Classification using Compound Omnidirectional Vision Sensor”, IEICE Transactions on Information and Systems, vol.E93-D, no.01, pp.152-166, Jan., 2010.
  2. Ngo, Thanh Trung, Nagahara, Hajime, Sagawa, Ryusuke, Mukaigawa, Yasuhiro, Yachida, Masahiko, Yagi, Yasushi, “Robust and Real-Time Egomotion Estimation Using a Compound Omnidirectional Sensor”, In Proc. 2008 IEEE International Conference on Robotics and Automation, pp.492–497, May 19-23, 2008.
  3. Trung Ngo Thanh, Hajime Nagahara, Ryusuke Sagawa, Yasuhiro Mukaigawa, Masahiko Yachida, Yasushi Yagi, “Robust and Real-time Rotation Estimation of Compound Omnidirectional Sensor”, In Proc. IEEE International Conference on Robotics and Automation, pp.4226–4231, Rome, Italy, April 10-14, 2007.

２つの平行光の観測による内部カメラパラメータの高精度なキャリブレーション

本論文では，透視投影カメラの内部パラメータ推定方法を提案する． 透視投影カメラの従来のキャリブレーション法では， 内部パラメータと外部パラメータを同時に推定するものであった． そのため，内部パラメータは外部パラメータの推定に依存する． しかしこれは，内部パラメータが外部パラメータから独立したものである， という事実に矛盾したものである． また，両方のパラメータを推定した場合でも， 実際には内部パラメータの結果しか利用しない場合も多い． 画像処理における誤差は内部，外部両方のパラメータによって吸収されるため， 内部パラメータのみしか用いない場合，十分な精度が得られない． それに対し本提案手法は，外部パラメータを推定そのものから取り除くことにより， 内部パラメータを安定に求めることができる． 本手法は，２つの平行光をどのような位置姿勢で観測しても， その光線間の相対角は不変である，という内部パラメータのみに 依存する拘束条件を利用して推定を行う． 実験においては相対角誤差の最小化によって内部パラメータが安定に 求まることを示し，さらに，本手法を用いると，推定結果の誤差および 入力データの縮退度を可視化することが可能であることを示す．

受賞
  1. 2008 IEEE International Conference on Robotics and Automation (ICRA2008), Finalist for Best Vision Paper “Accurate Calibration of Intrinsic Camera Parameters by Observing Parallel Light Pairs” Ryusuke Sagawa and Yasushi Yagi
発表
  1. Sagawa, Ryusuke, Yagi, Yasushi, “Accurate Calibration of Intrinsic Camera Parameters by Observing Parallel Light Pairs”, In Proc. 2008 IEEE International Conference on Robotics and Automation, pp.1390–1397, May 19-23, 2008.
  2. 佐川　立昌, 八木　康史, “２つの平行光の観測による内部カメラパラメータの高精度なキャリブレーション”, 情報処理学会論文誌 コンピュータビジョンとイメージメディア, vol.49, no.SIG6(CVIM20), pp.89–100, 3月, 2008.
  3. 佐川　立昌, 八木　康史, “２つの平行光の観測による内部カメラパラメータの安定なキャリブレーション”, 画像の認識・理解シンポジウム(MIRU2007)予稿集, pp.615–620, 広島, 7月, 2007.
  4. 佐川立昌, 八木康史, “２つの平行光の観測による内部カメラパラメータの安定なキャリブレーション”, 情報処理学会研究報告, 情報処理学会, no.2007-CVIM-158, pp.9–16, 鹿児島, 3月19日, 2007.

平行光間の角度不変性に基づく反射屈折撮像系のミラー位置姿勢校正

反射屈折撮像系において射影座標と実世界での座標系とを対応させるためには，ミラーの位置姿勢を正確に測定することが必要となる．位置姿勢の校正手法は様々なものが提案されてきたが，対象物を利用する方法では校正すべき未知パラメータが多くなるため，校正精度が下がってしまう問題があり，各ミラー形状固有の特徴量を用いた校正手法ではミラーの形状・位置に制約があるという問題があった．本論文では，相対角度が固定された平行光線を利用したミラーの位置姿勢校正手法を提案する．角度が不変な２つの平行光線を用いるためミラーの外部変数のみを考えれば良く，他のパラメータは最小化問題から除外される．提案手法はミラーの形状・取り付け位置に仮定をおかないため，２つの平行光線を観測すると，どのような形状のミラーでもその位置姿勢を推定することができる．最後に，提案手法の校正精度をシミュレーションにより評価する．

発表
  1. Ryusuke Sagawa, Nobuya Aoki, Yasushi Yagi, “Mirror Localization for Catadioptric Imaging System by Observing Parallel Light Pairs”, In Proc. 8th Asian Conference on Computer Vision, pp.116–126, Tokyo, Japan, Nov. 18-22, 2007.
  2. 青木　伸也, 佐川　立昌, 八木　康史, “平行光ペアの観測による反射屈折光学撮像系における鏡の位置姿勢推定”, 電子情報通信学会論文誌 D, vol.J92-D, no.5, pp.661-670, 5月, 2009.
  3. 中森　雄哉, 青木　伸也, 佐川　立昌, 越後　富夫, 八木　康史, “平行光間の角度不変性に基づく反射屈折撮像系のミラー位置姿勢校正”, 情報処理学会研究報告, 情報処理学会, no.2006-CVIM-154, 奈良, 5月, 2006.

平行光を用いた反射屈折撮像系におけるミラーの位置姿勢校正

本論文では，反射屈折撮像系を校正するために，それに含まれる鏡面の位置姿勢を計測する手法について述べる．反射屈折撮像系の校正はさまざまなパラメータの推定を含むが，ここでは撮像系に含まれる鏡面の位置姿勢推定に注目する．従来，単一視点を持つ反射屈折光学系についていくつかの手法が提案されてきたが，それらは鏡面の位置と形状に強い制約があった．それに対し，本論文では平行光源を用いて撮像系と観測対象との幾何学的関係を単純化することによって，鏡面の位置と形状に制約を設けずにその位置姿勢を計測する手法を提案する．撮像系に対して多方向から照射される平行光源を用いることにより，撮像系と観測対象の間の平行移動成分を未知パラメータから除去することができる．鏡面のモデルを用いて未知パラメータを含む形で予測される観測対象の射影像と，実際の撮像系で得られる射影像との誤差を最小化することにより，鏡面の位置姿勢を推定する．最後にシミュレーションと実画像を用いる実験によって，提案手法の精度を評価する．

発表
  1. Ryusuke Sagawa, Nobuya Aoki, Yasuhiro Mukaigawa, Tomio Echigo, Yasushi Yagi, “Mirror Localization for a Catadioptric Imaging System by Projecting Parallel Lights”, In Proc. IEEE International Conference on Robotics and Automation, pp.3957–3962, Rome, Italy, April 10-14, 2007.
  2. 青木　伸也, 佐川　立昌, 向川　康博, 越後　富夫, 八木　康史, “平行光を用いた反射屈折撮像系におけるミラーの位置姿勢校正”, 情報処理学会論文誌 コンピュータビジョンとイメージメディア, vol.49, no.SIG9(CVIM18), pp.115–123, 6月, 2007.
  3. 青木 伸也, 槇原 靖, 佐川 立昌, 向川 康博, 越後 富夫, 八木 康史, “平行光を用いた反射屈折撮像系におけるミラーの位置姿勢校正”, 情報処理学会研究報告, 情報処理学会, No. 2006-CVIM-152, pp.23–30, 大阪, 1月, 2006.

グレイコードパターンを利用したレンズ歪みの補正

本研究では，広角レンズによるレンズ歪み補正を，平面ディスプレイ上に表示したグレイコードパターンを利用することで，ディスプレイ座標系とカメラ画像座標系の対応関係となる変換マップ作成によって実現する．本手法は，従来手法と異なりレンズ歪みモデルを用いず，ディスプレイと画像の密な対応関係から，画像周辺部でも適応可能であり，単純な線形補間によって元画像から歪み補正画像への変換マップが作成可能となる利点がある．また提案手法は，変換マップを直接作成して歪みを補正するので，画像中心・アスペクト比・光軸からの傾き角のカメラ内部パラメータを必要としないのが特徴である．

特許
  1. 特願2004-041209: 内視鏡および内視鏡システム
  2. PCT/JP2005/002416: 内視鏡システム
発表
  1. Ryusuke Sagawa, Masaya Takatsuji, Tomio Echigo, and Yasushi Yagi, “Calibration of Lens Distortion by Structured-Light Scanning,” In Proc. 2005 IEEE/RSJ International Conference on Intelligent Robots and Systems, pp.1349-1354, August, 2005.
  2. 高辻誠也, 佐川立昌, 越後富夫, 八木康史, “グレイコードパターンを利用したレンズ歪みの補正手法”, 画像の認識・理解シンポジウム(MIRU2005), pp.174-180, 7月, 2005.[Presentation]