ディジタルエンタテインメント

全方位シアターからディジタルシネマのためのインスタンスキャスティングまで

全方位シアター

本論文では撮影者の主観的な視点から見た全方位映像を撮影するための新たな視覚システムを提案する．我々は従来の全方位カメラが考慮していなかった分解能の均一さや視線の一致という特性を満たすように光学系の設計を行った．提案システムの光学系はカメラと特殊に設計された曲面ミラーから構成される．曲面ミラーを用いてカメラの視野角を広げると同時にカメラ＝シーン間の射影を制御し，全方位にわたる均一な分解能を実現させた．またミラーを利用することで視覚系の仮想視点が装着者の視点位置に近づけられ，視線の一致度も高められている．さらに我々は試作機を用いて市街地や遊園地などの屋外シーンを実際に撮影し，撮影された主観視点全方位映像が十分に実用可能であることを確認した．

発表

K.Kondo, Y.Mukaigawa, Y.Yagi, “Wearable Imaging System for Capturing Omnidirectional Movies from a First-person Perspective”, In Proc. VRST2009, Nov., 2009.
近藤一晃, 向川康博，八木康史, “高臨場感仮想体験のための装着型全方位撮影システム”, 第52回自動制御連合講演会, F6-4, Nov., 2009.
近藤一晃, 向川康博, 八木康史, “主観視点全方位映像と三次元音場による高臨場感シーン再現”, 画像の認識・理解シンポジウム(MIRU2009), IS3-52, July, 2009.
近藤一晃, 向川康博, 八木康史, “主観視点全方位映像撮影のための装着型全方位システムの開発”, 第11回画像の認識・理解シンポジウム(MIRU2008), 7月, 2008.

顔肌の質感計測

人間の肌の特徴は年齢や性別によって異なる．本研究では年齢や性別によって異なる肌の特徴を約1000 名分の幅広い年代から得た大規模データベースを基に統計的に解析することで，肌に入射した光の反射・散乱特性が個人によってどのように異なるのかを調べることを目的とする．肌は半透明であり，肌への入射光は，表面で反射する反射光と肌の内部に入り込む散乱光の性質の異なる2 つの成分に分かれる．まず肌を撮影した画像を反射光成分と散乱光成分に分離し，両成分の比率を調べることで主に透明さを解析する．さらに反射光成分を拡散反射と鏡面反射に分離し，鏡面反射の強度を調べることで主に肌の脂っぽさを解析する．実際に肌の特徴を計測するために3 台のプロジェクタと2 台のカメラからなる計測システムを構築し，幅広い年代の男女の肌データを計測した．計測したデータを用いて反射光と散乱光から特徴量を抽出し，性別や年齢の違いによる肌の特徴を統計的に解析した．

発表

馬場葉子, 向川康博, 八木康史, “化粧と肌の２層構造からなる化粧肌反射特性モデル”, 第13回画像の認識・理解シンポジウム(MIRU2010), 7月, 2010.
馬場葉子, 間下以大, 向川康博, 八木康史, “大規模データベースを用いた肌の反射・散乱光の統計的解析”, 第12回画像の認識・理解シンポジウム(MIRU2009), 7月, 2009.
馬場葉子, 間下以大, 向川康博, 八木康史, “反射・散乱特性に基づいた肌の統計的解析”, 情報処理学会研究報告, 情報処理学会, no.2009-CVIM-167, 京都, May, 2009.

オンライン歩容個性計測

本論文では, 視聴者参加型デジタルエンタテインメントで用いるための歩容個性をオンライン計測し, 歩容個性をCG キャラクタへ反映する手法を提案する. まず歩容映像から容易に歩容シルエット画像列を抽出するため，クロマキー用背景及び照明を含む歩行路で構成されるオンライン歩容計測装置を設計する．次に, 得られたシルエット画像列から, 体型や身長のような歩容動作とは独立な静的特徴と, 歩幅や腕の振り幅のような歩容動作に関わる動的特徴を計測する. 一方，あらかじめ様々な歩容個性を持つCG キャラクタの体型と動作に関するパラメータをモーションキャプチャ等を用いて抽出し, そのパラメータによる合成シルエットを作成し，それらの対を標準モデルとして登録しておく．最後に，標準モデルをブレンドして視聴者の歩容個性を再現するために，標準モデルから抽出した歩容個性の重み付き線形和とオンライン計測した歩容個性の誤差を最小にするように重み(ブレンド率) を推定する．実験では大規模歩容データベース100 人に対する歩容個性解析を行い, CG キャラクタへ歩容個性が反映されることを確認した.

発表

M. Okumura, Y. Makihara, S. Nakamura, S. Morishima, and Y. Yagi, “The Online Gait Measurement for the Audience-Participant Digital Entertainment,” Proc. of Invited Workshop on Vision Based Human Modeling and Synthesis in Motion and Expression, Xi’an, China, Sep. 2009. [PDF]
S. Nakamura, M. Shiraishi, S. Morishima, M. Okumura, Y. Makihara, and Y. Yagi, “Characteristic Gait Animation Synthesis from Single View Silhouette,” Proc. of SIGGRAPH 2009 (Poster), New Orieans, Louisiana, USA, Aug. 2009. [PDF]
奥村麻由, 槇原靖, 八木康史, 中村慎介, 森島繁生, “視聴者参加型デジタルエンタテインメントのためのオンライン歩容個性計測”, 画像の認識・理解シンポジウム(MIRU2009)論文集, pp.1336–1343, 松江, 7月, 2009.[PDF]
奥村麻由, 槇原靖, 八木康史, 中村慎介, 森島繁生, “視聴者参加型デジタルエンタテインメントのためのオンライン歩容個性計測”, 情報処理学会研究報告, 情報処理学会, No. 2009-CVIM-167, No. 23, pp. 1–8, 京都, 6月, 2009.[PDF]