研究分野:コンピュータビジョン

Reconfiguration of Pan-tilt-zoom Cameras(パン・チルト・ズームカメラの視線制御に関する研究)

  • 研究者: Yildiz Alparslan Omer
  • 論文種別・提出年: 博士論文,大阪大学大学院基礎工学研究科,Mar.2015.

PTZ Camera   This dissertation describes methods and improvements on controlling Pan-tilt-zoom (PTZ) cameras for human tracking. It begins by dening the control of PTZ cameras as a decision problem and formulating the corresponding problem as a Bayesian risk minimization. Further improvements are developed by employing historical information, multiple time-step estimations and online decision making for multiple cameras.   

このページの先頭に戻る

赤外画像からのパッチベース可視光画像生成

  • 研究者: 若林 悠
  • 論文種別・提出年: 修士論文,大阪大学大学院基礎工学研究科,Mar.2015.

可視光画像生成   赤外カメラで取得した単一チャネルの画像を明るい環境で取得した可視光画像のようにカラー化することで、視認性を改善することができる.しかし,従来は赤外画像に対しどのように色を与えるかという部分に着目し,生成する可視光画像の輝度成分を推定していないため,可視光画像に存在しないテクスチャの発生や存在するはずのテクスチャの欠落,輝度の反転などの劣化が生じるという問題があった.そこで本研究では,同一シーンにおける異なる視点のカラー画像を参照画像として与えることで,合成する可視光画像の輝度成分と色差成分をそれぞれ推定し,赤外画像と同一視点での上記劣化の少ない可視光画像を生成する手法を提案する.
  提案手法は,色差成分の推定と比較して、輝度成分の推定により重きを置いている.一度,合成する可視光画像の輝度成分が推定され,この可視光画像と参照カラー画像の対応が得られれば,参照カラー画像の色差成分の情報を合成する可視光画像に容易に割り当てることができるからである.輝度成分の推定では,推定する輝度成分の全体構造は赤外画像と整合性を保ち,微細なパターンは参照カラー画像を基に構成することを考え,赤外画像に対する大局的な類似性と参照カラー画像に対する局所的な類似性を最大化するよう,エネルギー最小化の枠組で推定する.   

このページの先頭に戻る

偏光カメラ画像を用いた未知環境の映り込みに頑健な光沢物体のリアルタイム三次元姿勢推定

  • 研究者: 佐藤 博俊
  • 論文種別・提出年: 修士論文,大阪大学大学院基礎工学研究科,Mar.2015.

位置姿勢推定   画像中に写った剛体の三次元姿勢を推定する技術には,AR やVisual Servo 技術等の多くの応用例がある.近年,携帯情報端末機器の普及やロボットの家庭環境や公共空間といった一般的な環境への進出により,AR やVisual Servo 技術が一般の環境で実現可能であることが求められるようになってきた.一般的な環境には,コンピュータビジョンにとって都合の良い光沢性の無い物体だけでなく,光沢性の強い物体が数多く存在しており,光沢物体の周囲には様々な物体が散乱していることも想定される.こうした環境では光沢物体の表面に映り込みが生じ大きく見た目が変わるため,画像のみからそうした物体の姿勢を認識するのは本質的に難しい問題となる.制御されていない一般的な環境で剛体の三次元姿勢を推定するためには,未知の環境の下,受動計測で取得した単一カメラの画像を利用する手法が最も汎用性が高い.従来,物体に映り込む像を利用する手法が複数提案されてきたが,いずれも周囲の環境が静止しているか他のカメラ等で周囲の環境を逐一取得されていることが前提であった.
  本研究では,対象物体の三次元モデルが与えられているという条件で,画素単位で偏光情報が取得可能な偏光カメラにより得られる動画像から,環境の情報を使用することなくリアルタイムで安定に,光沢性の有無に関わらずに剛体の三次元姿勢を安定に推定可能な手法の開発を目的とする.   

このページの先頭に戻る

間歇的照明下における動きベクトル推定を用いた昼間化画像処理

  • 研究者: 吉山 仁望
  • 論文種別・提出年: 卒業論文,大阪大学基礎工学部,Mar.2015.

昼間化   危険な場所や狭い場所のように人間が直接足を運ぶことが困難な場所に,センサを取り付けたロボットを送り込むことで調査を行うという事例が増えつつある.遠隔操作を行うユーザにとって,周囲の状況や,調査対象の様子を視認するためには,視覚センサであるカメラからの映像が重要になる.暗闇においては,周囲を視認可能な映像を取得することができない.本研究では点滅点灯する間歇的照明を用いることで,低消費電力で長時間周囲を照らすことを可能にする.ただし,間歇的照明を用いると,照明の点滅がユーザの操作の妨げとなると考えられる.本研究では,間歇的照明下の映像を基にロボットを操作することを目標に,点滅点灯の影響を軽減し,視認性の高い映像を生成することを目指す.
  本研究では,間歇的照明下で撮影した低輝度と高輝度の領域がフレーム毎に異なる画像列から,2 枚の異なる画像において,それぞれの高輝度領域を合成することで,それぞれの画像中で点灯している照明が,同時に点灯しているような画像を生成する昼間化手法を提案する.撮影に用いるカメラは,遠隔操作ロボットに搭載することを想定しており,2 枚の画像間では被写体の位置や姿勢が異なることが予想される.そのため,カメラの移動を考慮した上で昼間画像を合成する.提案手法では,まず現在フレームの直前の高輝度領域を持つ画像から,現在フレームの画像への被写体の動きベクトルを算出し,現在の画像中の被写体の位置を推定する.次に,2 枚の画像の動きベクトルを基に,画像間で同じ被写体を写している領域を求め,より高輝度の領域の輝度値を用いて低輝度領域を補間することで昼間画像を生成する.   

このページの先頭に戻る

多視点三次元復元における空間周波数解析に基づくスケール推定

  • 研究者: 佐々木 貴之
  • 論文種別・提出年: 修士論文,大阪大学大学院基礎工学研究科,Mar.2014.

多視点三次元復元における空間周波数解析に基づくスケール推定   本研究では,異なる視点で撮影された複数画像からの立体復元において,物体固有の空間周波数を手がかりに,通常取得できないスケールを推定する手法を提案する.提案手法では,事前知識として,様々な物体をカテゴリ分類した上で,個々の物体のテクスチャとカテゴリ内の平均空間周波数が登録される.全体の処理は,画像中の特徴点の三次元位置を復元するStructure from Motion(SfM) 法を基にしており,撮影された環境から物体を抽出し,物体のカテゴリを識別した上で,空間周波数を算出することで,復元空間単位系でのスケールを定める.空間周波数の算出では,抽出された物体の画像をフーリエ変換することで,物体固有の空間周波数が算出される.以上の処理により,環境中の物体と詳細な形状モデルを位置合わせすることなしに,スケールを推定することができる.提案手法の有効性を示すために,概念実証プロトタイプを試作した上で,デスクトップ環境におけるスケール推定精度を検証した.実験により,環境中の繰り返しパターンをもつ物体が一定の成功率で認識されれば,mm オーダーでのスケール推定が可能であることを確認した.   

このページの先頭に戻る

二値系列を用いた間歇的照明法

  • 研究者: Bayarsaikhan Bilegsaikhan
  • 論文種別・提出年: 卒業論文,大阪大学基礎工学部,Mar.2014.

二値系列を用いた間歇的照明法   遠隔操作型のロボットの多くはカメラで周りの状況を撮影し,操縦者側に送ることで操作も可能にしている.そのため,カメラで撮影された画像の見えやすさが重要となる.人間が自分の周囲からの情報の多くを視覚から得ているのと同様,ロボットの操縦に対して,周囲の状況を撮影した画像が大変重要である.そこで,設置時間が短く済む電池内蔵式の多数の点滅光源を用い,カメラに対する光源の位置関係が未知である条件下で取得した画像列から、全光源が点灯しているときの画像を生成する.
  本研究では,線形独立を保つ二値系列の光源の点滅パターンを擬似乱数に基づき生成し,非同期点滅光源の同期ずれに対処するために,観測される可能性のある点滅パターンの全ての組み合わせで画像列を生成し,その画像列から真値の画像を抽出する.   

このページの先頭に戻る

拡散符号化光投影法による瞬時三次元形状復元

  • 研究者: 土屋 寛
  • 論文種別・提出年: 修士論文,大阪大学大学院基礎工学研究科,Mar.2013.

拡散符号化光投影法による瞬時三次元形状復元   物体の形状を計測することはあらゆる分野において必要不可欠な技術である.近年,工業分野を中心に静止物体に対する三次元形状復元が実用化されてきている.静止物体に対する形状復元手法の多くは,異なる時刻に撮影された複数のカメラ画像を用いているため,運動物体にこれらの手法は適していない.
  三次元形状復元手法のうち,形状復元に必要な情報を符号化した時不変のパターン光を対象物体に投影する手法は,単一カメラ画像から計測が可能であり運動物体の形状復元に適していると考えられている.しかし時不変のパターン光は複雑になる傾向があり,復号に高いコストが掛かるとされている.
  そこで本研究では,重畳投影をしても分離が可能な 2 次元パターン光を投影することで,運動物体の高密度で且つ高フレームレートな三次元形状復元を得ることを目的とする.本研究ではこのパターン光を拡散符号化光と呼び,マンチェスタ符号化された M 系列信号を元に生成する.カメラ画像を分割した各ブロック領域毎に計測対象面を平面近似し,ブロック領域の 2 次元ケプストラムから各拡散符号化光の投影パラメータを推定する.更に,ブロック間で情報伝播を行うことで投影パラメータの信頼性を高める.
  2 種類のシミュレーション実験を行った.64×64bit の拡散符号化光の分離を行った結果,識別可能な最小情報量は 8×8bit であった.提案手法のノイズ耐性を調べ,分散 60の自乗のガウスノイズ下においても重畳した拡散符号化光の識別率は 70% 以上を示した.実機実験では,なだらかな曲面に対して拡散符号化光の重畳投影を行い,正しく分離し形状計測が正しく行えることを確認した.   

このページの先頭に戻る

偏光解析による光沢物体のモデルベーストラッキング

  • 研究者: 佐藤 博俊
  • 論文種別・提出年: 卒業論文,大阪大学基礎工学部,Mar.2013.

偏光解析による光沢物体のモデルベーストラッキング   カメラ画像から光沢性の強い動物体の位置・姿勢を推定する技術は,実シーンに対してCG で描かれた仮想物体を重畳表示する拡張現実感に応用することが出来る.従来,一般的なカメラ画像からの光沢物体の位置・姿勢の推定には,物体に映り込む像を利用する手法が複数提案されてきたが,いずれも周囲の環境が静止しているか他のカメラ等で周囲の環境が逐一取得されていることが前提であった.また,偏光を用いた三次元計測法も提案されているが,光源や背景が制御された実験環境を前提としたものが多く,拡張現実感用途に応用する場合,初期位置・姿勢の推定や,未知のパターンが背景や物体表面に映り込むことにより生じる局所解の回避策等の課題が残されている.
  本研究では,画素単位で偏光情報が取得可能な偏光イメージングカメラにより得られる動画像から,動的で未知な光源環境下での光沢物体の位置・姿勢を推定することを目的とし,初期位置の推定法と局所解の回避策について提案する.提案手法では,偏光方向と偏光の強さの度合いを表す偏光度を用いる.偏光方向は反射面の法線方向に直交するため光源位置に依らない性質があり,偏光度は光沢物体上で高くなる性質があるため物体位置を容易に限定することが可能である.この性質を利用し,偏光イメージングカメラで取得した各フレームの画像から算出できる偏光度を初期位置推定に,偏光方向を最適化に用いる.最適化では,物体の三次元モデルから推定される画像上での偏光方向と観測される偏光方向との差を最小化する.その最適化計算では目的関数を繰り返し二次関数で近似することで局所解の回避を図る.実験では,光沢性が強く,映り込みの発生するガラス製の直方体に対して提案手法を適用し,動画像に対して,高い割合で一定精度の位置・姿勢が連続的に推定できることを確認した.   

このページの先頭に戻る

輝度バターン推定による赤外線画像のカラー化

  • 研究者: 若林 悠
  • 論文種別・提出年: 卒業論文,大阪大学基礎工学部,Mar.2013.

輝度バターン推定による赤外線画像のカラー化   赤外線カメラで取得した単一チャネルの画像を明るい環境で取得したカラー画像のようにカラー化することで視認性を改善することができる.しかし,従来はカラー化画像の輝度として赤外線画像が直接用いられたため,カラー画像に存在しないテクスチャの発生や存在するはずのテクスチャの欠落,輝度の反転などの劣化が生じるという問題があった.そこで本研究では,照明を加えて撮影した同一シーンにおける異なる視点のカラー画像を事前知識として参照し,この参照画像中の輝度成分のパターンをカラー化画像の輝度成分に,色差成分をカラー化画像の色差成分に転写することで,上記劣化の少ない赤外線画像と同一視点の画像を生成する手法を提案する.
  提案手法は,赤外線画像と参照画像間の対応点の算出,輝度成分の推定,カラー化の3つの処理に分けられる.まず,対応点の算出では、赤外線画像と参照画像の輝度成分に対しStructure-from-Motion法により対応する特徴点を抽出し,特徴点以外の画素は線形補間により画素対画素のおおまかな対応関係を得る.次に,輝度成分の推定では赤外線画像に対する大局的な類似性と参照画像に対する局所的な類似性を最大化する様に輝度値を推定する.大局的な類似性の評価には,赤外線画像を参照画像に合わせて輝度変換した画像とカラー化画像の輝度成分との間の残差の二乗和を,局所的類似性の評価には、カラー化画像の輝度成分画像上の局所領域と参照画像の輝度成分画像上の対応画素近傍の残差の二乗和を用いて同時に最小化する.最後に,カラー化画像の色差成分を算出するために,参照画像上の特徴点位置の色差をカラー化画像上の対応する特徴点位置の色差として与え,上記手法で求めたカラー化画像の輝度成分からLevinらの手法によりカラー化する.   

このページの先頭に戻る

One-shot 3D Photography Using a Smart Mobile Device and a Transparency Plate

  • 研究者: Ramy S. ELDelgawy
  • 論文種別・提出年: 修士論文,大阪大学大学院基礎工学研究科,Sep.2012.

One-shot 3D Photography Using a Smart Mobile Device and a Transparency Plate   Structured-light has been used a lot in recent years for 3D shape recovery from images. There are different techniques for this method of 3D acquisition. These techniques vary in their spatial resolution, temporal resolution, cheapness and their availability to the public. In this study we propose a novel technique that is cheap, can be used by anyone and has high temporal resolution. In our method we use a smart phone, which is used a lot now a day, and a transparency plate with a grid pattern printed over it for our 3D data retrieval. This method does not need any special or expensive equipment and is very easy to use.   

このページの先頭に戻る

Color Recovery of IR Image for Tele-Operated Robot

  • 研究者: Suthawan Jirandorn
  • 論文種別・提出年: テクニカルレポート,Aug.2012. [pdf]

Color Recovery of IR Image for Tele-Operated Robot   Tele-operated inspection robots have the potential to reduce workers various risks. One of the major problems is low visibility of grayscale images taken when the robot is exploring in a dark environment. The main purpose in this research is to extend the existing colorization method which generates colorized images from grayscale images using manually-given color cues.
  Our method consists of the following two phases. The rst is pre-acquisition of environmental landmarks and their colors as prior knowledge in a bright condition. In the second phase, in a dark condition during blackout, the feature points corresponding to the landmarks are detected in acquired frames and the frames are colorized with the landmarks colors. Then using the colorization algorithm to propagate colors based on the pattern of input grayscale image.
  In the experiment, we used a grayscale image converted from the ground truth color image and the color marks provided by an open source SLAM software, PTAM were given to the input image at the landmark positions.

このページの先頭に戻る

生体の触手構造を模倣した光ファイバ束による画像センサ

  • 研究者: 石川 恵子
  • 論文種別・提出年: 修士論文,大阪大学大学院基礎工学研究科,Mar.2012.

生体の触手構造を模倣した光ファイバ束による画像センサ   近年の画像センサの進歩は目覚ましく,コンピュータの能力向上と併せて,リアルタイム計測や遠隔操作によるデータ取得を必要としている様々な現場で用いられている.しかし画像センサは性能が大きさとコストに影響されることから,状況によっては性能の低い画像センサを使用せざるを得ない場合がある.
  本研究では生物に着目し,消費電力の低い低性能画像センサを,消費電力を抑えたまま画像センサの性能を向上させる手法の提案する.生物は進化の過程で高度に最適化されているため,効率な構造や機能を持つ.本研究では生物のうち,カタツムリとイソギンチャクの構造に注目し,それぞれを生体模倣したセンサを作成した.カタツムリ模倣型センサでは視野角の性能向上について実験を行い,イソギンチャク模倣型センサでは外部状況の推定する実験を行った.これら2つのアプローチの妥当性を検証した.   

このページの先頭に戻る

画素形状のランダム符号化による超解像処理の高性能化

  • 研究者: 笹尾 朋貴
  • 論文種別・提出年: 修士論文,大阪大学大学院基礎工学研究科,Mar.2012.

画素形状のランダム符号化による超解像処理の高性能化   本論文では,撮像素子の各画素を複雑で不均一な形状とすることで,複数の低解像度画像から高解像度画像を推定する超解像処理の性能・特性を改良する手法を提案する.
  本論文における超解像とは,複数枚の観測画像から高解像度の原画像を推定する画像処理手法である.現在,超解像に関するカメラ製品や研究は多く存在するが,どれも撮像素子における各画素の形状は矩形(正方形)のままであり,その内部に入射する光量の総和が画素値として出力されている.この方法では各画素のサンプリングは点サンプリングではなく有限の面積によるサンプリングとなる上,全ての画素の特性が同一であることから,正方形の畳み込みによって原画像の高周波成分が失われることになる.
  そこで本論文では,撮像素子の上に細かい黒色粉末を振りかけることで各画素のサンプリング関数(受光分布)のランダムなコード化を行い,正方形の畳み込みによる原画像の高周波成分の損失を低減する手法を提案する.ここで,黒色粉末を振りかけた場合,それぞれの画素の受光分布の形状は未知となる.そこで,複数の既知パターンをコード化済みのカメラにより撮影することで,それぞれの画素形状を推定する方法について示し,実験によりそれぞれの画素の形状を,画素間隔よりも高い解像度で求めることが出来ることを確認した.更に,推定したコードを用いて作成した超解像画像を評価し,従来の正方画素のカメラよりも超解像の性能が向上することを示す.   

このページの先頭に戻る

符号化開口を用いたDepth from Defocusとステレオ法の融合に関する研究

  • 研究者: 武田 祐一
  • 論文種別・提出年: 修士論文,大阪大学大学院基礎工学研究科,Mar.2012.

符号化開口を用いたDepth from Defocusとステレオ法の融合に関する研究   露出の過不足,ぼけ,ぶれは画像の三大失敗写真と呼ばれ,これらを取り除くために自動露出,オートフォーカス,手ぶれ補正などの技術が進歩して来た.しかし,この三要因については本質的なトレードオフがあるため,既存のカメラ系では適切な露光量でぼけやぶれを含まない写真を撮影することは難しい.しかし,撮影画像とその画像がどのようにぼけたかを知ることができれば,逆演算によってぼけやぶれのない画像を取得することができる.ぼけはレンズの開口形状とシーンの奥行きによって決まるので,画像から奥行きを推定することができればよい.また通常の円形の開口では画像情報の欠落が多い.そこで開口形状を工夫し,所望の通過周波数特性を持たせる符号化開口に関する研究が盛んに行われている.
  そこで本論文では,奥行き推定を行う手法であるステレオ法と Depth from Defocus 法,符号化開口を融合し,高精度な奥行き推定とぼけを取り除いた画像を得るシステムを提案する.ステレオ法の利点である高分解能な奥行き推定をベースに,ステレオ法では奥行き推定を行うことが難しい状況下でも Depth from Defocus と符号化開口の効果を取り入れることで,奥行き推定をロバストに行うことができる.さらに符号化開口の効果により高精度な逆演算を行うことができるため,高品質にぼけを取り除くことができる.   

このページの先頭に戻る

照明環境の特性に基づく反射現象の分類とモデル化に関する研究

  • 研究者: 森 隆浩
  • 論文種別・提出年: 修士論文,大阪大学大学院基礎工学研究科,Mar.2012.

照明環境の特性に基づく反射現象の分類とモデル化に関する研究   本論文では物体表面各点の輝度を決定づける反射現象と影が持つ性質に着目し, それに対して照明の方位や形状を変化させた複数の画像を解析することで, 反射光を構成する複数の反射現象を分離する手法と, これらの反射現象のうち鏡面反射の拡がり特性をモデル化する手法について述べる.
  第一の手法は, 物体色として観測される拡散反射が従う画像の線形性に注目することで, 照明方位の異なる複数枚の実画像から鏡面反射や影を分離し, 拡散反射成分のみを含む画像を生成する手法を提案する. 平行光源, 完全拡散反射面を仮定することで, 光源方向の異なる 3枚の基底画像の線形結合により, 任意光源方向の画像を表現することができる. この性質を利用すると, 非ランバート成分を含み照明方位が異なる4枚以上の入力画像から, 拡散反射成分のみを含む画像を推定できることが分かっている. しかし, 従来手法のアプローチには問題が残っていた. それは, 拡散反射だけではなく鏡面反射や影といった非ランバート成分を含む実画像から 3 枚を選択することで初期的な基底画像とするために, 変換生成された画像は不安定となり, 3 枚の基底画像の組み合わせに結果が大きく依存してしまうということであった. また, 従来手法では, 非ランバート成分を除去するのに組み合わせ最適化問題をランダムサンプリングにより解いているために長時間を要するという問題も持っていた.そこで, 我々は光学現象の分類を用いた新しい画素値変換アルゴリズムを提案する. 提案手法では, 実画像から拡散反射のみを含む 3 枚の理想的な基底画像を一意に生成することを可能にし, 安定的かつ高速に鏡面反射や影を除去した画像の生成を可能にする.
  第二の手法は, ランバート則に従う拡散反射と異なり, 物体表面の状態により光沢の拡がりの大きさや形状, 向きが様々に変化する鏡面反射を, 少ない画像取得枚数により高速にモデル化する方法を提案する. ここでは, 各点の反射を照明方位の空間周波数の応答ゲインとして計測することで高速化を図る. たとえばヘアライン仕上げの物体は単に荒い面であるというだけでなく, それぞれの小さな面が生じる鏡面反射の集まりによって反射光が構成されているために, 各点周囲の小面の向きの分布や面が磨かれた向き, 度合いにより反射光の指向性が変化する. このような物体に対して, 従来の BRDF 計測装置では物体表面各点の反射特性を独立に取得することは不可能であった. それに対し提案手法では, カメラで観測した画像上の各点について異方性の変角反射率分布を計測することが可能である.   

このページの先頭に戻る

拡張現実感システムによる周期構造を手がかりにした3次元計測

  • 研究者: 佐々木 貴之
  • 論文種別・提出年: 卒業論文, 大阪大学基礎工学部, Mar. 2012.

拡張現実感システムによる周期構造を手がかりにした3次元計測   本研究では, 単一カメラが運動することで生じる視差により立体復元を行う3 次元計測において, 計測対象の繰り返し構造を利用することで, 通常取得できないスケールを高精度に推定する手法を提案する.
  提案手法は, モバイル端末上での利用を前提に, 画像中の特徴点をフレーム間で対応づけるStructure from Motion(SfM) 法を基にしており,SfM 法により3 次元位置が推定された一部の特徴点間の距離を与えることで, 特徴点群全体のスケールを決定する. このとき, 特徴点の検出位置と距離を与える箇所が一致せず, これにより生じるスケールの誤差が対象全体の3次元計測結果に影響を与える. そこで, 提案手法では, フーリエ変換によりシーンの周期構造を抽出し, 特徴点が空間的に繰り返し検出される箇所と対応づけることにより, 個々の対応の位置ずれによる誤差を平均化し, スケール推定の精度向上を図る.
  実験では, ウェブカメラを用いて, 計測した特徴点を選択及び2 点間の距離をカメラ映像上に重畳表示できる拡張現実感システムを試作し, 紙面にプリントしたパターンと繰り返し構造を含む実シーンに対して, 提案手法の有効性を検証した. 紙面上のパターンを用いた実験では, 人手により映像上の2 か所を選択しスケールを推定する方式と, パターンが既知のマーカを自動検出する方式の2 つを試した. 両方式で単純に2 つの特徴点を指定してスケールを決定するよりも, 提案手法を利用する方が, 統計的に有意な差で精度が高いことが分かった.実シーンでの実験では, タイル及びキーボードの繰り返しパターンに対して提案手法によるスケール推定が可能であることを確認した.   

このページの先頭に戻る

視点と露光量が任意な画像群からのデフォーカスコントロール

  • 研究者: 楠本 夏未
  • 論文種別・提出年: 修士論文, 大阪大学大学院基礎工学研究科, Mar. 2010.

視点と露光量が任意な画像群からのデフォーカスコントロール
  同じシーンを撮影した視点位置が疎で不規則な複数枚の画像と,露光量の異なる任意視点画像から被写界深度や焦点面の配置を変更し,それによって生じるぼけの強さや形状を調節できるシステムを提案する.現在,画像の焦点面や被写界深度を撮影後に変更するような研究は多く存在するが,特殊な撮影機器や撮影方法を必要とする.これによって機材を保有する人に撮影者が限定されたり,撮影の機会が限定されてしまう.しかし,普及率が高く,どこへでも手軽に持ち運びできる小型のデジタルカメラでは,設計上十分な大きさのぼけを得る事が出来ず,主要被写体を引き立たせるような作画が出来ない.そこで本論文では,特殊なカメラやレンズを必要としない簡単な方法で撮影した画像から,ユーザの意図した「ぼけ」を含む写真を作成する手法を提案する.これにより,より多くの人がデフォーカスコントロールを手軽に楽しめるシステムの実現を目的とする.従来の焦点面や被写界深度の変更に関する研究は,大きく1) カメラアレイなど,特殊な機器で撮影した多数の画像を重ね合わせるような“light field”の獲得を前提とする方法,2) ステレオ法などを用いて求めた奥行きを利用してぼかすような,シーンのモデル化に基づく方法,の二つに分ける事ができる.しかし,前者のアプローチは特殊な撮像機器や補助機器を必要としており,システムの利用機会,利用者などが著しく制限される.一方,後者のアプローチはシーンのモデル化の精度に限界があるため,これが生成画像の品質に悪影響を及ぼす.そこで本論文ではImage Based な手法の考え方を軸に,カメラパラメータの自己校正や幾何拘束に基づく任意視点画像作成,視点位置及び露光量の異なる画像間でのハイライト部分の対応付けといったコンピュータビジョン分野の手法を組み合わせる事で,撮影時において精密なカメラ制御が不要で,手持ち撮影により得た画像を入力として用いる事ができる,デフォーカスコントロールを実現する手法を提案する.実験の結果,提案手法により,コーナー特徴点のみを利用していた従来の合成開口法よりも滑らかなぼけが再現できる事を確認した.更に,従来手法よりもオクルージョンに強く,シーンの形状に即した画像が生成できることを確認した.また,画像上の光量飽和領域の光量を短時間露光画像から復元する事により,シーン中の光源などの光量が飽和した部分のぼけを良好に再現する事が出来た.
  

このページの先頭に戻る

既知形状物体の観測による光源方位と拡散反射率のロバスト同時推定

  • 研究者: 立川 雄大
  • 論文種別・提出年: 修士論文, 大阪大学大学院基礎工学研究科, Mar. 2010.

既知形状物体の観測による光源方位と拡散反射率のロバスト同時推定
  近年,写真に代わり実物体の3 次元情報を蓄積・提示する計算機システムは様々な分野において利用されている.例えば劣化や損傷が進む歴史的文化財を記録し保存するディジタルアーカイブは大規模な建築物から小さな出土品までを対象として盛んに行われている.中でも3 次元形状は様々な視点からの見えを提示するうえで必要不可欠な情報であるが,その形状情報だけではリアルな画像を再現し提示することはできない.物体表面には固有の反射特性があり,それを基に光の反射をシミュレートすることでリアリティのある画像を再現し提示できる.つまり,物体の幾何的情報と光学的情報の双方を物体の計測により得る必要がある.実物体の3 次元形状を計測する手法については古くから盛んに研究が行われ,現在はレーザレンジファインダ等の計測装置も多く販売されており,これらを用いることで詳細な形状を取得することができる.しかしそれに対し,物体表面全体の反射特性の分布を取得することはより困難である.本論文では形状が既知の物体を異なる照明条件において撮影した2枚の画像から,それぞれの光源方位と物体表面の拡散反射率分布を同時に推定する手法を提案する.提案手法では反射率と照明条件の双方が未知であっても,法線が既知で照明条件が共通の点が5点以上あれば成立する拘束条件を推定に用いる.このとき,鏡面反射や影が外乱として働き誤差を生じる原因になるが,RANSAC を用いて外れ値に対しロバストな推定をすることによりこれらの影響を避ける.シミュレーションといくつかの実物体での実験の結果,鏡面反射や影を含む物体でも拡散反射率と光源方位の推定が可能あることが確認できた.形状既知の場合でも,反射率と光源方位の同時推定は入力画像の枚数が1 枚では不定性が生じ推定が不可能であることから,本論文の提案手法で必要とする画像枚数である2 枚は最小の画像枚数となる.3 枚以上の画像を必要とする他の多くの手法では各光源への方位ベクトルが同一平面上にあるような光源環境下での推定が困難であったが,本論文の提案手法は2 枚の画像で推定できることから,太陽光のようにほぼ平面上を移動する光源環境下での推定が可能であることが実用上の利点である.
  

このページの先頭に戻る

スリット型レンジファインダの把持走査による3 次元形状の統合

  • 研究者: 中井 裕文
  • 論文種別・提出年: 修士論文, 大阪大学大学院基礎工学研究科, Mar. 2010.

スリット型レンジファインダの把持走査による3 次元形状の統合
  本研究では遺跡計測を簡便化するべく,光飛行時間測定法に基づく小型レーザレンジファインダを用いたハンドヘルド型計測システムを提案する.従来のハンドヘルド型計測システムは計測器にマーカや磁気センサなどの位置姿勢取得センサを装着し,計測器の運動を推定することで形状を復元するのが一般的な方法であった.しかし遺跡はさまざまな環境に存在するものであるため,各位置姿勢取得センサが不向きな環境によっては,正確にセンサの運動が推定できない可能性があり,計測精度の悪化に起因してしまうという問題がある.一方,光飛行時間測定法の小型レーザレンジファインダを用いる利点は,奥行き情報を直接計測法に基づいて出力することで,環境光に対してロバストであるという点であり,考古調査現場での計測に適していると言える.システム実現に当たって,本研究で解決すべき重要な課題はレーザレンジファインダの運動パラメータを推定し,時系列的に出力される断面距離データを正確に世界座標でアライメントすることである.問題解決のために本研究では固定カメラを一台設置し,カメラの幾何学に基づいてレーザレンジファインダの運動パラメータを推定する.そして,断面距離データを世界座標に座標変換することで形状を復元する.さらにこの手法を拡張し,スリット曲線の集合が生み出す交点に基づいて,レーザレンジファインダと世界座標との位置関係を再構成し,統合する手法も提案する.
  

このページの先頭に戻る

Indoor Navigation System using ID Modulated LED Tube Lights

  • 研究者: 李 昶
  • 論文種別・提出年: 修士論文, 大阪大学大学院基礎工学研究科, Mar. 2010.

Indoor Navigation System using ID Modulated LED Tube Lights
  Nowadays GPS has been widely used in outdoor positioning. However, the errorgets to dozens meters and the ratio could not reach inside building and tunnel. Thispaper presents the design, implementation, and evaluation of a novel camera-basedinformation transmission system for indoor positioning and navigation. This systemtakes advantage of high-intensity LED tube, which is expected to be mainillumination source for the next generation because of its lower power cost and longerlifetime compared to traditional fluorescent, as the optical maker. LED tubes areencoded to transmit ID information without controlled circuit and the information isreceived by one normal camera. This system is of particular benefits of infrastructureconsumption and portable terminal. In order to estimate the exact 3D position andattitude, we employ units of two parallel LED tubes. The position of user in the worldcould be calculated by the relative position from unit of LED tubes and the position ofthis unit which is stored in database with the index of its ID number. Result ofexperiment shows the accuracy of this system both about location and attitude issuitable for most applications.
  

このページの先頭に戻る

超解像のための画素形状のコード化に関する研究

  • 研究者: 笹尾 朋貴
  • 論文種別・提出年: 卒業論文, 大阪大学基礎工学部, Mar. 2010.

超解像のための画素形状のコード化に関する研究
  近年,CCD やCMOS センサなどの撮像素子の微細化が進んでおり,コンパクトデジタルカメラや携帯電話搭載のカメラなどの小型なカメラでも解像度が飛躍的に向上している.しかしCCD などの撮像素子は画素数が大きくなるほど読み出しに時間がかかる,感度が低下するためぶれやすくなるなどの問題があり,動物体の撮影が困難になる.この問題の一つの対処法として超解像により画素数の小さい撮像系を用いてセンサの解像度以上の高解像度画像を得ることが望まれる.ここで本研究における超解像とは,複数枚の低解像度画像と画像間の位置ずれ情報が与えられたときに,高解像度画像を再構成する処理のことをいう.この技術は,セキュリティー防犯分野では犯人や車のナンバーが映し出された防犯カメラ映像を,医療分野では患部のデジタル画像を鮮明化・高画質化するために利用されている.しかし,現在,超解像に関するカメラ製品や研究は多く存在するが,どれも撮像素子における各画素を矩形(正方形)のままで扱っている.この方法では各画素のサンプリングは点サンプリングではなく有限の面積内の平均となってしまい,正方形の畳み込みによって原画像の高周波成分が失われることになる.従来は失われた情報を何らかの先験的知識を用いて推定することで解像度を向上させていたが,入力画像と使用した知識が異なるとき生成した高解像度画像は誤ったものとなる. そこで本研究では,互いに僅かな位置ずれを持つ複数の画像から,より高解像度の画像を求めるマルチフレーム超解像において,画素形状をランダムとすることにより高性能化を図る方法を提案する.撮像素子上に微細な黒色粉末(レーザプリンタのトナーなど)を散布するなどの方法により画素の受光パターンをランダムにコード化し,これにより高周波成分の損失を抑制することでノイズの増加を抑えつつ,矩形画素を持つセンサよりも解像度を向上させることができることをシミュレーション実験により確認した.
  

このページの先頭に戻る

符号化開口を用いたステレオ法の頑健化

  • 研究者: 武田 祐一
  • 論文種別・提出年: 卒業論文, 大阪大学基礎工学部, Mar. 2010.

符号化開口を用いたステレオ法の頑健化
  画像を入力として距離計測を行うステレオ法において,計測精度は対応点探索の精度に大きく依存する.そのため,対応点探索をより正確に行うアルゴリズムが数多く研究されてきた.しかし,カメラに対して相対的に小さいシーンにおいては,被写界深度が浅くなるため,ぼけにより対応付けが不安定となる.また,ぼけの大きさは合焦面からの距離が大きくなるほど大きくなる性質がある.そこで,本研究ではレンズの開口部を符号化することにより,ぼけによるテクスチャ情報の損失を抑制し,ノイズに対してより頑健なステレオ計測を行うことを目的とする.ステレオマッチングにおいては物体表面のテクスチャなど,画像中の高周波成分が欠落していないことが望ましいので,用いる符号には一様な通過周波数特性を持つものがよい.そこで本研究ではM系列を用いて符号化した.実験を通して,符号化開口を用いることによりマッチングの評価値が,一般的な開口を用いた場合より急峻となり,ノイズを付加したシミュレーションにおいてマッチング誤差が小さくなることが確認された.
  

このページの先頭に戻る

鏡面・拡散反射成分分離のための照明パターンの最適化

  • 研究者: 森 隆浩
  • 論文種別・提出年: 卒業論文, 大阪大学基礎工学部, Mar. 2010.

鏡面・拡散反射成分分離のための照明パターンの最適化
  物体表面で反射する光を, その成分ごとに分離すること, いわゆる反射成分の分離は, 三次元形状計測, 反射モデルパラメータの推定, 物体認識などのための基礎技術として重要である. 例えば, 鏡面・拡散反射成分を分離し, 拡散反射成分だけを含む画像を取得することができれば, ディジタルアーカイブのための形状計測精度や, 顔認識の識別精度を上げることが可能である.反射成分の分離における従来手法は, 拡散反射成分と鏡面反射成分の色の違いを利用する手法, 偏光を利用する手法, 拡散反射成分の自由度に基づく手法, 高周波照明パターンを用いる手法の四つの手法に大別される. そのうち高周波照明パターンを用いる手法では, 色空間解析や偏光板, 基底画像を必要とせず, 任意の色の対象物体に用いることが出来るが, 様々な物体形状や表面反射特性に応じて照明パターンの間隔や種類をどのように変化・決定する必要があるのかは明らかになっていないのが現状である.そこで本論文では, 暗室環境下で高周波照明パターンを用いて鏡面・拡散反射成分を分離する際に, 対象物体の形状や表面反射特性に応じて照明パターン間隔を自動的に調整する手法を提案する. 提案手法では, 対象物体の形状や表面反射特性は未知であり, 前処理としてグレイコードパターンを投影することにより得られたディスプレイ画素とカメラ画素の対応関係から, 適切な照明パターン間隔を算出している.提案手法を用いることにより, 対象物体に応じた適切な照明パターン間隔を自動決定することができ, その結果, 対象物体の鏡面・拡散反射成分を精度よく分離できていることを実験により確認した.
  

このページの先頭に戻る

動的環境における未知事象検出に関する研究

  • 研究者: 川端 聡
  • 論文種別・提出年: 博士論文, 大阪大学大学院基礎工学研究科, Mar. 2008.

動的環境における未知事象検出に関する研究
  ある事象が未知であることを,その事象のみから説明することは不可能である.一方,ある事象が既知であるか否か,つまり「過去に経験したか否か」という問いに答えることは可能である.これは過去に経験したことを既知とし,その事象と比べることができるためである.従って,ある時点までに生起した事象を集め,それにより構築したデータベースに新たに生起した事象が含まれるか否かを正しく判定することができるならば,その事象が既知か未知かを知ることができる.本論文は画像列として与えられた既知の事象をつぶさに記述することで,未知事象を含む画像からその領域を選り分け検出する枠組みを示すものである.具体的には画像を高次元空間中の特徴量とみなし,それに部分空間を当てはめることで既知事象のモデル化を行う.この部分空間は,既知事象の画像列に対する主成分分析で算出される固有基底によって構成される.つまりこの部分空間は,平均二乗投影誤差を最小にするという意味で最適なものである.そしてこの空間内において未知物体により隠蔽された領域を実時間で推定するための枠組みとして,高速に推定が可能な繰り返し投影法を提唱する.更に非線形射影によって画像空間の既知事象を高次元或いは無限次元の特徴量へ変換すると,この特徴空間における部分空間は画像空間における部分空間より既知事象を精細に記述できることを示す.この際,カーネル主成分分析などで用いられるカーネルトリックを適用することによってこの高次元特徴空間上での演算を回避しつつ,提案する繰り返し投影法を非線形特徴量を扱う高速な推定法へと拡張する.最後に未知物体領域のシルエットを利用した未知事象検出として,特定領域への侵入を判定するシステムを提案する.ここでは3次元空間中における未知物体の侵入状態が射影変換に対して不変であることを利用し,未較正カメラによる射影復元によって煩雑な較正作業を回避できることを示す.
  

このページの先頭に戻る

カーネル主成分分析による事例学習に基づく陰影からの形状推定

  • 研究者: 川中 昇平
  • 論文種別・提出年: 修士論文, 大阪大学大学院基礎工学研究科, Mar. 2008.

カーネル主成分分析による事例学習に基づく陰影からの形状推定
  3次元コンピュータグラフィックス (3DCG) による動的な3次元情報提示技術は,静止画像よりも人間に高い現実感を提供する.3DCG では対象を視点を変更させて見ることができ,陰影の変化やハイライトの移動から金属やプラスチックといった物体特有の質感を得ることで物体のより詳細な情報を認識することができる.したがって,近年では 3DCG の用途はアニメ,ゲームのみならず,カーナビゲーションや仮想観光システム,医療など様々な分野に応用されているが,物体やシーンの色・形状情報や物体表面の反射特性,環境の光源分布などのレンダリングパラメータの取得コストの高さがその普及を妨げている.特に映像描画部分では物体表面の凹凸や法線方向を利用して現実感のある表現が可能となっているが,このような情報をレンジファインダなどにより対象物全体にわたり取得するためには非常に大きな労力が必要であるため,簡易な形状計測法が必要とされている.2D の静止写真から形状を推定する研究は古くから行われているが,表面の反射が拡散反射,表面が滑らか,光源位置が既知,などの拘束条件を仮定して物体の反射率分布と表面の傾きの関係を線形的に表すことで,解析的,演繹的に解くことが多かった.一方,人間は写真のような静止画像からでも物体・シーンの形状や反射特性を想像することができるが,これは人間が様々な環境の中で視覚情報と 3 次元形状,反射特性との対応を事例ベースで日々学習しているからである.したがって,多くの事例を学習することで画像の色情報から帰納的に物体の形状を推定することが可能であると考えられる.そこで本論文では表面の色と法線との相関性を非線形主成分分析を用いて学習することで,光源位置,反射特性が未知の物体表面の法線方向を推定する.実験の結果,拡散反射などの単純な物体のみならず,鏡面反射や異方性反射などの複雑な反射をする物体の表面の法線方向を視覚的に良好に推定することができた.
  

このページの先頭に戻る

2平面の距離計測に基づく3次元環境モデル生成

  • 研究者: 高田 健吾
  • 論文種別・提出年: 修士論文, 大阪大学大学院基礎工学研究科, Mar. 2008.

2平面の距離計測に基づく3次元環境モデル生成
  コンピュータの処理能力の向上に伴い,複合現実感やディジタルアーカイブなど様々な分野において,3次元環境モデルを利用する機会が増加している.現状ではそれらのモデル生成を手作業に頼っている部分が多く,実環境の計測から簡単にモデルを生成する手法への期待が高まっている.環境の3次元形状計測を行う場合,計測装置に対し背面となる領域の形状は取得できないため,欠損のない環境モデルの生成には,少なくとも複数回のレンジファインダの移動が必要となる.移動が必要であるのならば,一回の計測から広域の距離画像を取得するレンジファインダを用いなくとも,より小型で安価な平面内の距離を取得するレンジファインダを,移動させながら計測することによって対象の3次元モデルを取得できる.そこで本研究では2台の平面計測レンジファインダを用いて,1台の計測値から平面に沿った3自由度運動を推定し,他方のレンジファインダから得た距離情報を統合することから環境モデルを構築する手法について検討する.また一般的な環境下では段差や斜面などが存在し,そのような環境において,平面に沿う運動制約のもとでは移動できない領域が生じる.そこで初期計測点において周辺環境モデルを構築し,それに2平面内の距離計測結果を位置合わせすることにより,計測器を制約なく6自由度運動させながら3次元環境モデルを計測するシステムの構築を目指す.
  

このページの先頭に戻る

表面下散乱の抑制による三次元形状計測の高精度化

  • 研究者: 古瀬 達彦
  • 論文種別・提出年: 卒業論文, 大阪大学基礎工学部, Mar. 2008.

表面下散乱の抑制による三次元形状計測の高精度化
  計算機による物体形状の蓄積や処理は様々な分野で必要とされている.それに伴い近年,三次元形状計測のニーズが高まっている.そのため様々な計測手法が提案され,産業分野で実用化されているものもある.三次元形状計測のうち光を用いた方法では,物体の表面で光が反射されることを前提に,投影光に対する反射光の位置を観測することによって計測を行なっている.しかし光の反射は複雑な現象であり,必ずしも物体の表面に光が入射した位置のみで反射するとは限らない.一般に物体の表面で反射された光には直接反射成分と間接反射成分が含まれる.直接反射成分とは投影した光が物体の表面に達し,その点で反射する光のことを言う.一方,間接反射成分とは投影した光が物体の表面に到達した点とは異なる点から射出される光のことを言う.よって半透明物体など間接反射成分を含む物体では投影した点と反射した点の位置がずれるため計測精度が悪化する.そこで本研究ではスリット光投影法において間接反射成分のうち表面下散乱や相互反射を抑制することにより精度よく計測を行う方法を提案する.これにはまず直接反射成分と間接反射成分を分離する必要があるが,その方法としては空間的な高周波パタンを投影する手法を用いる.本研究ではスリットを点線状にすることによって高周波パタンとすることで高精度化を図る.また高周波パタンにより計測精度が向上することを示すだけでは,様々は種類の物体に対し,具体的にどのような高周波パタンを用いれば効果的であるのかはわからない.そのためM系列を利用したスリット光を用いて,スリット光投影時の表面下散乱の影響についても解析を行い,最適な高周波パタンを求める.
  

このページの先頭に戻る

合成開口撮影法によるデフォーカスコントロール

  • 研究者: 楠本 夏未
  • 論文種別・提出年: 卒業論文, 大阪大学基礎工学部, Mar. 2008.

合成開口撮影法によるデフォーカスコントロール
  本論文では,一般的なコンパクトデジタルカメラを使って撮影した複数の画像からぼけを作り出し,ユーザが撮影後自由にぼけの強さや配置を調節することができるシステムを提案する.現在,デフォーカスコントロールに関するカメラ製品や研究は多く存在するが,どれも特別な機材や撮影法を必要とする.これによって機材を保有する人に撮影者が限定されたり,撮影の機会が限定されてしまう.しかし,どこへでも手軽に持ち運びでき,普及率の高い小型のデジタルカメラでは,十分なぼけを得ることが出来ず,主要被写体を引き立たせるような作画が出来ない.そこで本論文では,特別なカメラやレンズを必要とせずコンパクトデジタルカメラのみを使用し,簡単な方法で撮影した複数視点からの画像群をもとに,ユーザの意図した「ぼけ」を含んだ写真を,撮影後,合成開口撮影法により作り出す手法を提案する.これによって,より多くの人が手軽にデフォーカスコントロールを楽しめるシステムの実現を目的とする.従来の合成開口撮影法に関する研究では,ぼけの美しさの追求や評価が十分になされていない.そこで本研究では,ぼけの生成段階で様々な「ぼけ味」を作り出すことも目的とする.奥行き情報や撮影点の位置関係を利用することによって,ぼけの大きさや形状,重み付けの変化を行い「ぼけ味」に変化をつける.以上のようなシステムを構築し,そのシステムで作成したぼけ画像を評価することで,提案システムの有効性を確かめた.その結果,提案システムでは実際の口径で得られるぼけより大きなぼけを得ることができ,従来の合成開口法によるぼけよりも滑らかで多様なぼけを得ることができた.また,作成した画像の評価実験からは,意図したぼけが生成されたことを確認し,ぼけ像の変化に対する人間の知覚についての知見を得た.
  

このページの先頭に戻る

ハンドヘルド型レンジファインダとカメラを用いた3次元形状計測

  • 研究者: 中井 裕文
  • 論文種別・提出年: 卒業論文, 大阪大学基礎工学部, Mar. 2008.

ハンドヘルド型レンジファインダとカメラを用いた3次元形状計測
  遺跡や文化財などの形状や色,文字をデジタル保存するデジタルアーカイブの需要が高まってきており,特に近年の計測器の進歩,普及によって遺跡,文化財の3次元計測技術はデジタルアーカイブの有力な手段として注目されている.しかし,遺跡の中には足場が悪く,狭い場所が多く存在し,構成要素が固定された大型のレンジファインダではデータ統合のための満足な情報を取得できない可能性がある.大型計測器の設置が困難な場所にある遺物や狭い通路や3次元形状取得のためにハンドヘルド型の計測器を用いる方法が考えられる.従来のハンドヘルド型計測システムは計測器にマーカや磁気センサなどの位置姿勢取得センサを装着して計測器の運動を推定しながら3次元形状を取得するというのが一般的な方法であった.しかし遺跡はさまざまな環境に存在するものであるため,各位置姿勢取得センサが不向きな環境によっては,正確にセンサの運動が推定できない可能性があり,計測精度の悪化に起因してしまうという問題がある.本研究では,上記2つの問題を解決するために,ハンドヘルド型レンジファインダと固定ビデオカメラを用い,位置姿勢推定センサを使用せずに3次元形状計測を行う手法を提案する.ハンドヘルド型レンジファインダと固定ビデオカメラから逐次距離データとスリット細線を取得し,データどうしの対応関係を求めることによって得られる射影変換行列からハンドヘルド型レンジファインダの位置姿勢を推定するという方法である.このシステムを用いることによって遺跡内における計測が困難な場所において環境にある程度依存しないハンドヘルド型計測器でリアルタイムに3次元形状を取得できると考えられる.本論文では提案手法を用いてオフラインでデータ統合を行う試作システムを構築し,簡単な形状を持つ物体の3次元形状が計測可能であることを示した.
  

このページの先頭に戻る

爪画像を用いた指先接触判定

  • 研究者: 杉田 尚基
  • 論文種別・提出年: 卒業論文, 大阪大学基礎工学部, Mar. 2008.

爪画像を用いた指先接触判定
  従来,ディスプレイは一方的に情報を提示するものであった.しかし近年,ユーザがディスプレイ表面に対して働きかけを行うことができるインタラクティブディスプレイが,我々の身の回りにも普及してきている.インタラクティブディスプレイは,ディスプレイ面に直接指を触れることで,直観的な操作を可能にしている.一方,近年のプロジェクタ技術の発展により,投影型ディスプレイ技術が注目されている.この技術は,情報表示機能を持たない実物体の面上に様々な情報を重ね合わせて表示することを可能とする.この場合,上記のようなディスプレイ面に直接指を触れることで操作するシステムを作ることは容易ではない.なぜなら現在普及しているインタラクティブディスプレイの多くでは,指の接触および位置判定にタッチパネルを用いているが,これを全ての接触対象に組み込むことは現実的でないからである.そこで対象物体に装置を組み込むことなく,指の接触および位置を求める手法が求められている.そこで,いかなる物体表面においても適用可能な,カメラを用いた指先の接触判定法を提案する.本手法では,指先を硬物体に押し当てると爪の色模様が変化する性質を利用することで接触判定を行う.これにより,ユーザの触感覚を妨げず,かつ場所を限定しない指先接触判定が可能となる.また実験を通して,指先の接触および物体表面に加える力の方向判定を行い,本手法の有効性を検証する.
  

このページの先頭に戻る

照明条件の異なる画像からの光源方向と反射率の同時推定

  • 研究者: 立川 雄大
  • 論文種別・提出年: 卒業論文, 大阪大学基礎工学部, Mar. 2008.

照明条件の異なる画像からの光源方向と反射率の同時推定
  3DCG (3次元コンピュータグラフィックス)は,計算機の性能向上や小型化・可搬化に伴い,用いられる場面や用途が急激に増加している.これらは,様々な視点から撮影された画像のデータベースとは異なり,対象を自由な視点から観察することが出来るため,対象物体全体の把握から細部の確認までを連続的に行うことが出来ることが利点として挙げられる.そのため,文化財の3次元形状や反射特性を含んだ3次元情報を記録するディジタルアーカイブも近年盛んに行われており,形状や反射特性の計測技術は3DCGにおける提示手法の発展に伴い重要となっている.実物体の3次元形状データの表面に色彩情報を定義するとき,対象の写真をテクスチャとすることがよくあるが,複数の写真をつなぎ合わせると撮影時の光源環境に起因してテクスチャの陰影や,テクスチャ接合部の境界が現れてしまい不自然になるという問題が起こる.そこで,本論文ではある特定の照明条件下の物体表面の輝度分布であるテクスチャマッピングではなく,物体表面の反射率分布を推定することにより,テクスチャの陰影・境界における不自然さの問題の解決法を提案する.提案手法では対象物体の幾何学的形状が既知であるという前提のもと,2枚のテクスチャが物体表面上で重なる部分について光源方位・拡散反射率と法線方向の間に成立する条件を用いることで,光源方位と各点の反射率を同時推定する.テクスチャの代わりに反射率を色彩情報として用いることで陰影・境界の問題点を解決できる.シミュレーション実験といくつかの実物体での実験の結果,相互反射などが起こらない理想的な面ならば反射率の推定が可能で,自然なテクスチャを得られることが確認できた.
  

このページの先頭に戻る

シーンのレンダリングに基づく動物体追跡

  • 研究者: 森谷 貴行
  • 論文種別・提出年: 博士論文, 大阪大学大学院基礎工学研究科, Mar. 2007.

シーンのレンダリングに基づく動物体追跡
  我々人間は,眼に映るシーン情報を瞬時に取得し理解するという高度な視覚機能を備えている.しかし,工場の生産ラインにおける検査やカメラによる映像の監視などの単純作業や長時間作業においては,心理的な要因を含めて視覚への負担が大きく,その補助的な役割を果たす視覚システム実現に対する要求が高まっている.さらに,様々な応用が期待されている自律移動ロボットのために,周囲環境や作業対象を把握することができるような視覚システムが必要とされている.このように視覚システムに要求される機能はますます高度化,多様化している.また近年,計算機性能が著しく進歩し,記憶装置が大容量化したため,画像や映像に関する処理を行うことが容易になってきている.これらの社会的,技術的背景も要因の一つとしてコンピュータビジョン分野の研究が盛んに行われており,その中でも映像から物体運動を計測する動物体追跡の研究が基本かつ重要な課題の一つとなっている.従来の動物体追跡手法は,連続する画像フレーム間の変化から見かけの動きを検出することで実物体の運動を復元するものが多く,この見かけの動きを求めるための手法として,画像から角やエッジなどの画像特徴を抽出し,連続フレーム間で同一特徴の対応付けが行われることが多かった.しかしこのような手法は,画像から特徴点を容易に抽出できない物体や,表面の反射特性のために周囲の環境が映り込むような物体に対しては適用できない.そこで本論文では,追跡対象やその周囲環境の情報があらかじめ計測によって得られているものとして,それらのモデルから生成したコンピュータグラフィックス画像と,カメラから得た入力画像の差を最小化するようにモデルの位置・姿勢を決定することで実世界の物体の運動を追跡する新たな手法を提案した.実験では,従来手法では追跡することが難しいとされていた物体である滑らかなテクスチャを持つ物体や鏡面反射特性を有する物体を対象としてその運動追跡を安定に行った.その結果,これらの物体の 6 自由度運動をオンライン処理で追跡することに成功した.さらに,複数の物体がシーン内を独立して運動する場合の追跡実験も行い,カメラから物体の一部が重なって見えるような場合にも追跡可能であることを示した.しかし,カメラから物体が完全に見えなくなった場合には追跡が不可能になるという問題がある.この問題に対処する方法として,また同時に,精度や安定性を向上させることを目的として,複数のカメラを設置することで得られる多視点画像を利用することによって追跡を行った.最後に,情報が得られていない未知の環境において,シーンに対するカメラの自己運動を追跡し,同時にステレオカメラを用いてシーンの 3 次元形状を計測することで,実際の未知環境におけるカメラの自己位置と環境マップの同時推定を実現した.
  

このページの先頭に戻る

移動結像面型光IDマーカ

  • 研究者: 西浦 優己
  • 論文種別・提出年: 修士論文, 大阪大学大学院基礎工学研究科, Mar. 2007.

移動結像面型光IDマーカ
  今日、実世界とネットワーク上の情報を効果的に結びつけユーザにとって有益な情報を積極的に提供する拡張現実感システム(ARシステム)が注目を浴びており、拡張現実感システムの実現に必要不可欠な光学タグを用いたIDタグシステムの研究が多々なされている。一般的に光学タグを用いたIDタグシステムではイメージセンサで変調している光学タグを連続撮影することでIDコードを認識している。しかし、従来法では連続撮影する1フレームの画像から1ビットの情報しか認識することができず、光学タグがイメージセンサのフレームレートより高速に変調する時その情報を正確に認識することができない。そこで本研究では、イメージセンサの撮像素子を高速移動させながら光学タグを撮影することで意図的にモーションブラを発生させ、1フレームの画像から多ビットの情報をデコードすることができるシステムを提案する。
  

このページの先頭に戻る

複数のステレオカメラを用いた人物頭部のモデル化と正面顔の生成

  • 研究者: 宮城 玲子
  • 論文種別・提出年: 修士論文, 大阪大学大学院基礎工学研究科, Mar. 2006.

複数のステレオカメラを用いた人物頭部のモデル化と正面顔の生成
  近年,日常生活の安心や安全を脅かす危険や脅威が増加し,誰もが安心して暮らすことのできる社会の実現や,生活の安心・安全を確保する技術に対する期待が高まっている.安心で安全な社会の構築において,コンピュータによる人物の自動監視技術が大きな役割を担うことが期待されている.顔認証システムの多くが前提とする,対象をカメラの前に立ち止まらせる様な拘束を与えず,通路や室内を自由に移動する人物を観察・認識するとき,頭部の位置や方向など顔の見え方の変化が生じるため,顔画像の蓄積や利用が困難である.しかし,頭部がどのような姿勢であっても正面顔を生成することができる技術の導入により,対象となる人物に意識させることなく人物データの蓄積や利用を行うことができると考えられる.また,移動する人物の頭部三次元モデルを取得する技術は,対象の追跡などより高度な処理のために用いることができるという観点から見て,今後有効になるといえる.本研究では,壁面などに設置された複数のステレオカメラを用いて,自由に移動する人物頭部の様々な見えの方向からの形状を取得し,頭部の全周形状モデルを構築すること,及び頭部姿勢の推定により正面顔を自動的に生成することを目的とする.ステレオセンサは一瞬の撮像で三次元情報の取得が可能であり,光の投影を必要としないので被写体への負担が小さい.また,シーン中から自動的に顔領域を検出することで顔領域の三次元情報のみを取得する.更に,頭部の形状・色彩特性と鼻部の位置を利用して正面方向を推定することで,眼鏡や髭,表情などの影響を受けることなく正面顔の生成を可能にする.本システムは複数の計算機・ステレオセンサ組で構成される.本システムを用いた実験では,多様な条件で実際の人物の三次元モデルを構築し,正面顔が生成されることを確認する.
  

このページの先頭に戻る

固有空間法による学習に基づくカラー画像からの距離画像の推定

  • 研究者: 川中 昇平
  • 論文種別・提出年: 卒業論文, 大阪大学基礎工学部, Mar. 2006.

固有空間法による学習に基づくカラー画像からの距離画像の推定
  近年,ウォークスルー表示によるミュージアムの案内や,立体表示のできるカーナビゲーションシステム,3DCG で表示されたゲーム等の3次元情報提示が我々の身の回りに多数存在している.これらは物体・環境の情報を多視点から表示させることができるため,2 次元カラー写真のような 1 視点のみの画像と比べてよりリアルで正確な情報が伝達でき,注目されている.これらのシステムを実現するには,物体やシーンの形状情報が必要である.しかし,現在ではそれらを取得するためには非常に大きな計測装置が必要であり,またそういった装置は大変高価で,計測時間に多大な時間を費やす,などの問題がある.また一方で,人間は単なる 2 次元の写真からでも物体・環境の形状を想像することができるが,これは人間が様々な環境の中で視覚情報と 3 次元形状との対応を日々学習しているからである.つまり,2 次元画像と,実際の物体の形状との間には相関性があり,その相関性を記述するルールが存在すると考えられる.このような色と形状との間に存在する相関性を計算機が得ることのできる情報から特徴を抽出する,というかたちで学習し,色情報からの物体・環境の形状の推定を行なうことが本論文の目的である.そこで,本論文では固有空間を用いた画像の特徴抽出による学習方法を提示し,その学習結果から画像内の欠損要素を補間・推定する手法を紹介した.そして,それらの手法を用いて画像の持つ自己相関性を学習し,カラー画像の超解像度化を行なった.また,色情報と距離情報に相関性があると考えられるカラー画像とそれに対応する距離画像において,その特徴を抽出・学習することにより,カラー画像から距離画像を推定する手法を提案し,それを実際に確認する実験を行なった.その結果,本論文で提案した手法を用いると,うまく学習データを選べば一般的な補間技術では復元できないような情報を復元できることが確認され,また,学習によってカラー画像から距離画像のバンプ値を推定できることが確認された.
  

このページの先頭に戻る

平面内の距離計測に基づく自己運動推定とその応用

  • 研究者: 高田 健吾
  • 論文種別・提出年: 卒業論文, 大阪大学基礎工学部, Mar. 2006.

平面内の距離計測に基づく自己運動推定とその応用
  実世界の 3 次元形状データは,コンピュータグラフィックの向上に伴い,考古学における遺跡形状の三次元データでの保存 (ディジタルアーカイブ) や,バーチャルリアリティー (VR),シミュレーションなど様々な分野で活用される.そのような背景を受け,多くの 3 次元形状計測装置が開発されており,中には広域にわたる距離画像を 1 度に取得できるシステムもある.3 次元形状モデルの生成には全周囲からの計測データが必要となるが,計測装置に対し背面側にある領域の計測はできないため,1 度の計測では未計測部分が必ず残る.そのため計測装置が移動して複数回の計測を行う必要がある.計測範囲の広さに関わらず装置の移動が必要であるのならば,広域にわたり測定可能であるが大きく高価で計測に時間がかかる装置を使わなくとも,対象表面をライン状に距離計測する装置を用いて自身の移動を求めながら計測することで 3 次元形状を取得することが可能である.そこで本論文ではまず平面内の距離計測に基づく移動推定法を提案し,次に 2 台のレンジファインダを組み合わせ一方で移動量の推定,他方でシーンの形状計測をすることでシーン全体の形状計測を行うための方法について検討した.
  

このページの先頭に戻る

動的背景の学習による未知物体領域の実時間抽出法

  • 研究者: 川端 聡
  • 論文種別・提出年: 修士論文, 大阪大学大学院基礎工学研究科, Mar. 2005.

動的背景の学習による未知物体領域の実時間抽出法
  コンピュータビジョンにおいて,画像中の処理対象領域を抽出する手段として背景差分法が広く用いられている.背景差分法は,予め背景となる画像を取得しておき入力画像との差分を求めることにより,背景から大きく変化した領域を処理対象領域として抽出する手法であるが,背景の変化に対応することが難しい.これに対応する手段として背景画像の更新に因るものが多く提案されているが,一定の条件を満たせば新規物体を背景画像の一部と自由に置き換えられるため,背景の確からしさを保証できない.そこで本論文では動的背景画像のセットを学習することで,学習段階に存在しなかった未知物体領域の抽出を実時間で行う手法を提案する.提案手法は単純な固有空間への投影と逆投影によって構成されており,未知物体領域を固定した場合は従来手法である BPLP による解と一致することを示した.また,実験では提案手法が従来手法に比べ 20 倍以上高速に背景の更新が可能であり,これによって従来手法より誤差のレベルを低く保てることを確認した.更に CG 画像を用いた評価実験では,提案手法の従来手法に対する優位性の他,従来研究されていた静止画像に対しても,提案手法が有効であることを確認した.
  

このページの先頭に戻る

3次元形状計測による正面顔の生成

  • 研究者: 堀 磨伊也
  • 論文種別・提出年: 卒業論文, 大阪大学基礎工学部, Mar. 2005.

3次元形状計測による正面顔の生成
  近年、バイオメトリクスセキュリティに対する関心が急速に高まり,導入が加速している.バイオメトリクスによる個人認証には,指紋や虹彩,掌形,顔などの身体的特徴が用いられている.その中でも顔認識は,非接触で心理的抵抗感が少なく,かつヒューマンインタフェースとして優れた特徴を持つことから実用化が大いに期待されている.しかしながら,高い認識率が得られた研究では,入力画像の照明条件が一定であり,顔が正面を向いていると仮定しているものが多かった.しかし実用的で使いやすいシステムを実現するためには,顔の位置,姿勢,向いている方向ならびに照明条件などさまざまな変化のある入力顔画像に対応できる個人認識システムを構築する必要がある.そこで本研究では,対象人物が斜めを向くことによって,入力された顔画像が登録された本人顔画像と一致しない場合に,顔の3次元形状を用いて正面顔を作成するシステムの構築を提案する.3次元形状計測には能動型ステレオ法であるグレイコードパターン光投影法を用い,CG描画にはOpenGLを用いた.CGモデルにおいて鼻先の検出を行い,顔の対称性を利用して正面顔を生成することに成功した.
  

このページの先頭に戻る

画像平面の回転に基づく光マーカーのID認識

  • 研究者: 西浦 優己
  • 論文種別・提出年: 卒業論文, 大阪大学基礎工学部, Mar. 2005.

画像平面の回転に基づく光マーカーのID認識
  近年、コンビュータの技術の発達が著しく、ユピキタスコンビューティングの時代がやってきたといわれている。その中で、現実世界の「もの」一つ一つにその「もの」の情報を付加する研究が進められている。しかし、直接「もの」に情報を公開するのでは有限の情報しか提供できず、また有効な情報を提供することもできない。そこで、ネットワーク上に情報をおいておき、それぞれの「もの」にIDタグを付与することによってネットワークと「もの」とを関連付け、情報を提供しようとしづ研究が様々な分野でなされている。ARシステムをその例にあげることができる。ARシステムでは、ユーザはIDタグをデ、コードできる携帯端末を保持することにより、視界内に存在する現実世界の様々な「もの」の情報を取得することができる。このようなシステムを実現するには既存の「もの」や環境の外観を損なわないような物理的に微小で、かつ瞬時にIDを取得できるID認識システムが必要となってくる。そこで、本研究では、光IDマーカーと移動可能な撮像素子を利用したID認識システムを提案する。提案する方法では、光IDマーカーとしてLEDの点滅パターンを利用する。そして、撮像素子を回転させながらLEDを撮影することで時系列なLEDの点滅パターンを空間的な一枚の画像に表示されるIDに変換し、その画像に認識処理を施すことでID認識を行う。
  

このページの先頭に戻る

作業状況の判定に基づくシーンの自律的3次元計測

  • 研究者: 稗田 洋也
  • 論文種別・提出年: 修士論文, 大阪大学大学院基礎工学研究科, Mar. 2004.

作業状況の判定に基づくシーンの自律的3次元計測
  近年におけるコンピュータやネットワークの技術発展により,画像通信を利用したアプリケーションの開発が注目されている.その中で作業空間の映像を遠隔地に伝送することで協調作業を行う研究が進められている.しかしその多くは通常のカメラを用いて映像を獲得するものであり,次元情報が欠落している事から,カメラが設置された視点からしか対象を観察することが出来ず,遠隔地から立体的な状況を正確に把握することが困難である.本研究は,遠隔協調作業支援システムにおける形状情報の取得の必要性から,シーンをアクティブビジョンの概念に従って効率的・自律的に計測することが可能なシステムの構築を目指すものである.計測手法はアクティブステレオ法に基づいたグレイコードパターン投影法を用いており,それによって得られる空間コードから首振り前後のカメラ座標系同士のキャリブレーションを行うという新しい手法を提案する.視点固定型パン・チルト・ズームカメラを使用しているため,首振りを行ったカメラ座標系において再度カメラパラメータを求める必要は無く,それぞれのカメラ座標間における画素の対応が求まれば距離画像の統合が可能である.また,作業者が計測のために作業を中断すれば作業効率が低下することになる。そこで計測するタイミングや計測が必要な部位を判断し、自律的な計測を行うシステムを構築した.システムはフレーム間差分と背景差分を組み合わせた判別手法によって作業空間における作業者の作業状況を判定し,自動的に計測を開始する.また,シーンの変化によりシーンが変化した部分の空間コードが変化し、正確な座標変換行列が求められなくなる問題については,無作為にサンプルを抽出してパラメータを算出するアルゴリズムを用いることで解決した.また,得られたカラー画像に対するシェーディング歪補正等の明度補正や,距離画像を統合することによって発生するテクスチャの不連続の解消を行うことによってのリアリティを向上させた.さらに応用アプリケーションとして,作業の経過を次元情報を保持したまま保存し,後から任意に作業の経過やそのシーンの立体形状を観察することが可能なアプリケーション“Scene Viewer”を作成し,その有効性について検討した.
  

このページの先頭に戻る

多視点画像とCG 画像の比較に基づく動物体追跡に関する研究

  • 研究者: 森谷 貴行
  • 論文種別・提出年: 修士論文, 大阪大学大学院基礎工学研究科, Mar. 2004.

多視点画像とCG 画像の比較に基づく動物体追跡に関する研究
  人間が便利で安心できる生活環境を得るために,産業や医療などの様々な分野で視覚システムに要求される機能が近年ますます多様化,高度化している.また,計算機性能が著しく向上し,コストも低下したため,画像や映像の処理をパーソナルコンピュータで行うことが容易になっている.これらの背景を理由に動画像処理をテーマとした研究が盛んに行われており,その中でも一連の画像から物体の運動を計測する動物体追跡の研究が重要な課題の 1 つである.従来の動物体追跡手法は,連続画像間の同一特徴点を抽出し,対応付けを行うことにより画像上のみかけの動きを求め,次にそれらを統合することで実際の物体の運動を推定する方法を利用したものが一般的である.しかし,物体によっては安定して特徴点を抽出し,追跡できるとは限らない.そこで本研究では,カメラなどから得られる映像の明度変化を利用し,特徴点の抽出を行うことなく物体を追跡する勾配法に基づく手法を提案する.さらに 3 次元空間での追跡を効果的に行うために,対象物体の情報を利用したモデルベース解析を行う.対象物体のCG モデルに基づき精密に再現した CG 画像を利用し,映像の明度変化から直接的に物体の運動を推定し追跡を行う.このとき,単一視点から得られる映像を利用するだけでは安定に追跡することができないため,視点を増やし様々な角度から得られる映像をすべて利用することによってより安定な追跡を実現する.動物体の追跡実験を行うために,複数のカメラを利用した追跡システムを構築した.特徴点の抽出が難しい自由曲面によって構成された剛体に対して,3 次元空間内の 6 自由度運動を約 5 frame/sec の速度で追跡し,本研究での提案手法によって安定な動物体追跡が可能であることを示した.
  

このページの先頭に戻る

複数のステレオカメラを用いた人物形状モデルの復元

  • 研究者: 宮城 玲子
  • 論文種別・提出年: 卒業論文, 大阪大学基礎工学部, Mar. 2004.

複数のステレオカメラを用いた人物形状モデルの復元
  近年コンピュータを用いた画像処理技術は,私たちの日常生活における応用が求められている.例として,自動監視システムや車両の自動操縦などへの応用が考えられる.これらの場合,運動の追跡や認識といった高度な処理が求められることになる.この様な高度な処理を安定に行う際には,対象のモデルを取得することが必要である.受動型計測法の代表的な例であるステレオ法は,一度の撮像だけで形状計測が可能であるため,動物体の計測にも適用できる.そこで,本研究では複数のステレオカメラを用いて人物の全周形状モデルを取得することを目的とする.また,対象の位置を検出し ,すべてのカメラから見て計測に向いた位 置に来たときに全周計測結果を出力することも目的とする.システムは,2台のステレオカメラとPC1台で構成される.まず各ステレオカメラから得られる視差画像を用いて背景差分を行い,対象を背景から切り出す.次に,得られた差分画像の中から人物の顔と思われる領域を検出し ,その領域内の対象の三次元情報を取得する.そして,各カメラから得られた三次元情報列を統合することで人物の形状モデルの復元を行う.実験では,人物領域が正しく検出され,その領域内のモデルを復元できることを確認した.
  

このページの先頭に戻る

屋外環境下における表面反射特性の計測手法

  • 研究者: 三好 裕樹
  • 論文種別・提出年: 卒業論文, 大阪大学基礎工学部, Mar. 2004.

屋外環境下における表面反射特性の計測手法
  近年,遺跡や古建築などの景観,形状などをデジタル保存するデジタルアーカイブの需要が高まってきている.デジタルアーカイブにおいて, 対象物の 3 次元形状を記述する幾何モデルとともに, 物体の色の見えや質感を再現するために, 光学的特性を記述する光学モデルの取得, 保存が重要である. しかし, 屋外建造物の形状は 3 次元形状計測技術やレーザレーダ技術の発達で容易にデジタル化できるようになってきたものの, 表面の光学特性(色,つや,質感等)のデジタル化は,主に屋外では照明環境をコントロールできないことから困難であり,これまでは限定された条件下のみでしか行われていない.表面反射特性を記述するものとしては BRDF(Bidirectional Re・Fctance Distri-bution Function:双方向反射率分布関数) を用いるのが一般的である. この BRDFの計測方法として, 従来 goniore・Fctometer と呼ばれる機器を用いられていたが, 測定試料のサンプリングのため, 遺物などの非破壊での計測が求められる対象に対しては測定が難しく, また, 計測時には点光源以外の光が入ることが許されないので,屋外環境での厳密な計測は事実上不可能であった. そこで, デジタルカメラにより取得した画像から BRDF を推定する手法が現在主流である. この手法を inverse rendering と呼ぶ. しかし屋外環境下での計測は難しく, 一定の条件下以外ではこれまで実用化には至らなかった. そこで, 本研究では任意光源下での BRDF 計測が可能な方法として, 取得画像の球面調和関数展開による周波数領域での解析を用いた手法を提案する. また, 実際に日中晴天下での計測システムを作り, 本提案の有効性を検証する. さらに, システムに対する考察を行うとともに, 改善点を模索する.
  

このページの先頭に戻る