研究分野:プロジェクタ応用工学

投影輝度向上および利用者との衝突回避を目指したプロジェクタドローンの動的配置

  • 研究者: 河原 拓海
  • 論文種別・提出年: 卒業論文,大阪大学大学院基礎工学研究科,Mar. 2017.

図の名前   近年,プロジェクションマッピング(Projection Mapping: PM)が注目を集め,プロジェクタを利用した複合現実感技術に関する研究が進められている.一般的に,エンタータイメント用に行われているPMは主に建築物のような静止した物体に投影される.しかし,人や車などのように移動する物体への拡張を考える場合,投影対象が自由に動いている場合でも投影像が対象に位置合わせできることが重要となる.
  動的なPMにおいては,プロジェクタを環境に固定して投影する方法と,プロジェクタを移動させて投影する方法がある.環境に設置する場合の利点は,目的の位置にずれなく安定して投影できることであるが,投影対象の移動可能な範囲が制限されてしまい,移動可能な範囲を広げるため複数のプロジェクタを用いる必要がある.一方,プロジェクタを移動させて用いる方法は,利用者がプロジェクタを持ち運び,手のひらや本などの身の回りのものに投影し,情報提示をする研究がなされている.この場合,プロジェクタの設置場所に制約を受けることなく,利用者の周りであれば投影が可能である.しかし,投影範囲が利用者の周りに限られてしまうことや,プロジェクタが利用者の活動を妨げてしまうという問題がある.
  上述の問題点を解決するため,空間を自由に動くことのできるドローンにプロジェクタを搭載することが提案されている.これにより従来,投影品質を保つことが困難であった高所への投影も可能となり,プロジェクタの投影範囲が広がることが期待できる.しかし,飛行時に投影像が振動すること,積載可能なプロジェクタの制限による投影輝度の低下で投影像が鮮明でなくなること,利用者のドローンとの接触による危険性などの問題が起きる.本研究では,プロジェクタをドローンに搭載した場合における投影輝度の問題について解決するため,利用者との衝突を考慮し,輝度を向上させる位置へドローンを配置する.   

このページの先頭に戻る

複数台のパンプロジェクタを用いたハンドヘルド型投影システム

  • 研究者: 佐藤 貴俊
  • 論文種別・提出年: 卒業論文,大阪大学大学院基礎工学研究科,Mar. 2017.

図の名前   近年, プロジェクタを用いた複合現実感に関する研究は盛んに行われている. プロジェクタを用いて, 仮想空間の情報を実世界に重畳することにより, 仮想世界と実世界を融合させることで. 実物体の存在感を失うことなく, 質感や色彩などの見えを変化させることができる. また, 近年, プロジェクタの小型化が進んでおり, 安価で軽量かつ高性能なプロジェクタが生産されており, スマートフォンなどのモバイル機器への搭載も実現している. スマートフォンなどの携帯端末は, プロジェクタが搭載されることで, どこにいても大きな画面を提示することができ, 大画面で動画を鑑賞したり, 複数人で同じ画面を共有することができるなど様々な場面で有用である. そのため, 今後, 手で持ち運び可能な投影システム(以降, ハンドヘルド型投影システム) が普及していくことが見込まれる.
  プロジェクタの小型化に伴って, ハンドヘルド型投影システムに関する研究は盛んに行われてきた. 従来の研究では, 主に幾何補正技術に焦点が当てられていたが, 本研究では別の問題として, 投影範囲と投影輝度のトレードオフに着目する. 投影範囲と投影輝度のトレードオフとは, 投影対象とプロジェクタの距離が近づくと, 投影輝度は上がるが, 投影範囲は狭くなってしまうという現象である. 光量が少なく投影範囲が狭い小型プロジェクタを用いたハンドヘルド型投影システムにおいては, このトレードオフを適切に調整することが極めて重要となる.
  そこで, 本研究では, 複数台のプロジェクタの投影方向をミラーを用いて変化させ, ユーザが適応的に投影範囲と投影輝度を変更可能なハンドヘルド型投影システムを提案する. 提案システムによって, 小型の投影システムであっても, 広範囲に投影可能であり, 高画質の映像を提示することができると考えられる.   

このページの先頭に戻る

仮想手操作における非操作手への触覚呈示に関する研究

  • 研究者: 田辺 育暉
  • 論文種別・提出年: 卒業論文,大阪大学大学院基礎工学研究科,Mar. 2017.

図の名前   私たちは自分の手を介して様々な対象に干渉して生活をしている.対象が自分の手の届く範囲内にある場合は,不便なくその対象に働きかけることができる.しかし,対象が自分の手が届く範囲外にある場合はその対象に手が届く位置まで自身が移動する必要がある.こうした制約を解消するインタフェースとして,投影バーチャルハンドを介して遠隔対象に対しても自分の手で対象を直接扱うかのように働きかけることのできるExtendedHand がある.本研究ではこのExtendedHand を使用する.中でも,投影バーチャルハンドの操作に普及の進んだスマートフォンを用いたシステムを利用する.
  しかし,現行のExtendedHand では投影バーチャルハンドの視覚情報しか得られず,自分の手で得られる感覚である触覚を得ることができない.そのため,実物体に干渉する場合において,ExtendedHand で得られる感覚と自分の手で得られる感覚には差が生じている.そこで,インタフェースにおける触覚フィードバックの重要性から,ExtendedHand に触覚フィードバックシステムを組み込む.バーチャルハンドを操作する手(操作手)に触覚フィードバックを返す研究が行われている.しかし,操作手に触覚フィードバックを返すシステムには,操作部とフィードバック部を統合することによって機構が複雑になる点やフィードバックデバイスを装着する手間がある点といった問題がある.
  そこで,本研究では非操作手に触覚フィードバックを返すことで上記の問題を解決するとともに,ExtendedHand において投影バーチャルハンドを操作していても自分の手で実環境に触れているかのようにすることを目指す.自分の手で実物体に干渉する際は操作する手にフィードバックが返ってくるため,非操作手に触覚フィードバックを返した際にユーザが実物体に触れた感覚が得られるのかどうかは明らかになっていない.そのため,ユーザがExtendedHand を使用して実物体に干渉した際に,実物体に干渉した感覚が得られるかを調査する必要がある.本研究の目的は,ユーザがExtendedHand を使用して実物体に干渉した際に非操作手に触覚フィードバックを付与し,ユーザが実物体に干渉した感覚が得られるかを調査することである.
  ExtendedHand を使用して投影バーチャルハンドが実物体に触れた際に非操作手に触覚フィードバックを付与し,ユーザが実物体に触れた感覚が得られるかを調査する実験を行った.実験の結果,用意した触覚フィードバックにおいては,触覚フィードバックを付与しない時に対し,付与する場合はユーザは実物体に触れた感覚が増す傾向にあることが分かった.また,ExtendedHand において投影バーチャルハンドが実物体に触れた際に非操作手に触覚フィードバックを付与する場合に,非操作手の遮蔽や非操作手と左右が同じバーチャルハンド(非操作手バーチャルハンド)の追従が実物体に触れた感覚が増す要因となるかを調査する実験を行った.実験の結果,ユーザに実物体に触れた感覚を呈示できる可能性があるのは遮蔽があるときであると考えられる.一方,非操作手バーチャルハンドの追従により実物体に触れた感覚を向上させるには被験者に非操作手バーチャルハンドを追従させるか選択させることがよいと考えられる.   

このページの先頭に戻る

投影対象内の導光路を同時3D印刷するアクティブマーカによる動的プロジェクションマッピング

  • 研究者: 刀根 大樹
  • 論文種別・提出年: 卒業論文,大阪大学大学院基礎工学研究科,Mar. 2017.

図の名前   近年, 現実世界に仮想世界を融合させる複合現実(Mixed Reality: MR) が注目されており,プロジェクタを用いるMR としてプロジェクションマッピング(Projection Mapping) がある. プロジェクションマッピングとは, 現実世界の物体に仮想映像を重畳投影することで, 物体表面の質感や色などの見た目を変化させる技術である. プロジェクションマッピングでは投影面が非平面であるため, 投影像を投影対象に合わせる幾何補正が必要となる. 動く物体を投影対象とする動的プロジェクションマッピングでは, 投影対象が動くたびにカメラ画像や加速度センサの情報から位置姿勢を推定しなければならない.
  位置姿勢推定の方法の一つとして, 投影対象にマーカを設置する手法がある. カメラで認識されたマーカを, 予め保存されたマーカの三次元座標データベースと対応づけすることで位置姿勢を推定する. この手法では, マーカの対応を取得するためにマーカから特徴量を抽出する必要があるが, マーカに特徴量を持たせるためにはマーカを大きしなければならない.そのため設置できるマーカの最大数に制約が課され位置姿勢推定精度に影響が出てしまう.
  そこで, 本研究では時間変化によりID を情報を表現するアクティブマーカを用いる手法を提案する. データの表現が時間による変化であるため, マーカの大きさを小さくしつつ特徴量を埋め込むことができる. 提案手法では, マルチマテリアル3D プリンタを用いてマーカと投影対象を同時に印刷することで, マーカ設置の手間を省き, さらにマーカ設置位置のずれによる位置姿勢推定の誤差を解消している.
  第1 章では, 複合現実感やプロジェクションマッピングについての説明と, 動的プロジェクションマッピングの関連研究, そして3D プリンタによる導光路印刷について述べ, 本研究の目的を明らかにする. 第2 章では, 3D プリンタでアクティブマーカを同時印刷する手法と, アクティブマーカを認識し位置姿勢推定する提案手法を述べる. 第3 章では, アクティブマーカを認識するために必要な投影対象モデルの設計方法を, マーカ認識実験を通して検討する. 第4 章では, 第3 章で作成したモデルに対して位置姿勢推定し, 正しい投影像が取得できるか実験して, 結果を考察する. 最後に第5 章で本論文の結論を述べる.   

このページの先頭に戻る

非平面プロジェクションにおける画素密度均一化のための光路透明層の形状最適化

  • 研究者: 峯 隆太郎
  • 論文種別・提出年: 卒業論文,大阪大学大学院基礎工学研究科,Mar. 2017.

図の名前   近年,現実世界の情報と,仮想世界の情報を融合させる複合現実感が非常に注目されている.複合現実感を実現する技術のうち,プロジェクタを用いた投影型の複合現実感では,ユーザが特別なデバイスを装着することがなく投影像を変化させることで現実世界の物の色や質感などを変化させることができる.しかし,プロジェクタは光軸に対して垂直に設置された平面の投影対象を想定して設計されているため,一般的に三次元物体に対する投影では01投影画素密度が空間的に偏り,均一な解像度の投影結果とならない.そこで本研究では,リアプロジェクション方式を採用し,投影面下に3D プリンタで印刷した透明層を埋め込み,投影像を空間非一様に屈折させて投影面の画素密度を均一にすることを提案する.
  提案手法を実現するために,投影を行いたい領域に密度均一な画素配置を行い,プロジェクタの各画素との対応関係を求めた後,その対応を実現できる屈折面の構成を行う.画素密度が均一な投影を行うためには,投影面上に配置されている密度が不均一な画素を画素密度が均一になるよう再配置する必要がある.各画素に対し,理想の距離に近づくよう距離に応じた引力と斥力を設定し,各画素を力の働く方向へ移動させる.画素に働く力が平衡状態になるまで移動させることで任意形状における均一な画素配置を求める.また,プロジェクタの画素全体において,なるべく少ない光路の変形で目標の均一画素配置が実現できるように最小コスト輸送問題を解く.画素密度均一に配置された各目標画素と投影光の各画素の対応を求めるために,補正を行わない投影光路と目標画素座標との距離を変形を行うコストとして用いる.加えて,制約条件として屈折可能な角度の制約と輝度低下の制約を設けることで,屈折面によって実現することが可能な範囲内における対応関係の中で最適解を求めた.また,投影光全体が想定した屈折を実現できるように,屈折面形状の最適化を行う.分割した屈折面によって各画素の光路の変形を行い,画素密度均一に配置された目標画素と,投影光の画素との対応関係を実現する.この分割した屈折面を結合することで,透明層の屈折面を生成する.各分割面の結合の際に,段差が大きい結合をしてしまうと屈折面表面において投影光の損失が発生してしまため,分割面全体が段差を抑えて結合できるように最適化を行う.加えて,隣接する面の間をベジェ曲面によって補間することで,異なる法線を持つ面同士をなめらかに結合する.
  提案手法に基づき,画素密度均一化を実現することができる透明層の設計を行い画素密度均一化の評価を行う.また,投影物体を実際に作成し投影を行うことで,提案手法の有効性を確かめた.   

このページの先頭に戻る

工業製品意匠設計における投影型拡張現実技術を用いた表面質感変調および視覚形状変形に関する研究

  • 研究者: 竹澤 拓郎
  • 論文種別・提出年: 卒業論文,大阪大学基礎工学部,Mar. 2017.

図の名前   工業製品意匠設計において,現行プロセスでは,二次元スケッチ,三次元CAD を用いた設計,モックアップ制作の工程を最終決定がなされるまで何度も行われており,時間とコストがかかることが問題となっている.また,工業製品の表面質感は製品がユーザに与える印象において重要な役割を果たす.現行プロセスでは素材サンプルを一つずつ比較検討する必要があるが,意匠設計過程でモックアップ全体で異なる表面質感を検証することは難しく,また素材サンプルがない表面質感を検証することができない.そこで仮想現実技術や複合現実技術を用いた工業製品意匠設計支援に関する研究開発が行われている.これらの研究では時間とコストを現行プロセスよりも削減し,様々な色,形状のデザインを検討することがきる.しかし,HMDを用いたシステムではデバイスの装着による不快感が懸念され,ディスプレイ上に表示するシステムではディスプレイの解像度の制約があるため,表面質感の表現に限界がある.そこで本研究では投影型拡張現実技術を用いて,視覚形状変形(明暗,コントラスト,陰影などの光学的な情報や隠蔽関係,遠近法などの幾何学的な情報から心理的記憶的に奥行を知覚するための情報をモックアップに重畳表示することで,見かけ上の形状変形する)を行う.また,投影によってモックアップの表面質感を変調させる.
  本論文ではそれを実現するシステムを提案し,そのシステムを使用した動作確認実験として,視覚形状変形がどの程度実際に変形しているように感じるか(知覚形状変形度合)と視覚形状変形のための視覚刺激によって投影対象の表面質感変調が見られるかを調査する.また,製品の実際の使用環境を想定して環境光として木漏れ日を投影によって再現し,それが表面質感変調を引き起こすかを調査する.まず,視覚形状変形としてキャラクタラインを想定した視覚形状変形を行い,次に空間的連続変形と不連続変形の2 種類の視覚刺激とそれぞれに対する環境光の有無による知覚形状変形度合と表面質感変調を評価した.実験の結果として検証した深度-15mm から15mm のキャラクタラインでは意匠設計支援の有用性が示唆された.視覚形状変形では連続変形より不連続変形の方が知覚形状変形度合が大きく,粗さの項目で知覚形状変形度合が確認されない場合でも仮想空間内の変形後物体がもつ表面質感が知覚される傾向が見られた.さらに,環境光による表面質感変調も見られた.   

このページの先頭に戻る

視温覚融合投影インタフェースにおける視覚刺激に対する温覚刺激の設計

  • 研究者: 青木 芽衣
  • 論文種別・提出年: 修士論文,大阪大学大学院基礎工学研究科,Mar. 2017.

図の名前   複合現実感インタフェースにおいて,複数の感覚に対して情報を呈示するマルチモーダルシステムが注目されている.マルチモーダルシステムでは,単一の感覚器官に対して情報を 呈示するよりもユーザに多くの情報を呈示することができるため,インタフェースの操作性の向上や,仮想物体のリアリティ向上につながる.最近では,視覚と触覚に情報を呈示するシステムの研究が盛んに行なわれている.従来の視触覚呈示方法には,ユーザが触覚呈示デバイスに触れたり,装着したりすることで触覚刺激を得る方法が多い.一方で,デバイスを把持したり装着したりすることなく,空気圧や超音波,熱放射を利用して触覚刺激を非接触で呈示する手法も提案されている.著者は,触覚の中でも特に温覚に着目し,ユーザの身体へ非接触で任意の場所に視覚情報と温覚情報を同時に呈示可能な,視温覚融合投影インタフェースを構築した.
  視温覚融合投影インタフェースは,熱を持つ仮想物体を,3 次元空間で視覚的・温覚的にユーザに知覚させるために使用することを想定している.可視光プロジェクタから仮想物体の映像をユーザの身体へ投影し,同時に赤外光プロジェクタから投影像の位置に合わせて熱を照射する.しかし,赤外光プロジェクタの空間分解能の低さや,人間の温覚の応答速度の低さから,呈示された視温覚刺激が空間的に整合しない場合がある.すると,ユーザは知覚した投影像と熱を関連付けることができなくなり,熱を持つ仮想物体を知覚することが困難になる.
  そこで本研究では,視温覚融合投影インタフェースにおいて,視覚刺激と温覚刺激の間に生じる空間的不整合を考慮した上で,ユーザに熱を持つ仮想物体を表現することを目的とする.実験では,様々な形状や動きをする視覚刺激と,強度の異なる温覚刺激を組み合わせて被験者の身体へ呈示し,それぞれの視温覚刺激に対して適切さ(調和度・実在感・好ましさ)を評価させた.実験の結果,提案インタフェースに設けるべき視温覚刺激に関する制約と,呈示された視覚刺激に対する適切な温覚刺激の呈示方法を得ることができた.   

このページの先頭に戻る

マーカを同時印刷した3Dプリンタ出力を対象とするビジョンベースの三次元物体位置・変形推定

  • 研究者: 浅山 弘孝
  • 論文種別・提出年: 修士論文,大阪大学大学院基礎工学研究科,Mar. 2017.

図の名前   「3DCAD(Three-Dimensional Computer Assisted Design)や3DCG(Three-Dimensional Computer Graphics)などといったデータをもとに三次元物体を造形する機器として3Dプリンタがある.近年, この技術の発展により樹脂材料から金属材料などといったさまざまな材料を用いて高精度な印刷を行うことが可能となっている.そのため, 航空・宇宙・自動車などで使用される産業機器用の部品やインプラントなどの医療材料への利用などさまざまな分野への応用が期待されている.本研究では,その応用の一つとして複合現実感に注目する。機械 精度での画像マーカの印刷や事前シミュレーションによるマーカ設計の最適化などを行うことができるという点で, 3Dプリンタ技術は複合現実感における位置・変形推定という技術 課題を解決するアプローチの一つとなったと言える.本稿では,以下の二つの問題に対する提案とその結果について述べる。
  提案手法では投影対象に対して,位置推定のための画像マーカを遺伝的アルゴリズムによって計算された最適な位置に印刷する.プロジェクションマッピングの際には,投影色補正によってマーカを隠消して投影結果の画質を向上させる.さらに,この位置推定とマーカ隠消という二つの技術課題と3Dプリンタの印刷方式を考慮した最適なマーカ設計の指針を提案する.
  非剛体物体の変形推定への応用について述べる.非剛体物体を対象とする複合現実感の例として, 医療分野における臓器を対象とした血管などの情報提示が挙げられる.この際、適切な位置に適切な情報を提示するためには,対象の位置姿勢だけでなく変形も推定する必要がある.提案手法では,対象物体内部にドットマーカを印刷し,魚眼カメラによって内部から変形を推定する.推定方法としては,変形に応じて変化するドットマカの動きを機械学習の一つであるランダムフォレストを用いて行う、学習に使用するデータを, 印刷する3Dモデルデータを用いたシミュレーションによって作成することで, データ作成のコストを削減する.   

このページの先頭に戻る

タブレットと投影仮想手による身体のサイバー拡張-Tablet-based ExtendedHand-

  • 研究者: 上田 雄太
  • 論文種別・提出年: 修士論文,大阪大学大学院基礎工学研究科,Mar. 2017.

図の名前   手を用いた行動は我々の生活には欠かせない.我々は,ジェスチャによる対象の選択や場 所の指示,直接物に触れての操作,触覚による物の状態の把握,握手のような身体接触による交流など多くの場面で手を使用する.一方,身体的制約から,手を効果的に利用できる状況は,対象が手の届く近くの範囲にある場合に限られ,我々は手の届かない対象にポインタやリモコンを用途に応じて使用してきた.しかし,ポインタでは手のジェスチャのような表現に乏しく,リモコンでは手で直接物を操作するような動きでの入力ができない.また,各機器は個別に使い分けられ,統合的に手の役割を担う物では無い.そこで,本研究では,手の模倣物によって手の役割を統合的に代用し,身体性の高い表現や操作を遠くの対象にも可能とすることを目指す.
  本研究では,プロジェクタから手のCG を投影し,その像を実手の動きで操作することで,手の投影像を介して遠くの対象に働きかける手法を提案する.従来の手のCGの操作には,没入感を重視して,装着の必要なデータグローブや手にマーカを貼り付けるモーションキャプチャが使用されてきたが,本研究では,日常的な場面でのシステムの使用を想定し,使用に際する準備が少なく,一般的に普及したデバイスであるタブレット(スマートフォンも含む)を操作機器に使用することを提案する.システムの設計については,学術的なデモ展示発表を通じて評価を収集し,改善を繰り返した.手の像の操作は,移動,手先の回転,指の曲げ,指差し,把持などが可能である.本研究ではネットワークを介して複数台のスマホで複数の手の像を操作できるシステムと,タブレット1 台で必要な処理が完結し,他のシステムへの組み込みが容易であるシステムの2 種類を実装し,デモ発表を通じて各々の実証実験を行った.現在,これらを応用した会議支援や福祉システムの研究が進められており,提案システムの多方面での応用が考えられる.実証実験では,手の像の動きとサイズに関する指摘を得た.このため,手の像の動きを,ユーザとの接続を保つような動きに改善した.さらに,接続性の保たれない,壁に手の像を投影する状況においては,その手の像の出現位置とサイズに関する被験者実験を行った.この結果,右手モデルの場合は投影範囲外の右下から投影ハンドを出現するように設定すべき,など今後の設計の指標となるユーザの傾向を得た.さらに,手の像をより実手の代わりに扱えるよう,コミュニケーションだけでなく,実環境中の物体の選択や操作にも使用できるような機能とシステムの実装も行った.
  本稿では,タブレットで操作する投影ハンドを介して手の届く範囲を拡張する技術を提案し,その実現可能性と身体拡張技術の応用性の高さを,システムや機能の実装によって示す.   

このページの先頭に戻る

光センサを用いたレーザプロジェクタの走査計測に基づく位置・姿勢推定

  • 研究者: 北島 友喜
  • 論文種別・提出年: 修士論文,大阪大学大学院基礎工学研究科,Mar. 2017.

マジックレンズ   投影型複合現実感技術は,複数の利用者が機器を装着せずに,実環境と仮想空間を統合した世界を共有できる技術である.この技術応用として,プロジェクタを実物体に向けることで,実物体の表面質感を変化させたり,アノテーション等の付加情報を物体位置にぴったり合わせて重畳表示するプロジェクションマッピング(Projection Mapping; PM) がある.プロジェクションマッピングでは,プロジェクタと実物体の相対位置が変化する動的な環境でも投影像と実物体が位置がずれずに,焦点ボケ等の画質劣化がないことが理想である.
  実物体と投影像の位置合わせのためには,カメラやその他のセンサ(磁気式,超音波式,光学式など)を用いて,プロジェクタに対する投影対象の相対的に位置・姿勢を推定し,変形した画像をプロジェクタから投影する必要がある.カメラを用いる既存手法は,投影対象を遠隔から撮影した際に得られる画像特徴量から位置・姿勢を計算するが,投影対象の模様や形状や照明環境に大きく依存して精度が落ちてしまうことや,プロジェクタ-カメラ間の座標位置合わせ誤差の影響強く受ける欠点がある.またその他のセンサを用いる場合においても,環境中に金属や鉄筋等が存在する状況では精度が落ちること(磁気式)や,環境中に等間隔に受信機を配置する必要があり設置コストが高いこと(超音波式),所望の画像を鮮明に投影できなくなる欠点がある.
  そこで,本研究では動的なPMにおける位置合わせ技術として,レーザプロジェクタと光センサの受光タイミングに基づく対象の位置姿勢推定手法を提案する.本手法ではレーザプロジェクタを用いるため,小型の装置で焦点合わせが不要という利点に加えて,提案する手法の特徴として計測のためのパターン光なしに,連続的に対象を追跡できる利点がある.
  本稿では,提案した手法と作成したシステム,精度評価実験,アプリケーションについて示す.特にアプリケーションでは,ライトペン,マジックレンズ,プロジェクタドローン,動的プロジェクションマッピングシステム,マルチプロジェクタの幾何キャリブレーションシステムなどの複数の応用システムを作成し,提案手法の有効性を示したことを報告する.   

このページの先頭に戻る

重畳投影パターンの手に対する相対速度変調による力覚の操作

  • 研究者: 青山 宗太
  • 論文種別・提出年: 卒業論文,大阪大学基礎工学部,Mar. 2016.

ドットパターンの提示   近年,複合現実感環境において視覚刺激のみを用いた疑似的な触力覚フィードバックを提示する研究が行われており,その提示には Pseudo-Haptics と呼ばれる錯知覚が利用されている.Pseudo-Haptics とは,固有受容感覚 (自分が身体を動かす感覚) と視覚情報との間で不整合が生じた際に,人間の脳の特性により,視覚情報が優先されることで実際には存在しない触力覚を知覚する現象のことである.Pseudo-Haptics を利用した研究の多くでは視覚情報提示デバイスとして,遮蔽型HMD(Head Mounted Display) や二次元ディスプレイなどが用いられている.しかし,それらにはディスプレイの解像度の低さや視野角の制限による疲労感や提示範囲の狭さといった問題がある.それらの問題を解決するために,プロジェクタを用いて実世界にリアルタイムで視覚情報を提示する手法が考えられるが,プロジェクタによる視覚刺激提示を用いた Pseudo-Haptics の研究はあまり行われていない.
  そこで本研究では,プロジェクタを用いた視覚情報の提示により Pseudo-Haptics を生起させ,力覚を操作することに注目する.従来研究から,HMDや二次元ディスプレイによる視覚情報提示では,操作対象の速度を変調させることで疑似力覚の提示が可能であるという知見が得られている.この知見を利用し,ユーザが動かしている手にドットパターンの重畳投影を行い,ドットパターンの手に対する相対速度を変調させることで,ユーザの力覚にどのような影響があるのか調査し,分析することを目的とする.調査の結果,投影パターンの相対速度を大きくすることで,実際の力をより小さく知覚することがわかった.   

このページの先頭に戻る

適応的フォーカススイープ投影によるプロジェクタの被写界深度の拡張

  • 研究者: 井澤 英俊
  • 論文種別・提出年: 卒業論文,大阪大学基礎工学部,Mar. 2016.

提案システム概要図   プロジェクタを用いた複合現実感(Mixed Reality:MR) では仮想空間の映像を実空間に投影することで, 仮想空間と実空間を光学的に重畳させるため特別なデバイスを身に着ける必要がなく, 現実感や臨場感の高い複合現実感を提示することができる. そのため, 娯楽・医療・教育など様々な分野で応用可能であり, これからの発展が期待されている. しかし, プロジェクタは投影像の明るさを保つために大きな開口を持ち, それにより投影像の焦点の合う領域(被写界深度)が狭くなってしまう. それゆえ, 一定の奥行き幅を持つ 三次元物体にプロジェクタで投影を行った場合, 焦点の合っていない領域が生じてしまい, 投影像の品質を著しく落としてしまう.
  この問題を解決するために, 焦点を光軸方向に振動させる技術であるフォーカススイープをプロジェクタに適用することで, 視覚的に被写界深度を拡張する研究が行われた. この手法では, 焦点を常に同じ波形で振動させ, 投影する画像に補正を加えることで, 被写界深度を拡張させている.   

このページの先頭に戻る

バーチャルハンドインタフェース搭載型車椅子のタッチ操作における機械学習による操作対象の推定

  • 研究者: 浅井 唯貴
  • 論文種別・提出年: 卒業論文,大阪大学基礎工学部,Mar. 2016.

操作対象の推定   人間の手は表現力に富んでおり,コミュニケーションにおいてその表現力は自身の意図や目的を相手に正しく伝えるほか,相手に理解を促す補助としての役割を担っている.それは物事の指示であったり,物体の形状の伝達であったり,意思や関係性の伝達など様々な形で存在する.しかし車椅子の使用者の場合は,自身の手を用いてコミュニケーションを取ることができる範囲が制限される.なぜなら車椅子の使用者は,車椅子に座しているために手で直接操作できる範囲が狭くなるためである.また,車椅子が移動や旋回を行うのに十分な空間的余裕が無い場合,車椅子を移動させることができず対象に対して手が届く位置まで移動して対象を手で直接操作するといった動作を行えないことも挙げられる.ゆえに,車椅子の使用者には,手が届かない遠隔対象に対しても手を用いたコミュニケーションを可能とする手段が必要である.そこで,遠隔対象に対しても自身の手で対象を直接扱うかのような働きかけを可能とするバーチャルハンドインタフェースの一つである,ExtendedHandシステムを車椅子に搭載することを提案する.
  ExtendedHandでは,プロジェクタによって人間の手を模したCGモデル(バーチャルハンド)を実世界上に投影し,遠隔対象に干渉する際にバーチャルハンドを自身の手の代用として使用する.本研究ではタブレット端末を使用してバーチャルハンドを操作可能なExtendedHandを車椅子に搭載し,プロジェクタ投影されたバーチャルハンドを操作することによって,手を用いてコミュニケーション可能な範囲を拡張する.それと同時に,一つのタブレット端末を使用して車椅子とバーチャルハンドを共に片手でタッチ操作することができるように,車椅子の操作部を改造し,無線モジュールを介入させて車椅子とタブレット端末を無線接続させる.しかし,これによってタッチ操作の対象が二つ存在することになるため,ユーザがタッチ操作する際に操作対象を切り替える必要がある.その切り替え手法は,ボタンスイッチのような,ユーザに不要な動作が生じない手法が望ましい.そこで本研究では,車椅子とバーチャルハンドを操作する際に操作対象によってタッチパネルに接触する指の接触面積に差異が生じると仮定し,指の接触面積を機械学習させることでユーザが望む操作対象を自動で推定する手法を提案し,その推定精度を検証する.また,提案手法を用いて車椅子およびバーチャルハンドの操作対象の推定が可能であるか検証するために,指の接触面積を入力とした機械学習による操作対象の推定システムを実装し,操作対象の推定実験を行い,正しく推定できることを確認した.   

このページの先頭に戻る

複数人利用時のバーチャルハンドに対する識別と所有感覚

  • 研究者: 榎本 龍一
  • 論文種別・提出年: 卒業論文,大阪大学基礎工学部,Mar. 2016.

EH所有感覚の調査   身体拡張型インタフェースとは,人間の身体を擬似的に拡張することで自分の身体を扱うように操作が可能なインタフェースである.身体拡張型インタフェースは操作対象に自分の身体に類似したモデルを使用することで,操作対象を自分の身体のように感じさせ,仮想物体に対して直感的な操作を可能にする.投影型の身体拡張型インタフェースであるExtendedHandはカメラなどのセンサを用いてユーザの手の動きを認識し,それに応じてプロジェクタから投影されるバーチャルハンドを動作させることによりユーザの手先をその移動方向に疑似的に伸ばすことができるインタフェースである.今後このインタフェースが普及し,複数人で使用する状況が想定できる.
  本研究では複数人でExtendedHandを使用する状況を想定し,会議等でバーチャルハンドを互いに操作してコミュニケーションを行う状況について考える.同じ色や形状のバーチャルハンドが表示されている中で,自分が操作しているバーチャルハンドに対して,「このバーチャルハンドは自分が操作している」という操作対象が自己に帰属する感覚(所有感覚)の生起の有無について調査を行った.また,所有感覚の生起しやすさについて,バーチャルハンドとポインタとの間の有意差の存在の有無について調査を行った.調査のため実験参加者には,ディスプレイ上に表示されている複数のバーチャルハンドの中から自分が操作できる唯一のバーチャルハンドを捜すタスクを行わせ,タスクに要した時間を計測した.計測の結果,バーチャルハンドに対して所有感覚が生起することが確認され,また所有感覚の生起までの時間についてポインタとの間に有意差が見られた.この結果から,操作対象の見た目をバーチャルハンドからポインタに変えたことでユーザの感覚に違いが生まれ,バーチャルハンドの方が所有感覚の生起が早い傾向にあることが推測された.一方で他者から見たときに「バーチャルハンドが誰に操作されているのか」が一目でわかるようにするため,ユーザ位置からバーチャルハンドを進入させる機能を,ユーザとバーチャルハンドの幾何整合性を利用して実装した.システムの評価実験を行った結果,10度前後の誤差で推定することができた.また実験参加者の感想から,表示するバーチャルハンドが右手であるか,左手であるかによって誤差に対する感覚が変化することが推測された.   

このページの先頭に戻る

視覚的形状操作において実物体表面質感を毀損しないステレオ投影に関する研究

  • 研究者: 奥谷 凪
  • 論文種別・提出年: 卒業論文,大阪大学基礎工学部,Mar. 2016.

システム概要と変形の様子   製品デザイン工程では,クレイモデル等のモックアップを何度も試作し,最終的なデザインの決定を行う手法が主流であるが,モックアップの作成に費用や時間がかかってしまい 効率的とは言い難い.モックアップ製作数を減らすべく,近年では複合現実感(MR :Mixed Reality) 技術を用いた様々なデザイン支援システムの研究が行われている.そのなかでもプロジェクションマッピング(PM: Projection Mapping)により,実物体を視覚的に形状操作するステレオ投影技術は,製品の「ボリューム感」や「味わい」などを損なうことなく製品デザインプロセスを効率化することが期待できる。しかし,プロジェクタの空間解像度およびダイナミックレンジには限界があり,映像のみでシボ等の表面質感の高品位な再現は困難である.シボ等の表面質感は高級感やソフト感などの感性品質の要因の一つであり,製品デザインにおいて重要である.
  そこで本研究では,プロジェクタを用いたデザイン支援システムにおいて,高解像度な表面質感の表現を可能とすることを目的とする.従来の投影型デザインシステムのように白色実物体に表面質感情報を投影するのではなく,表現したい表面質感を持つ実物体を投影対象とすることで,その質感を保持しつつ実物体の形状を操作する手法を提案する.さらに提案手法により,視覚的形状操作後も表面質感が保たれているようにユーザが知覚することを実験的に確認した.   

このページの先頭に戻る

移動ロボットへのプロジェクションマッピングによる動き補正

  • 研究者: 中村 萌
  • 論文種別・提出年: 卒業論文,大阪大学基礎工学部,Mar. 2016.

システム概要図   近年,介護用ロボットや医療用ロボット,サービスロボットなど人のそばで働くロボットが発展している.これらのロボットは介護施設や医療施設だけではなく家庭での使用も想定されているが,一般家庭に普及するには未だ高価である.自然で滑らかな動きを実現するために高価なアクチュエータを使用していることがその理由の一つである.ロボットが自然な動きをしつつ安価であれば,高価なロボットよりも一般家庭に普及しやすいと考えられるため,ぎこちないロボットの動きを緩急のある自然な動きに見せるため,複合現実感技術のひとつであるプロジェクションマッピングを用いて見た目の速度を変調することを考える.
  多くのプロジェクションマッピングは明るい場所での使用に適していないが,静止画を動いているように見せた変幻灯は比較的明るい場所での使用も可能である.この変幻灯の技術を用いて静止画ではなく移動するロボットの見た目の速度を変調することが本研究の目的である.提案手法としては,移動ロボットの位置姿勢をカメラ画像より推定し,現在位置画像と目標位置画像の輝度の差分を移動ロボットに投影することで見た目の速度補正を行う.移動ロボットにマーカーとして再帰性反射材を取り付け,照射し反射された赤外線をカメラ画像処理によって認識することで移動ロボットの位置姿勢推定を行う.実験では,等速で直進するまたは加速する移動ロボットに加速・減速方向の投影をし,テクスチャの輝度差分の投影の場合最高 65%の減速効果,50%の加速効果,ランダムドットパターンの投影の場合最高60%の減速効果,35%の加速効果を確認した.結果としてテクスチャの輝度差分の投影によって,等速または加速するルンバの速度を半数以上のある割合で実際よりも遅くまたは速く見せることができた.またずれの変位が同じ場合概ねランダムドットパターンの投影よりもテクスチャの輝度差分の投影がより補正効果があることがわかった.   

このページの先頭に戻る

投影型複合現実感における視覚的な接触対象の変形および身体の平行移動による形状知覚操作

  • 研究者: 金森 俊雄
  • 論文種別・提出年: 修士論文,大阪大学大学院基礎工学研究科,Mar. 2015.

システム概要図   現実空間と仮想空間をリアルタイムで重ね合わせる複合現実空間(MR: Mixed Reality) において,視覚刺激のみを用いて疑似的に触力覚を提示する研究が行われている.その提示にはPseudo-Haptics と呼ばれる視覚-力触覚間に発生する錯知覚が利用されている.Pseudo-Haptics とは,視覚と力触覚との間に不整合が生じた際に,視覚による情報が優勢になるという脳の特性から,力触覚に錯覚が生じる現象のことである.現在では,Pseudo-Haptics を用いた視触覚システムの大半では,実装する複合現実感方式として遮蔽型HMD (Head Mounted Display) や二次元ディスプレイなどを使用するビデオシースルー方式を用いている.しかし,視覚情報をプロジェクタより実世界上に重畳する投影型MR を用いた力触覚フィードバック提示については,定量的な評価や議論は現在でもあまり進んでいない.
  そこで本研究では,これまで十分な調査が行われていない投影型MR におけるPseudo-Haptics に着目する.投影型MR において,映像で提示する物体の形状およびユーザの手先の運動軌跡を変調させることによって,実物体の形状に対する知覚を変化させることが可能であるかどうかを実験的に検証することを目的とする.具体的には,実際の物体に触れているユーザの手の動きを検出し,それに同期させて,手先の映像をユーザの実際の手先位置からずらして異なる形状の物体に触れている映像を重畳投影することによって,視覚情報と力触覚情報との間に不整合を生じさせる手法を提案し,形状知覚に与える影響を実験で検証した.   

このページの先頭に戻る

投影型上腕拡張UIにおける触覚フィードバック?

  • 研究者: 新明 拓也
  • 論文種別・提出年: 修士論文,大阪大学大学院基礎工学研究科,Mar. 2015.

システム概要図   タブレット端末やスマートフォンなどのタッチ入力インタフェースの普及により,ユーザは操作したい対象に直接手で触れることで対象の操作が可能になった.以後,このような操作を直接的な入力と呼ぶ.一方で,一般的なタッチ入力インタフェースには手元にタッチパネルが無ければ入力を行うことができないという距離的な制約がある.距離的な制約を持たず,タッチ入力のように直接的な入力が行えるインタフェースの一つに,身体拡張ユーザインタフェースがある.身体拡張ユーザインタフェースとは,ユーザの身体が疑似的に拡張(伸びる,大きくなるなど)された視覚表現を呈示することにより,ユーザに対して自分の身体が拡張されたかのような感覚を与え,ユーザの身体が直接届かない場所にある操作対象に対してもユーザが直接的な入力を行えるインタフェースである.しかし,これらのインタフェースは,入力によって得られるフィードバックが視覚から得られる情報のみである.そのため,ユーザから遠い位置での作業や,視覚的に遮蔽がある場合,インタフェースの位置把握が難しくなる.このような問題を解決し,身体拡張ユーザインタフェースの操作性を向上させるためには,視覚以外のフィードバックをユーザに与える方法が考えられる.特に,触覚フィードバックをユーザに呈示することで操作性を向上させる研究は数多く行われており,その効果が示されている.触覚フィードバックを付与することで,ユーザが操作をしているもの(ポインタ・カーソルなど)の位置を認知するサポートを行うことができ,さらに,操作したい対象が定まっていれば,対象までの距離に応じた触覚フィードバックを与えるなどの工夫を行うことで,対象の周辺までの移動を早めることができるため,操作したい対象の周辺への到達時間が短くなると考えられる.そこで本研究では,身体拡張ユーザインタフェースに触覚フィードバックを付与することで,これらの問題を緩和する.
  本研究の目的は,距離的な制約を解消し,直接的な入力を行うことができる身体拡張ユーザインタフェースに,触覚フィードバックを付与することで,視覚的な問題を解消でき,ユーザにとってより扱いやすいインタフェースの設計指針を示すことである.そのため,実際に様々な種類の触覚フィードバックをユーザに呈示する身体拡張ユーザインタフェースを構成し,どのような触覚フィードバック要素が実際に物体に触れている感覚に有効であるのかを調査する.また本システムは,机の上や部屋の中に多くの物体があるような一般的な実環境における実装を想定しているため,環境に応じた触覚フィードバックを呈示したい.そこで,環境のセンシングを行い,環境の変化にも対応できるシステムを構築する.構成した実験システムを用いて,各触覚フィードバック要素がユーザへ与える影響を調査するための心理実験を行い,考察を行い,知見を得た.   

このページの先頭に戻る

移動体への投影を考慮した複数台プロジェクタドローンの投影輝度最大化のための配置の動的最適化

  • 研究者: 細溝 仁人
  • 論文種別・提出年: 修士論文,大阪大学大学院基礎工学研究科,Mar. 2015.

  今日,ドローンは輸送・撮影・災害調査を始め,多方面で活躍し始めている.また,法整備が進み始めたことで,今後の更なる市場の発展が期待されている.近年では,ドローンの柔軟な移動能力を活かした映像提示デバイスが提案されている.例えば,タブレット端末を搭載したものやプロジェクタを搭載したもの(以下,プロジェクタドローンと記す)が提案されており,公共ディスプレイやモバイルプロジェクタとしての役割を担うことが想定されている.また,これらは複合型現実感(MR : Mixed Reality)技術との親和性が高く,MR技術を利用したサービスの提供も可能となることが期待できる.例えば,歩行者への情報提示や移動体に追従しながらの投影などが考えられ,固定式のディスプレイやプロジェクタと違い,移動を伴う使用に柔軟に対応可能となることが考えられる.その中でもプロジェクタドローンは,現実世界へのCG(Computer Graphics)の重畳表示が可能かつ小型の機器でも大画面を提示できる利点を持つ.しかし,プロジェクタドローンはまだ研究の緒についたばかりの段階にあり,投影時の映像の揺動,投影輝度の低さとそれに伴う投影距離の制限による投影範囲の縮小が課題として挙げられる.映像の揺動を抑制する手法はこれまでにも提案されてきたが,輝度の低下や投影範囲の縮小を解決するアプローチは未だ提案されていない.
  本研究では,プロジェクタドローンの投影輝度の低下と投影範囲の縮小に対する課題解決 のためのアプローチを提案する.具体的には,複数台のプロジェクタドローンによる投影範 囲の拡大とそれらの配置を投影輝度に関して動的に最適化する.   

このページの先頭に戻る

遠隔教育用共有机上に投影された対話者腕の方向一致によるソーシャルプレゼンス強化

  • 研究者: 松蔭 瞭
  • 論文種別・提出年: 修士論文,大阪大学大学院基礎工学研究科,Mar. 2015.

システム概要図   代表的な遠隔教育メディアであるテレビ電話では対話者非言語情報の欠落が生じるため,対話者の非言語情報や作業内容を机上に投影して双方向に共有する遠隔共有机の研究が行われている.従来の遠隔共有机では,対話者の作業内容やジェスチャを共有するために,遠隔地の机上映像をもう一方の机上に投影する.そのため,互いの机上の書面の位置関係が同じでなければ机上の状態と投影内容の位置的整合性が崩れてしまう問題がある.さらに,ディスプレイ上遠隔対話者と対話者腕(机上に投影された対話者のハンドジェスチャ)の方向的不整合から生じる遠隔対話者ソーシャルプレゼンス(対話者が実在しているかのような意思疎通の円滑さ)低下が考慮されていない.ソーシャルプレゼンス強化は心理的距離縮小や参加促進など,教師や学習者に多くのメリットを与える.
  そこで本研究では,ディスプレイ上対話者から対話者腕が伸びてくる遠隔書類座標系共有机を提案することで,上述の二つの問題にアプローチした.机上状態と投影内容の不整合に対しては書類座標系に基づく机上共有を提案することで従来の遠隔共有机の机上書面位置関係の制約を解消し,異なる作業環境間においても位置的に整合された机上共有を実現した.ソーシャルプレゼンス低下に対してはディスプレイ上対話者と対話者腕の方向的整合を提案することで遠隔対話者のソーシャルプレゼンス強化を図り,提案モデルと実寸大ディスプレイ環境の組み合わせによりCo-presence が強化(p < 0:01) されることを確認した.さらに環境に依存せず提案モデルがAttentional allocation (p < 0:01), Affective understanding (p < 0:01), Affective interdependence (p < 0:05), Behavioral interdependence (p < 0:01), Partner Reality(p < 0:01) を強化することを確認した.   

このページの先頭に戻る

Expression Manipulation: Changing Facial Expression with Projection Mapping

  • 研究者: Stanley Mah
  • 論文種別・提出年: テクニカルレポート, Aug. 2015. [pdf]

   Through the use of projectors and computer algorithms, we are able to change the perceived image of a persons face. This is done through a method called projection mapping, which, in a very basic definition, is projecting an image onto an object to change the appearance of the object. For this particular research, the focus will be on facial expressions. The origin of this study came from the “OMOTE/REAL-TIME FACE TRACKING & PROJECTION MAPPING” project who's goal was to express “[beauty] and [make-up art] instead of technological gimmicks and impacts” that projection mapping can create. The project was the first of its kind and so many things had to be created from the ground up, such as a sensor capturing program to capture sensors placed on the face and processing the sensor positions to map CG rendered images to the face using a projector. What was important for the project members was to be able to convey a message through a rich facial expression while allowing the user to be able to move around freely.
   The goal the my study developed was to determine how effective projection mapping is when trying to change a person's perceived facial expression and what are the effects of mixing two different facial expressions together. While mixing different facial expressions together in preliminary testing, it was found that using the same person's face caused little to no difference to the expression so the studies focus was more towards mixing expressions of different people.   

このページの先頭に戻る

非平面投影システムにおける投影面反射率パターンの反復修正に基づく相互反射抑制手法

  • 研究者: 竹田 翔一
  • 論文種別・提出年: 修士論文,大阪大学大学院基礎工学研究科,Mar. 2015.

非平面投影システム   仮想現実感(Virtual Reality: VR) の分野では,プロジェクタを利用した投影システムに関する研究が盛んに行われている.その中でも,高コントラスト投影表示は,重要な技術課題の一つである.平面対象物とは異なり,非平面対象物への投影については,投影面間で発生する相互反射(高次の拡散反射光) を考慮する必要がある.相互反射により,本来表示されるべき画像とは異なり,不自然に明るくなった画像が表示される.これを解決するためさまざまなアプローチが提案されてきたが,プロジェクタのダイナミックレンジが有限なために,完全に相互反射補償を行うことはできていない.そこで本研究では,非平面投影システムにおける相互反射抑制効果を,従来よりも大きくすることを目的とする.
  そこで今回,本研究ではフォトクロミズム(Photochromism) と呼ばれる現象に着目した.フォトクロミズムは,光刺激によってある化合物の状態が可逆的に変化する現象のことを呼ぶ.光刺激には紫外線等の短波長光が用いられ,吸収波長帯も材料ごとに異なり,その変色の種類もさまざまである.本研究では,紫外線を照射すると無色から黒色に変色する性質を持つフォトクロミック化合物を,白色の布地に塗布したものを投影対象として用いることで,投影面反射率の変調を可能とした.フォトクロミズムを利用することで投影面反射率を空間的に変調させる,平面対象物への高コントラスト投影表示のための新たな手法は,すでに提案されている.一方で,フォトクロミズムを利用した非平面対象物への高コントラスト投影表示手法は,未だ提案されてはいない.よって本研究では,フォトクロミズムを利用した非平面対象物への高コントラスト投影表示手法を提案する.具体的には,投影光と投影面反射率パターンの二つの反復修正によって,高コントラスト投影表示を行うシステムを提案する.   

このページの先頭に戻る

Visuo-Thermal Projector: 視覚と温覚に対する非接触情報提示インタフェース

  • 研究者: 武内 真梨奈
  • 論文種別・提出年: 修士論文,大阪大学大学院基礎工学研究科,Mar. 2015.

Visuo-Thermal   温覚は,仮想空間への没入感や仮想物体の現実感を高める重要な感覚である.仮想空間において,仮想物体の温度を再現してユーザに提示することができれば,仮想物体がより自然なものとして知覚されると考えられる.我々は,視覚情報に加えて温覚情報を提示することができるインタフェース「Visuo-Thermal Projector」を構築した.
  Visuo-Thermal Projector は,熱をもつ仮想物体を,3 次元空間で視覚的および温覚的にユーザに知覚させることを想定している.可視光プロジェクタから仮想物体の視覚情報をユーザの身体に投影し,同時に赤外光プロジェクタから仮想物体の温覚情報を投影する.このとき,提案インタフェースが提示する視温覚刺激の対応が,実空間で熱をもつ物体に触れたときに与えられる視温覚刺激の対応と同じように整合していれば,熱をもつ仮想物体があたかも実在しているかのように,違和感なくユーザに知覚されると考えられる.一方で,提示する視温覚刺激の対応に不整合が生じると,ユーザに熱をもつ仮想物体を自然に知覚させることができなくなる可能性がある.さらに,提案インタフェースは視覚情報と温覚情報を同時に提示するため,クロスモーダル錯覚が生じると考えられる.そのため,提案インタフェースにおいて生じるクロスモーダル錯覚が,ユーザが知覚する視温覚刺激の対応に与える影響も考慮する必要がある.   

このページの先頭に戻る

動的プロジェクションマッピングにおける投影対象の位置姿勢推定のための3Dプリンタ出力へのマーカ埋め込み

  • 研究者: 浅山 弘孝
  • 論文種別・提出年: 卒業論文,大阪大学基礎工学部,Mar. 2015.

3Dプリンタ出力へのマーカ埋め込みとプロジェクション結果   複合現実感技術の一つに,色や形状のある三次元物体に投影を行うプロジェクションマッピング(PM) がある.PMでは,投影対象の色や形状に合わせて投影画像の補正を様々に行うため,投影対象の位置や姿勢などを測定する必要がある.この測定は投影対象が動く度に行わなければならないので,PMの投影対象は静的な物体であることが多く,動的な物体を対象としたPMは少ない.
  以上のことから,本研究では動的な物体へのPMに注目する.従来の動的PMの位置姿勢推定手法は,投影対象にマーカを取り付ける手法と取り付けない手法に分けられる.前者には,追跡が行えるように投影対象は緩やかな動きに限られるという制約があり,後者においては,マーカを手作業で貼付することが多いため,手間に加えて誤差が発生して推定精度が低下する可能性がある.
  そこで,本研究では動的PM における位置姿勢推定のために,あらかじめ3D モデルにマーカを埋め込み,3D プリンタで投影対象を作成する手法を提案する.3D モデルに対するマーカの埋め込み,および3D プリンタによる投影対象の作成は,マーカ取り付けの手間と誤差を削減することや,事前のシミュレーションによって位置姿勢推定が正しく行えるようなマーカ配置を自動的に見つけることを可能にするといった利点がある.また,3D プリンタのフルカラー印刷技術により,マーカの色の濃さを自由に変えることが可能である.そのため,色を薄くすることで,プロジェクタの投影によって観測者からマーカを視認できなくすることが可能である.提案手法では,そのようなマーカの色を決定し,任意の方向から安定に位置姿勢推定ができるマーカ配置を遺伝的アルゴリズムによって自動的に算出する.この提案手法による動的PM の実現を本研究の目的とする.   

このページの先頭に戻る

前腕の伸張表現と重畳投影による身体拡張型ユーザインタフェース

  • 研究者: 岡原 浩平
  • 論文種別・提出年: 修士論文,大阪大学大学院基礎工学研究科,Mar.2014.

前腕の伸張表現と重畳投影による身体拡張型ユーザインタフェース   仮想オブジェクトを操作する手法の代表例としては,マウスポインタのような操作対象を用いてポインティングを行う手法があげられる. しかし, マウスを用いた入力手法にはデバイスを把持しなければならないという煩わしさや,ポインタを介しての操作であるため,直接的とは言い難いといった欠点がある.デバイスを介在させない入力インタフェースとして, 最も直観的に対象に働きかけることができると考えられるのは身体そのものであり, 身体の動きを情報入力に適用することでデバイスに制限されない自在な操作が可能となる. また, このような入力インタフェースに加えて, 出力インタフェースに身体のモデルを利用することが考えられる. 操作対象が身体モデルであることにより, ユーザはマウスポインタのような形状の操作対象と比べて, より直観的に操作することが可能になる.
  本研究では,人間の手の拡張である仮想の手 ”Extended Hand” を机や壁面に投影し, これをユーザの手指の動きを用いて仮想オブジェクト等の操作を行うユーザインタフェースを提案する. また, ユーザの手が伸びたかのように見せる Extended Hand の伸張表現の実装を行う. これにより, ユーザは仮想の手である Extended Hand をより自分の身体のように感じ, 仮想オブジェクトに対して, 直接的な操作が行えることが考えられる. 操作性および身体の拡張感の生起を確認するために行った被験者実験においては, 被験者の主観評価アンケートにより, マウスと比べても劣らない操作性と操作対象を自らの身体のように感じる身体の拡張感が生起したことを示唆する結果を得た.   

このページの先頭に戻る

複数台プロジェクタの投影結果推定に基づく画質劣化最小化手法

  • 研究者: 田中 章文
  • 論文種別・提出年: 修士論文,大阪大学大学院基礎工学研究科,Mar.2014.

複数台プロジェクタの投影結果推定に基づく画質劣化最小化手法   投影型複合現実感 (Projection-based mixed reality, MR) の技術は,プロジェクタの小型化・低価格化が進んでいることによってより広く扱われるようになってきている.しかし,投影型 MR には,プロジェクタと投影対象間に他の物体が入ることで,投影対象に影ができてしまったり,プロジェクタと投影対象との距離・角度によって投影結果が本来表示したい投影目標に比べて画質劣化してしまったりするなどの欠点がある.そこで近年,複数台のプロジェクタを用いてこれらの問題を解決する手法や,この手法を用いた場合における投影結果の精度を向上させる手法が提案されている.
  本研究でもこれらの研究同様,複数台のプロジェクタを利用する.そして,投影面をポリゴンという小領域に分割し,各ポリゴン上で各プロジェクタの各画素が投影面上でどのようにボケるかを表す点拡がり関数 (PSF : Point Spread Function) の計算などを用いて最終的に投影像が,各投影面のポリゴン上でどのような投影結果になるかを推定し,本来の投影目標画像と比較することで,最も投影目標に近い投影結果を得られるプロジェクタをポリゴン毎に選択する手法を提案する.   

このページの先頭に戻る

フォーカススイープ投影によるプロジェクタの Depth of Field の拡張

  • 研究者: 三原 翔一郎
  • 論文種別・提出年: 修士論文,大阪大学大学院基礎工学研究科,Mar.2014.

フォーカススイープ投影によるプロジェクタの Depth of Field の拡張   実世界の三次元物体にプロジェクタで投影を行う場合, プロジェクタの焦点の合う深度(Depth of Field: DOF)の狭さが問題となる. プロジェクタは投影像の輝度を高く保つために大きな開口を持っており, そのため DOF が狭いという特徴を持つ. それゆえ,一定の奥行きを持つ三次元物体にプロジェクタで投影を行った場合, 焦点の合っていない領域が生じてしまい, 投影像の品質を著しく落としてしまう.
  そこで, 本研究はプロジェクタの焦点を高速に振動させることで, プロジェクタと投影対象の幾何関係が動的な環境でもプロジェクタの DOF を拡張するフォーカススイープ投影を提案する. プロジェクタの焦点を光軸方向に振動させると, 投影像の焦点ぼけの大小が周期的に変化する. このとき焦点振動の周波数が視覚的に知覚できる限界の時間周波数(臨界融合周波数)より高いと, ヒトは投影光の焦点ぼけを時間積分して知覚する. この時間積分された焦点ぼけは, プロジェクタと投影面との距離に依らずほぼ一定になるという特性を持つ.この特性を利用することで, フォーカススイープ投影はプロジェクタと投影対象の幾何関係が動的な環境でもプロジェクタの DOF を拡張することができる.   

このページの先頭に戻る

Projection-based Mixed Reality for Deformable Surfaces using Infrared Textures

  • 研究者: Parinya Punpongsanon
  • 論文種別・提出年: 修士論文,大阪大学大学院基礎工学研究科,Mar.2014.

Projection-based Mixed Reality for Deformable Surfaces using Infrared Textures   This thesis presents a new projection-based mixed reality technique for augmenting homogeneous and non-textured deformable surfaces with deformed projection graphics. Unlikeprevious techniques that consider the depth information of the surface, this approach estimated the tangential deformation by capturing infrared textures. First, the system painted the infrared ink or embedded the pieces of infrared-based fabric textures on the surface, and estimate the surface deformation using Moving Least Squares technique. Then, the system interpolated the deformation result to a whole surface, Because this technique relies only on the measurement of apparent motion of the surface, it is not limited to a specific deformation characteristic but flexible for several kinds of deformable materials such as viscoelasticity and elasticity. It allows users to interact with the augmented graphics by several method such as touching, pushing, pulling and pinching, because the proposed method apply within-two-frame feature tracking method which suffer from occlusions of user interaction. To ensure real-time and realistic augmentation, author conducted both quantitative and qualitative evaluations to find the optimal parameter, in particular, the number of feature points on the surface where feature tracking are computed between two successive frames. Moreover, the system evaluation showed that the result of deformation estimation was 5.42 pixels difference from that of an accurate off-line feature tracking through a whole captured sequence method on average.
  

このページの先頭に戻る

投影型複合現実感における身体重畳投影によるPseudo-Haptics提示

  • 研究者: 金森 俊雄
  • 論文種別・提出年: 卒業論文,大阪大学基礎工学部,Mar.2014.

投影型複合現実感における身体重畳投影によるPseudo-Haptics提示   近年では,複合現実感環境において,視覚刺激のみを用いて疑似的に触力覚フィードバックを提示する研究が行われている.その提示には Pseudo-Haptics と呼ばれる視覚-触覚間に発生する錯知覚が利用されている.Pseudo-Haptics とは,視覚による知覚と固有受容知覚 (自分で感じている体の動き) との間に上整合が生じた際に,視覚による情報が優勢になるという脳の特性から,固有受容知覚に錯覚が生じる現象のことである.現在では,Pseudo-Hapticsを用いた視触覚システムの大半では,遮蔽型 HMD(Head Mounted Display) や PC モニタなどを用いるビデオシースルー方式の複合現実感環境で研究されている.しかし,視覚情報をプロジェクタからリアルタイムでシームレスに実世界上に重畳する投影型複合現実感(Mixed Reality:MR) 方式の擬似触力覚システムについては,定量的な評価や議論は現在でもあまり進んでいない.
  そこで本研究では,投影型複合現実感環境において,人工的なパターン像として流れる縞模様を身体に重畳投影することによってユーザに移動感覚を提示する手法,手の身体テクスチャ像を身体に重畳投影することによってユーザの形状知覚を操作する手法を提案する.また提案手法の有効性を確かめるために検証実験を行った.
  

このページの先頭に戻る

距離画像計測に基づき触覚フィードバックを付与する投影型上腕拡張ユーザインタフェース

  • 研究者: 新明 拓也
  • 論文種別・提出年: 卒業論文,大阪大学基礎工学部,Mar.2014.

距離画像計測に基づき触覚フィードバックを付与する投影型上腕拡張ユーザインタフェース   本研究の目的は, 身体拡張ユーザインタフェースに触覚フィードバックを付与することで視覚的な問題を解消した, ユーザにとってより扱いやすいインタフェースの設計指針を示すことである. 触覚フィードバックを付与することで, ユーザが操作をしているもの (ポインタ・カーソルなど) の位置を認知するサポートを行うことができ, さらに, 操作したい対象が定まっていれば, 対象までの距離に応じた触覚フィードバックを与えるなどの工夫を行うことで, 対象の周辺までの移動を早めることができるため, 操作したい対象の周辺への到達時間が短くなると考えられる. また, 本研究では, 机の上や部屋の中に多くの物体があるような一般的な実環境における実装を想定しているため, 環境に応じた触覚フィードバックを提示したい. そこで, 環境のセンシングを行い, 環境の変化にも対応できるシステムを構築する.
  本研究では, ユーザからの入力を行う機構, 視覚フィードバックを提示する機構, 環境をセンシングする機構, 触覚フィードバックを提示する機構を提案し, 試作機及び実験システムを構成した. 構成した実験システムを用いて, 触覚フィードバックを与えることで操作性が上がるということを示すための検証実験と, 触覚フィードバックによるユーザへの影響を調査する心理実験を行った.
  

このページの先頭に戻る

カメラ画像と内界センサによる位置姿勢推定に基づく自律飛行プロジェクタの揺動投影像幾何補正

  • 研究者: 細溝 仁人
  • 論文種別・提出年: 卒業論文,大阪大学基礎工学部,Mar.2014.

カメラ画像と内界センサによる位置姿勢推定に基づく自律飛行プロジェクタの揺動投影像幾何補正

  近年,安価かつ高性能なプロジェクタの開発により,医療分野やアート分野など多くのシーンにおいて投影型複合現実感技術の積極的な導入が見られ,今後もプロジェクタの使用シーンは増加することが予測される.これまでにハンドヘルドプロジェクタを用いたインタラクションやウェアラブルシステムとしてプロジェクタを装着する方法が提案されており,プロジェクタを設置することができない環境での重畳表示による情報付加も可能となっている.しかし,このような把持や装着を要求するシステムは,ユーザの動きを制限したり装着による負担を与えたりする.
  そこで,本研究では自律飛行プロジェクタを提案する.これは,自律飛行ロボットにプロジェクタを搭載したプロジェクションシステムであり,装置を装着する必要がなくなるためユーザの負担が軽減される.また,高所への投影や人が立ち入ることのできない位置からの投影が可能となるため,投影可能範囲の拡大が見込まれる.しかし,自律飛行ロボットは風などの外乱に弱く,所望の位置で完全に静止させることは困難である.そのため,投影像に揺れが生じて投影対象から外れてしまう恐れがある.本研究では,カメラ画像と内界センサによる自己位置推定結果を用いた揺動投影像の幾何補正手法を提案する.
  

このページの先頭に戻る

投影型遠隔教育支援システムにおける書類座標系に基づく机上書類位置制約の緩和

  • 研究者: 松蔭 瞭
  • 論文種別・提出年: 卒業論文,大阪大学基礎工学部,Mar.2014.

投影型遠隔教育支援システムにおける書類座標系に基づく机上書類位置制約の緩和   近年,通信インフラの構築が進み,インターネットなどのネットワーク環境が充実してきた.そして,利用できる装置,サービス,情報が多様化し,ユーザとのインタフェース機器としての情報機器の新規開発がますます激しさを増している.これらにより,遠隔地にいる人とのコミュニケーションが容易になり,現在では遠隔協調作業システムの研究が盛んに進められている.既存の情報端末を用いて遠隔協調作業を行う場合には,作業者間の共通作業領域が情報端末上に限られるという制約がある.そのため,ペンと紙を用いた生徒の学習指導などの,どちらか一方 (もしくは両方) が机上で作業した方が好ましい作業には,既存の情報端末の使用が適切でないという問題点がある.そのため,近年の遠隔協調作業システムの研究では,プロジェクタを用いて遠隔作業者の作業内容を机上に投影する机上用投影型遠隔協調作業システムの研究が行われている.
  既存の机上用遠隔協調作業システムでは,遠隔作業者の作業内容を机上に投影する際の座標系として,机上の固定の座標系を用いる.これにより,一方の遠隔作業者の作業内容が投影された書類を移動すると,書類内容と投影内容の幾何的整合性が崩れてしまう.これにより,作業者が自由に書類を移動することができないという問題が生じる.特に,両者のそれぞれの机上にある書類上で遠隔協調作業を行う場合,それぞれの机上における書類の位置関係が同じでなければならないという制約が生じる.そこで本研究では,机上書類の座標系を利用して,遠隔作業者の作業内容を投影する遠隔教育支援システムを実現することで,机上における書類の位置関係の制約の緩和を図る.
  

このページの先頭に戻る

HDR投影ディスプレイのためのフォトクロミズムを利用した反射率動的制御

  • 研究者: 日野 直登
  • 論文種別・提出年: 修士論文,大阪大学大学院基礎工学研究科,Mar.2013.

HDR投影ディスプレイのためのフォトクロミズムを利用した反射率動的制御   プロジェクタの投影ハイダイナミックレンジ化は,仮想現実感や複合現実感におけるユーザの没入感を向上させる可能性が高く,重要な研究課題である.プロジェクタ本体から出力する光自体のダイナミックレンジを向上させる研究も数々行われている一方,投影物体の反射率を変調することによって,プロジェクタ投影の反射光のダイナミックレンジを向上させる研究が行われている.
  本研究では紫外線を照射すると発色(反射率が変化)する性質をもつフォトクロミック化合物を投影面に塗布し,それに空間変調した紫外線を照射することによって,動的に発色パターンを変化させ,動的なコンテンツに対しても投影光の HDR 化を実現する.
  フォトクロミック化合物の反射率を動的に変調するため,本研究では現代制御理論による制御を導入した.フォトクロミック化合物は発色と消色の時定数が大きく異なるため,MLDシステムによるモデル化を行い,最適制御を行うことを提案する.実機実験にて.時間応答と現在の状態を考えない手法と提案手法を比較した結果,提案手法のほうがより目標に近い反射率を実現することがわかった.   

このページの先頭に戻る

実影および仮想影の身体性を利用した情報の閲覧とポインティング

  • 研究者: 三木 麻理子
  • 論文種別・提出年: 修士論文,大阪大学大学院基礎工学研究科,Mar.2013.

実影および仮想影の身体性を利用した情報の閲覧とポインティング   近年タッチセンシング技術の向上により,PC ディスプレイやスマートフォン,そしてタブレット端末等のパネルディスプレイに表示された情報に対し,利用者が手指などの自らの身体を介して直接アクセスすることが可能となっている.このような情報へのアクセス方法は利用時にマウスやキーボード等の入力デバイスを把持する必要がなく,事前にコンピュータ操作への学習を要さない.そのため,ユーザが直感的にコンピュータにアクセスすることが可能であると考えられる.
  しかし,直接手指でパネルに触れるという行為は,操作の範囲がユーザの体肢の届く範囲内に限られるといった制約を有する.そのため,大画面ディスプレイの端に触れる操作等の,ユーザの身体と物理的に距離が離れた対象に触れる操作には適切でない.
  そこで,操作対象がユーザの体肢の届く範囲に収まらないような場合には,身体で直接触れてコンピュータ操作を行うのではなく,操作対象から離れた位置から非接触な入力によってコンピュータの操作を行う Distant User Interface (DUI) の導入が望ましい.
  本研究では,DUI としてユーザ自身の身体運動との対応がとりやすい,影を利用したインタフェースに着目し,テーブル型コンピュータ端末で情報を閲覧するための実影を用いたインタフェースおよび,着席した状態で大画面ディスプレイ上の操作対象をポインティングするための仮想影を用いたインタフェースを提案する.   

このページの先頭に戻る

6スペクトルバンドプロジェクタによる投影色補正

  • 研究者: 武内 真梨奈
  • 論文種別・提出年: 卒業論文,大阪大学基礎工学部,Mar.2013.

6スペクトルバンドプロジェクタによる投影色補正   プロジェクタ技術の向上に伴い,娯楽や医療,アートなど様々な場面でプロジェクタが使用されている.その中で,理想的な白色スクリーン上だけにとどまらず,壁や天井など様々な場所へ映像を投影したいというニーズはますます高まっている.その中で重要となるのが,投影色補正という技術である.投影色補正とは,投影面に目標となる色を正しく再現するために,投影像の色をあらかじめ補正しておくことである.
  投影色補正の技術も近年飛躍的に向上し,模様のコントラストが低く比較的反射率の高い投影面であれば,模様の存在をほとんど感じさせないほど自然な投影ができるようになってきている.ところが,従来の手法では投影色補正を行っても依然として投影面の模様が投影結果に現れてしまう場合がある.これは,プロジェクタからの投影光がR,G,Bの3色であり,それぞれの分光特性が波長に大きな幅を持って分布していることが一因と考えられる.
  そこで本研究では,プロジェクタのスペクトルを従来の3バンドからより細かい6バンドに分割することによって,従来より精度の高い投影色補正を行う手法を提案する.本手法は,スペクトルを分割するフィルタを用いてプロジェクタから出るRGBのスペクトルをそれぞれ二つに分割し,ひとつひとつのスペクトルの分布を狭めることで,従来手法の欠点を補う.そうすることで,今までRGBの3次元で制御していた投影色を6次元で制御できるようになり,より柔軟な投影色補正が可能になると考えられる.   

このページの先頭に戻る

フォトクロミズムを利用した没入型ディスプレイ投影面の相互反射補償および高コントラスト化

  • 研究者: 竹田 翔一
  • 論文種別・提出年: 卒業論文,大阪大学基礎工学部,Mar.2013.

フォトクロミズムを利用した没入型ディスプレイ投影面の相互反射補償および高コントラスト化   近年,仮想現実感 (Virtual Reality: VR) の分野では,没入型ディスプレイと呼ばれる,複数のスクリーンで構成される投影型システムが開発され,産業や建築など様々な分野で利用されてきた.しかし,複数のスクリーンで構成されるシステムには,スクリーン間で発生する相互反射と呼ばれる現象によって,本来表示されるべき画像よりも明るい画像が表示されてしまうという問題がある.また,プロジェクタのコントラストが小さいため,投影目標を自然に表示できないという問題がある.本研究では,この没入型ディスプレイをはじめとする,複数の非平面スクリーンで構成されるシステムで発生する,相互反射と低コントラストを同時に補償する手法を新たに提案する.そこで,本研究はフォトクロミズム (Photochromism) と呼ばれる現象に着目する.フォトクロミズムとは,フォトクロミック化合物と呼ばれる物質が,ある波長の光を吸収して変色する現象のことである.本研究では,紫外線を吸収すると黒色に発色するフォトクロミック化合物を用いて,スクリーンの反射率を変調させるという手法を用いる.スクリーン上にこのフォトクロミック化合物を塗布することで,スクリーンの反射率を変調でき,スクリーンの反射率最大最小比を大きくすることができる.この変調された反射率と,投影画像の重畳表示により高コントラストな画像を表示することができる.プロジェクタのコントラストを(cp : 1),スクリーンの反射率最大最小比を (cs : 1) とすると,このシステムのコントラストは理論上 (cpcs : 1) となるため高コントラストな表示が可能になる.本研究では,原理確認のために市販のフォトクロミック化合物と紫外線LEDを準備し,プロジェクタとカメラを用いて,二つの平面スクリーンを垂直に配置するシステムを構成した.フォトクロミック化合物を利用して6パターンの投影画像に対して,フォトクロミズムを用いた反射率変調と相互反射補償を施した画像を重畳投影する実験を行い,画像の輝度推移を調べた.   

このページの先頭に戻る

Fast Focal Length Swept Projection for Extending Depth of Field

  • 研究者: David Samuel
  • 論文種別・提出年: 修士論文,大阪大学大学院基礎工学研究科,Sep.2012.

Fast Focal Length Swept Projection for Extending Depth of Field   Nowadays, projectors are getting more common to be used in many interactive applications. Its usage is not only limited on fixed setup, which producing fixed display, but it’s already being utilized in such a way that allow dynamic projection on arbitrary environments. However, this advantage comes at various consequences, such as problems in distorted projection display, and limited in-focus area of projection display.
  This thesis presents a method for controlling the focal lengths of a projector’s lens to reduce defocus blur and preprocessing the image before projected to the surface, hence realizing a wider depth of field (DOF) projection. In general, a projector has a large aperture to maintain the brightness of projected imagery, and therefore, has a narrow DOF. By applying an electrically tunable lens (ETL) to the objective part of a projector, we can project series of images focused at various distances in a video rate by rapidly change its focal length. This technique can be used in leveraging the using of mobile projection systems where the projection plane changes continuously with time, and in projection-based virtual and augmented reality applications where images are normally prjected onto non-planar surfaces.   

このページの先頭に戻る

投影型上均一解像度ディスプレイにおける画像劣化を抑えた高解像度投影像移動経路計画

  • 研究者: 児玉 敬
  • 論文種別・提出年: 修士論文,大阪大学大学院基礎工学研究科,Mar.2012.

投影型上均一解像度ディスプレイにおける画像劣化を抑えた高解像度投影像移動経路計画   プロジェクタ投影像に指やペンなどで触れることで操作を行える投影型インタラクティブシステムでは,投影像を近距離で閲覧するため,例えば細かい文字や,画素数の多い画像などが投影される場合では高い解像度が必要となる.しかしながら,一般的にこのシステムで用いられるプロジェクタはこの条件を十分に満たしていない.そこで,複数台のプロジェクタを用いて投影することで画素数を増加し解像度を向上させることができると考えられる.しかしながら,高い解像度が必要な領域は全表示領域の一部のみであり,単純にタイル状に投影像を並べるだけでは必要のない領域の解像度も均一に向上させてしまう.これに対し,高い解像度が必要な一部の領域み高解像度表示させ,必要でない領域は低い解像度で表示することを可能にするシステムが提案されている.
  本研究では,こういったシステムで動画を表示する場合に,投影像の移動による画質劣化を考慮した投影像の移動経路計画手法を提案した.この手法では,単純に各フレームの最適投影領域に高解像度投影像が移動する手法(ナイーブ手法)よりも画質劣化が生じているフレームが少なくなり,投影像が静止しているフレームでは注視領域周辺の高周波成分を多く含む領域が高解像度表示されるよう設計した.投影像の画質評価の為の被験者実験を行ったところ,主観的な画質比較実験では,シミュレーション実験においては,6 コンテンツ中 5コンテンツにおいて,8 割以上の被験者がナイーブ手法よりも提案手法の方が高画質であると答えた.また実機では,4 コンテンツ中全コンテンツにおいて,8 割以上の被験者が提案手法の方が高画質であると答えた.実機を用いた図形判別による客観的画質評価実験においては,ナイーブ手法での正答率が 48 %であるのに対し,提案手法では 68 %の正答率が得られた.   

このページの先頭に戻る

三次元カラー迅速造形物へのマルチプロジェクション重畳による高コントラスト立体ディスプレイ

  • 研究者: 島津 冴子
  • 論文種別・提出年: 修士論文,大阪大学大学院基礎工学研究科,Mar.2012.

三次元カラー迅速造形物へのマルチプロジェクション重畳による高コントラスト立体ディスプレイ   近年,三次元計測技術や CG(Computer Graphics)の発達により,デジタル 3D モデルや奥行き情報を持ったコンテンツが工業・エンターテイメント分野などで頻繁に利用されている.それに伴い,そういったコンテンツを立体的かつ実在感高く表示するためのディスプレイ装置の研究が盛んに行われるようになった.その中でも,投影型複合現実感を利用し立体物にプロジェクタからテクスチャを投影するタイプのディスプレイ装置では,特殊な眼鏡や視差障壁を利用したタイプの立体ディスプレイと比較して VR 酔いや輻輳矛盾などを生じにくく,非常に実在感が高いという利点がある.複数台プロジェクタを利用した投影型複合現実感システムでは,その複数台プロジェクタの配置が注目され,なるべく投影対象の全体に投影を行うことができたり,あるいはテクスチャの目標色を達成するための適切なプロジェクタ最適配置を求める研究が多数行われてきた.しかし,今までその表示コントラストや解像度については注目されてこなかった.
  本論文では,投影型複合現実感を利用して,高画質に対象を表示するディスプレイシステムを提案する.その画質として,投影領域や投影輝度に加えて解像度やコントラストにも注目する.従来,投影型複合現実感の投影対象としては,白色模型あるいはあらかじめテクスチャが与えられている物体を用いてきた.しかし,提案手法では RP(Rapid Prototyping) 技術を用いて適切な投影対象のテクスチャを求め,その出力に複数台プロジェクタから投影重畳を行うことにより高コントラスト表示を実現する.さらに,従来マルチプロジェクションシステムで問題となっていたプロジェクタ配置問題,目標設置位置に対する配置ズレの問題を解決するため,少ないプロジェクタ台数でユーザの目的に沿った高画質な投影を行うプロジェクタ最適配置導出手法,及び配置ズレを軽減するための設置手法を提案する.   

このページの先頭に戻る

投影型複合現実感における投影文字の可読性を考慮した重畳アノテーションの適応レイアウト

  • 研究者: 矢引 達教
  • 論文種別・提出年: 修士論文,大阪大学大学院基礎工学研究科,Mar.2012.

投影型複合現実感における投影文字の可読性を考慮した重畳アノテーションの適応レイアウト   対象理解の促進に役に立つアノテーションは,百科事典・地図のような二次元の媒体だけでなく,立体物にも付与され利用されてきた.近年では,現実空間に仮想情報を視覚的に重畳合成できるという特長から,複合現実感(Mixed Reality : MR)技術の主要なアプリケーションとして実対象へのアノテーションが利用されており,実対象に付与された大量のアノテーションを分かりやすくユーザに提示する手法に関する研究が盛んに行われている.
  従来,その提示手法として MR 技術の一方式であるビデオシースルー方式を利用する研究が盛んに行われてきたが,特殊なデバイスの装着または把持が必要である点などから,例えば博物館の展示品など,一般の方々に見られることを目的とした対象に付与されたアノテーションを提示する場合にはあまり望ましくない.そこで,本研究では実物体の表面に直接仮想情報を重畳させるプロジェクション方式を採用する.
  投影型 MR 技術を用いて立体物に付与されたアノテーションの提示を行う際には,アノテーションのレイアウトを行う際に留意すべき点に加え,投影型 MR 技術特有の問題を考慮しなければならず,特に投影面の状態により投影像の可読性が大きく低下するという問題が大きい.そこで本研究では,投影文字の可読性を考慮することで,投影面の状態に適応的なアノテーション情報のレイアウトを求めるシステムを提案する.
  提案システムでは,投影に適する面の条件と良いラベル配置の条件を同時に満たすような評価関数を設定し,遺伝的アルゴリズム(GA)を用いてその最適化を行う.評価関数の可読性項には,投影文字の歪み・影,背景輝度のコントラストによる投影文字の可読性への影響を調査した基礎実験の結果を用いる.
  本論文では,実環境中の投影文字の可読性を比較する心理物理学実験を行い,基礎実験の結果をもとに定義した投影文字の可読性を表すモデル関数が実環境における投影文字の可読性計算に適用可能であることを検証する.また,評価関数の可読性項の重み付けの異なるレイアウトにしたがって実対象に投影したアノテーションの可読性を比較する実験を行い,提案システムの有用性を示す.
  提案システムにより,複数人が同時に観察するような実環境中の立体物に対して,可読性が?なわれないようなアノテーション情報のレイアウトを行うことが可能となり,ユーザにとって分かりやすい注釈情報の提示が実現可能となる.   

このページの先頭に戻る

投影対象面の反射特性の空間的上連続領域での高解像度カメラを用いた高精度色補正投影測

  • 研究者: 三原 翔一郎
  • 論文種別・提出年: 卒業論文, 大阪大学基礎工学部, Mar. 2012.

投影対象面の反射特性の空間的上連続領域での高解像度カメラを用いた高精度色補正投影   プロジェクタによる複合現実感の基盤技術として, カメラとプロジェクタで構成されるシステムによる色補正投影技術が提案されている. 色補正投影とは, カメラで投影対象を撮影し, その結果から得た投影対象面の反射特性を考慮することで, 白色の反射特性を持たない投影対象に, 所望の色を映し出す投影技術である. この技術によって, 投影対象が従来のスクリーンのような白色平面でない場合でも所望の色を映し出すことができ, より汎用性の高い複合現実感を提供することが可能となる.
  しかし, プロジェクタの投影対象面上での解像度が低い場合, 投影対象面の模様のエッジ部分のように反射特性が上連続に変化する領域では, 色補正投影の精度が悪化する問題が生じている. 投影対象面の反射特性が上連続に変化する領域では, プロジェクタ1画素内で投影対象の反射特性が大きく変化するため, 意図しない色が反射されることになり精度が悪化する.
  そこで, 本研究は, 高解像度カメラを用いて投影対象の反射特性を密に計測し, 得られた反射特性情報に平均化処理や最小二乗法を用いることで, プロジェクタ1画素内での反射特性の変化の影響を最小限にする, より高精度な色補正投影手法を提案する. 本研究では, 高解像度カメラを用いた提案手法の有効性を確かめるため, 高解像度デジタルカメラと一般的なプロジェクタを用いて, 上連続な反射特性を持つ対象に対して色補正投影を行う実験を行った. また, 投影結果と目標画像の色差で評価を行い, その結果を調べた.  

このページの先頭に戻る

符号化スリット光による三次元形状計測

  • 研究者: 池田 和人
  • 論文種別・提出年: 修士論文, 大阪大学大学院基礎工学研究科, Mar. 2011.

符号化スリット光による三次元形状計測   物体の詳細な寸法や形状の計測が必要とされるシーンは数多く存在する.例えば,工場における生産ラインの自動化や量産部品の精度検査,壊れやすい文化財の恒久形状保存,更には歯科における施術前歯列形状の保存などである.更に一般家庭向けのゲーム機にも取り入れられるなど,その応用分野は現在も広がっている.形状計測の利用シーンが広がるにつれて,その利用の形態も従来の整備された据え置き型環境での計測から,計測対象のの存在する場所に出向きそこに環境を配置して行う計測へと広がってきた.そしてその結果,計測システムの設置や移動が煩雑でないシステムが求められるようになった.高精度かつ比較的安価に実装可能な三次元計測手法の1つにアクティブステレオ法がある.アクティブステレオ法ではプロジェクタから物体に光を投影し,その反射をカメラを用いて観測する.物体全体に一様な光を投影すると計測が困難であるため,対象に局所的に光を投影し走査と撮影を繰り返す必要がある.それに対して符号化した光を対象全体に投影することで走査・撮影の回数を減らすことのできるパターン光投影法が提案されている.本研究では,計測システムの設置が容易におこなえ,かつ短時間で計測をおこなえる手法を提案する.提案手法では計測システムの設置を容易にするため,計測治具を用いた同時校正を行う.計測対象と合わせて治具にスリット光を投影し撮影することでカメラの外部パラメータの校正とスリット平面の推定が可能であり,これにより事前のカメラ・プロジェクタの校正を行う必要がないためシステムの設置・移動が容易になる.また短時間で計測を行うために,パターン光を用いて計測を行う.提案手法では,パターン光投影法において複数のスリットを含むパターンを用いる場合に問題となるプロジェクタ画像上のスリットラインとカメラ画像上の輝線の対応付けを,スリット光の符号化により求める手法を提案する.スリット光の符号化には色変調は用いず,2値の輝度を用いた輝度変調のみを用いる.また各スリットごとに符号化を行うために,復号の際に複数のスリットを参照する必要がない.   

このページの先頭に戻る

複数方向からの多重投撮影による遮蔽物形状計測および投影像影補償

  • 研究者: 長瀬 百代
  • 論文種別・提出年: 修士論文, 大阪大学大学院基礎工学研究科, Mar. 2011.

複数方向からの多重投撮影による遮蔽物形状計測および投影像影補償   近年,プロジェクタの小型化・低価格化が進んでいる.それに伴い,プロジェクタを用いて,様々な平面を情報提示あるいはインタラクションに用いるという,投影型複合現実感(MR: MIxed Reality) 環境に関する研究が盛んに行われている.しかしながら,そのような環境においてはユーザの影によって投影が遮蔽されるという問題がしばしば起こる.加えて,投影対象面を任意とし,ユーザの動きの自由度を上げれば上げる程,投影対象上に影ができる頻度が上がる.これを解決するために,影になっているプロジェクタを検出し,遮蔽されていないプロジェクタより投影を行うことで,投影面に影ができるのを防ぐ.また,遮蔽されているプロジェクタを認識する妥当な案の1 つとして,位置姿勢の既知なプロジェクタを用意し,遮蔽物をカメラで観測し,遮蔽物の位置を取得するという手法が考えられるが,遮蔽物の持つ反射率によっては,遮蔽物部が背景に分類されるという誤認識により,うまく影を補償することが困難になる.本論文ではこれらを解決する手法として,複数カメラを用いた,任意の遮蔽物が入ってきた場合にも対応可能な影除去手法を提案する.複数カメラの画像から,物体の形状をVisualHull を用いて復元し,その形状情報を基に投影の遮蔽が起こらないプロジェクタから投影を行うことで,ユーザーの観測する像を遮蔽なく投影することを可能とする.本提案法では,物体の形状を取得しているため,ユーザのインタラクション検出も同時に可能である.   

このページの先頭に戻る

伝播性時空間映像を適用した超低速度光の仮想表現- Snail Light Displays -

  • 研究者: 松崎 圭佑
  • 論文種別・提出年: 修士論文, 大阪大学大学院基礎工学研究科, Mar. 2011.

伝播性時空間映像を適用した超低速度光の仮想表現- Snail Light Displays -   近年,複合現実感(MR: Mixed Reality)技術を日常的に体験できない物理現象を再現したり,物理的に再現の難しい環境を仮想的に構築するといったエデュテインメント分野へ応用した研究が増えている.本研究では光速度を仮想化する物理現象の対象とし,例えば速さ10[cm/s] のように非常に低速な光である”超低速度光”を考え,それらが存在する仮想空間をMR技術を用いて構築することを目指す.超低速度光の伝播では,観測者は物体のリアルタイムな状態を観測できず,物体との距離に応じて遅延した状態が観測される.また,物体と観測者の間の空間に様々な時刻に放出された光が存在するという現象が生じる.このため,観測者の空間位置の変化させることで,観測される光の時刻を変化させることができ,このインタラクションにより,ユーザは超低速度とのインタラクションを知覚すると考えられる.超低速度光の存在する仮想空間を表現する技術として,本研究では時間経過によって各フレームの位置が移動していく伝播性を持った時空間映像を適用した.よって本研究では,伝播性を持つ時空間映像を実空間中にマッピングし,超低速度光が存在する仮想空間を表現した複合現実感システムとして”Snail Light Displays”を提案する.時空間映像を切る面をスクリーンや液晶ディスプレイなどのユーザが把持する表示デバイスとした.Snail Light Displays では,様々な時刻のフレームが空間中に存在するので,ユーザは表示デバイスを動かすことで表示されるフレームの時刻を変化させることができる.本研究では,時空間映像の光源やコンテンツにより,Snail Light Displays を4 種類にモデル化し,それぞれのプロトタイプシステムを実装した.Snail Light Displays は超低速度光という仮想物理現象の存在をユーザに知覚させ,超低速度光とのインタラクションを実現したエデュテインメントシステムと位置付ける.   

このページの先頭に戻る

投影型複合現実感による文書探索・収紊支援

  • 研究者: 松下 和弘
  • 論文種別・提出年: 修士論文, 大阪大学大学院基礎工学研究科, Mar. 2011.

投影型複合現実感による文書探索・収紊支援   本棚は限られたスペースに文書を効率よく収紊・管理することができる設備として,家庭やオフィスなど多くの場所で用いられている.しかしながら,本棚を利用する上で,問題点もいくつか存在する.文書の背表紙に表記できる情報は限られているため,探索者は文書を一冊ずつ本棚から取り出して確認する必要があり,時間と手間を要する(探索問題).また,収紊された文書の並びを厳密に継続的に管理するには多くの時間と手間が必要である(収紊問題).一方,近年のプロジェクタの低価格化・小型化・高輝度化によって,多くのプロジェクタが生活空間に設置され,人々の日常生活を支援する環境の構築が,今後,より進んでいくと考えられる.本研究では,このような環境を想定し,投影型複合現実感技術を用いて,本棚での文書の探索・収紊支援を効率的に行うシステムを提案する.上記の問題点を解決する手法として,まず,探索問題に対して,ユーザが指先で本棚の棚表面をなぞると,指先の接触位置の真上及びその周辺に収紊されている文書の表紙画像が,その背表紙に投影表示される「表紙画像の表示による探索支援《を提案する.これによって,ユーザはわざわざ文書を本棚から取り出す必要なしに,背表紙よりも情報量の多い表紙画像を確認できるため,探索効率の向上が期待できる.次に,収紊問題に対して,文書を本棚に接近させると,ガイド光を投影して以前の収紊位置を指示する「収紊位置の投影指示による収紊支援《を提案する.これによって,ユーザは文書の収紊位置を継続的に管理することが可能となる.提案システムでは,利用の際にユーザが特殊な装置を何も身に付ける必要はない.また,ユーザの操作空間と情報の表示空間を探索空間である本棚上で一致させることで,効率的な文書の探索・収紊支援を可能とする.   

このページの先頭に戻る

瞬時三次元形状復元のための多重2次元符号化コード光投影法

  • 研究者: 土屋 寛
  • 論文種別・提出年: 卒業論文, 大阪大学基礎工学部, Mar. 2011.

瞬時三次元形状復元のための多重2次元符号化コード光投影法

  物体の形を計測することはあらゆる分野において必要上可欠な技術である.近年,工業分野を中心に静止物体に対する三次元形状復元が実用化されてきている.一方で,運動物体に対する形状復元は静止物体に比べ多くの問題がある.また,静止物体についても,既存手法において全周の形状復元を行うには,対象をターンテーブルの上に置くなどして複数回に分けて形状復元を行う必要がある.三次元形状復元手法の一つに,形状復元に必要な情報をコード化したパターンを対象物体に投影する,能動的計測であるパターン光投影法がある.この中でも,時上変のパターン光を投影する手法が運動物体の形状復元に適していると考えられている.しかし,この手法ではパターン光が複雑になり,復号が難しいとされている.そこで,本研究では重畳分離・ 識別が可能な,2 次元パターン光を同時に複数投影することで,運動物体の高密度で且つ高フレームレートな三次元形状復元を得ることを目的とする.また,このようなパターン光を用いることで,対象の全周三次元形状を一度に復元することも可能となる.本研究ではこのパターン光を2 次元符号化コードと呼び,M系列をマンチェスタ符号化した信号列を元に生成する.   

このページの先頭に戻る

フォトクロミズムを利用した投影面の時空間反射率変調による高コントラスト投影表示

  • 研究者: 日野 直登
  • 論文種別・提出年: 卒業論文, 大阪大学基礎工学部, Mar. 2011.

フォトクロミズムを利用した投影面の時空間反射率変調による高コントラスト投影表示

  近年,プロジェクション型MR (Mixed Reality) に関する研究が盛んに行われている.特に,立体物に投影し,より現実世界に近い表現を可能にする研究がなされているが,そこにはプロジェクタのコントラストが低いという問題がある.現実世界のコントラストはプロジェクタのコントラストより遥かに大きいので,コントラストを高めることができれば光による煌めきなどより現実世界に近い表現が可能となる.本研究では,フォトクロミズムを利用してプロジェクタ投影面の反射率を変調することで,高コントラストな表現を可能にする手法を提案する.フォトクロミズム(photochromism)とは,光などの電磁波照射により可逆的に物質の吸収波長帯が変化する現象で,フォトクロミズムを引き起こす化合物を特にフォトクロミック化合物と呼ぶ.フォトクロミック化合物をインク状にして塗布することで,対象物体の反射率を変調することができる.プロジェクタのコントラストを(c1 : 1),投影面の反射率最大最小比を(c2 : 1)とすると,このシステムのコントラストは理論上(c1c2 : 1)となるので高コントラストな表示が可能となる.本研究では,フォトクロミズムを利用した投影面の反射率変調の有効性を確かめるため,紫外線LED と市販のフォトクロミック化合物,プロジェクタ-カメラシステムを用いて高コントラストな画像を生成する基礎実験を行い,コントラストで評価を行った.   

このページの先頭に戻る

ハンドヘルドプロジェクタの遅延投影と手姿勢変化を活用したユーザインタフェース

  • 研究者: 木室 俊一
  • 論文種別・提出年: 修士論文, 大阪大学大学院基礎工学研究科, Mar. 2010.

ハンドヘルドプロジェクタの遅延投影と手姿勢変化を活用したユーザインタフェース   近年,光半導体技術の革新により小型プロジェクタの普及に拍車がかかっている.小型化により従来のモバイル端末にプロジェクタが搭載され,スクリーンの場所を選ばず,日常に存在する壁に映像を投影するような状況が訪れると考えられる.ハンドヘルドプロジェクタは,現在の小型表示ディスプレイを搭載したモバイル端末では行うことが出来ないような大画面投影に基づいたインタラクションを可能にすると考えられる.ハンドヘルドプロジェクタはモバイル端末でありながらも,大型画面を投影できることが強みである.ユーザが投影した大型画面を見てアプリケーションを操作する時,ユーザはモバイル端末の入力インタフェースと投影画面を交互に見て操作しなければならず,入出力空間の一致したユーザインタフェースが必要である.ハンドヘルドプロジェクタを保持しながら行える手の運動にはレーザポインタのように指す動作や,手首を捻る動作などの日常動作とコンピュータの操作方法を結びつけれる動きも存在するため,手の運動を用いたインタフェースは習得が容易である.また,日常的な経験から,自身の手の運動は目で確認することなく行えると考えられる.よって,手の運動によるハンドヘルドプロジェクタの姿勢変化でコンピュータとインタラクションするシステムが有用であると考えられる.本研究では,プロジェクションする投影画像を手姿勢変化に対して遅延投影させることにより,ウィンドウ投影を行いながらも手姿勢変化で投影ウィンドウ内を操作できる手法を提案する.提案するDelayingWindow 投影は,投影画像をプロジェクタの光軸に対してあえて遅延して追従する制御を行い,カーソルと投影画像の制御を一時的に分離することで手姿勢変化を用いて投影画像内コンテンツのポインティングによるターゲット選択を可能とする.また,投影画像の遅延が安定化制御の役割も担い,手振れの問題も解決する.投影遅延時間とそれが操作性に与える影響に関して実験を行い,Delaying Window メタファのハンドヘルドプロジェクタインタラクションを行う際のデザイン指針を示した.最後に,手姿勢変化を活用した操作方法を提案し,ビデオ操作アプリケーションを開発して応用への可能性を示した.
  

このページの先頭に戻る

投影光の2次元符号化による間接反射にロバストな三次元形状計測

  • 研究者: 古瀬 達彦
  • 論文種別・提出年: 修士論文, 大阪大学大学院基礎工学研究科, Mar. 2010.

投影光の2次元符号化による間接反射にロバストな三次元形状計測 /   物体の形を計るということは特に工業分野を中心に必要上可欠なことである.また近年,密な三次元の形状を取得する三次元形状計測が実用化されきている.工業分野はもちろん,医療,?飾,建築,考古学といった様々な分野に適用されつつある.それに伴って,計測対象となる物体の種類も増えている.そのため計測対象の特性(大きさ,色,動き,材質など)に合わせて各手法が提案されている.中でも光源から何らかのパターンを物体表面に投影し,その様子を観測することによって計測を行う能動的計測手法は非接触,非侵襲かつ高精度に計測できるという利点がある.この手法の前提として光源から物体表面に到達した光がその到達した点で反射してカメラで観測されることを前提としている.しかし光の反射現象は複雑なものであり,必ずしもこの前提を満たすとは限らない.一般的に物体の表面で反射された光には直接反射成分と間接反射成分と呼ばれる二つの要素がある.直接反射成分とは物体表面に到達した光が到達した点で反射をする光のことをいう.つまり,前述した前提を満たすので三次元形状計測において,理想的な光といえる.一方,間接反射成分とは到達した光が,その到達した点とは異なる点から放射されて観測される光のことをいう.間接反射成分の例として,表面下散乱や相互反射がある.表面下散乱とは物体内部に光が入り込み,投影した光が滲んだように見える現象のことであり,半透明物体で観測される.また相互反射とは一度物体表面に当たった光が再び光源として他の領域を照らす現象のことをいう.これらは前提を満たさず,計測精度を低下させる原因となる.そこで本研究では直接反射成分と間接反射成分を分離し,直接反射成分のみを利用することによって計測精度の向上を目的とする.具体的には投影パターンの各点を周期的擬似乱数であるM系列を用いて時間軸方向に変調する.間接反射成分の影響の抑制には以下の二つの原理を用いる.一つは,直接反射成分と間接反射成分の周波数特性の違い,もう一つは投影パタンと観測輝度値の同期検波を用いる.
  

このページの先頭に戻る

複数台のパンチルトプロジェクタによる投影コンテンツに適応的な上均一解像度ディスプレイ

  • 研究者: 児玉 敬
  • 論文種別・提出年: 卒業論文, 大阪大学基礎工学部, Mar. 2010.

複数台のパンチルトプロジェクタによる投影コンテンツに適応的な上均一解像度ディスプレイ /   プロジェクタ投影像に指やペンなどで触れることで操作を行える投影型インタラクティブシステムでは,投影像を近距離で閲覧することが多いため,例えば細かい文字や,画素数の多い画像などが投影される場合では高い解像度が必要となる.しかしながら,一般的にこのシステムで用いられるプロジェクタはこの条件を十分に満たしていない.そこで,複数台のプロジェクタを用いて投影することで画素数を増加し解像度を向上させることができると考えられる.しかしながら,高い解像度が必要な領域は全表示領域の一部のみであり,単純にタイル状にプロジェクタを並べるだけでは必要のない領域の解像度も均一に向上させてしまう.そこで本研究では,高い解像度が必要な一部の領域のみ高解像度表示させ,必要でない領域は低い解像度で表示することを可能にするシステムを実現した.実際に投影表示を行ったところ,元画像の高周波成分を多く含む領域では,解像度が高い投影像で表示され,その他の領域では解像度の低い投影像で表示されていることが確認できた.
  

このページの先頭に戻る

3次元カラープリンタ出力へのプロジェクタ投影重畳による高コントラスト立体ディスプレイ

  • 研究者: 島津 冴子
  • 論文種別・提出年: 卒業論文, 大阪大学基礎工学部, Mar. 2010.

    3次元カラープリンタ出力へのプロジェクタ投影重畳による高コントラスト立体ディスプレイ /   高コントラストな色彩をもつ立体物の形状情報・色情報をデジタル化し活用する試みが盛んにおこなわれている.それに伴い,それらの形状情報の立体性と色情報のコントラストを?なうことなく詳細に表示することが可能なディスプレイへのニーズも高まっている.本論文では,三次元カラープリンタ出力に対してプロジェクタ投影重畳を行うことで,高コントラストかつ立体感・実在感の高い表示を行うディスプレイシステムを提案する.三次元カラープリンタは対象物体の形状情報を立体的に出力できるが,コントラストが低くその色情報を十分に表現できない.そこで本システムでは,対象物体の高コントラストな色情報を低コントラストな三次元カラープリンタ出力とプロジェクタ出力に分割する.そしてこれらを投影重畳することで,三次元カラープリンタ出力のもつ立体感や実在感を?なわず,かつそれぞれのデバイスを単独で用いた場合と比較して高コントラストな表示を行う.
      

    このページの先頭に戻る

投影型複合現実感における対象形状・反射率を考慮した重畳アノテーションの適応レイアウト

  • 研究者: 矢引 達教
  • 論文種別・提出年: 卒業論文, 大阪大学基礎工学部, Mar. 2010.

投影型複合現実感における対象形状・反射率を考慮した重畳アノテーションの適応レイアウト /   例えば医学の解剖書や百科事典の図解に付与された部位の吊称など,アノテーションは対象理解の促進に役立つ.アノテーションが付与される対象は百科事典・地図のような二次元の媒体だけでなく立体物にも拡張されており,近年では,現実空間に仮想情報を視覚的に重畳合成できるという特長から複合現実感(Mixed Reality : MR)技術の主要なアプリケーションとして実対象へのアノテーションが利用されている.従来,その手法としてMR技術の一方式であるビデオシースルー方式を利用する研究が盛んに行われてきたが,特殊なデバイスの装着または把持が必要である点などから,例えば博物館の展示品など,一般の方々に見られることを目的とした対象に付与されたアノテーションを提示する場合にはあまり望ましくない.そこで,本研究では実物体の表面に直接仮想情報を重畳させるプロジェクション方式を採用する.投影型MR技術を用いてアノテーションの提示を行う際には,先に述べたアノテーションのレイアウトで留意すべき点に加え,投影型MR固有の問題を考慮しなければならず,特に投影面の状態により投影像の可読性が大きく低下するという問題が大きい.そこで本研究では,対象の三次元形状・表面テクスチャの反射率といった情報をもとに,プロジェクタ投影特有の問題を考慮した,投影面の状態に適応的なアノテーション情報のレイアウトを求めるシステムを提案する.本卒業論文では,投影面の形状・反射率が投影像の可読性に与える影響を調べる基礎実験を行った上で,その結果を利用し投影像の読みにくさの度合いに適応的なアノテーションのレイアウトを行うシステムを実装した.また,実物体を対象として提案システムを適用し,実際にアノテーションの投影を行い,投影像の読みにくさの度合いが高い面を避けてアノテーションを投影することができることを確認した.
  

このページの先頭に戻る

掌を介した身体インタフェースに関する研究

  • 研究者: 山本 豪志朗
  • 論文種別・提出年: 博士論文, 大阪大学大学院基礎工学研究科, Mar. 2009. [movie]

掌を介した身体インタフェースに関する研究   人間は外界への働きかけとして体肢による身体運動を行っている.その中でもしばしば手を巧みに使用し,対象物体に直接または道具を用いて間接的に働きかけることが可能である.しかし,作業によっては,道具の介在に煩わしさを覚え,手で代用することがある.コンピュータに入力を行う場合,手でデバイスに働きかける利用形態が一般的となっているが,作業に応じてデバイスの介在を上要とし,手で直接操作できる環境が望ましい.そこで,手による入力を可能とするハンドジェスチャ認識に着目する.このハンドジェスチャは2 種に分類できる.ひとつは手の構えに意味のある信号であり,もうひとつは対象物体に対して働きかける能動的な動作である.本論文では,能動的に作用するハンドジェスチャにより,デバイスを扱う煩雑さから脱却した,新しいコンピュータの利用方法を示す.特に,非接触計測手法としてカメラによるハンドジェスチャ認識を用いることで,手装着物を要さず,自然体でコンピュータを利用できる環境を目指す.そして,日常生活にて既に習得している動作をジェスチャとして適用することで,ユーザの簡便な入力を実現する.ユーザが動き回りながらコンピュータを利用する環境を,ディスプレイに作用する距離から近接作用と遠隔作用の2 種に分類し,それぞれの環境に対して,デバイスを介在させないインタフェースを提案する.まず近接作用環境において,デバイスを把持することなく,掌のみを用いて入出力を実行するインタフェースを提案する.具体的には,カメラとプロジェクタを利用して,指先同士の接触や指の傾け動作を入力ジェスチャとして認識し,情報提示として掌への光投影を行う投影型ウェアラブルシステムを構築する.このシステムに家電機器を操作するのに充分な入力機構を完備することで,掌だけでネットワークに接続された複数台の機器を統括的に管理できる.遠隔作用環境では,特に大型ディスプレイ表示される情報に直接手の届かない位置からアクセスしたいという要求に対して,掌のシルエットを介したハンドジェスチャによるインタフェースを提案する.離れた位置でも身体と連動して自在に動かすことができる影に着目し,人工的に手影を模した掌シルエットをディスプレイに表示するシステムを構築する.まず,リーチングと掌の開閉の2 種のハンドジェスチャにより,ディスプレイに表示された仮想物体に能動的に働きかけ,任意に選択・移動を可能とするインタフェースを提案する.このインタフェースを用いることで,複数ディスプレイ間にて一貫した動作で,仮想物体を扱うことが可能となる.次に,掌の回転運動を入力機構として適用し,機能性の拡張を行う.この回転運動は,ダイヤルなどの回転する対象に作用するジェスチャであり,回転操作を行うインタフェースとして適用する.さらに,シルエットの動きを制約し,視覚的に抵抗感のように知覚される感覚を与え,ロータリースイッチに類似した機能を実現するための設計指針を得る.
  

このページの先頭に戻る

投影型複合現実感のための知覚軽減を考慮したカラーキャリブレーション手法

  • 研究者: 赤木 優子
  • 論文種別・提出年: 修士論文, 大阪大学大学院基礎工学研究科, Mar. 2009.

投影型複合現実感のための知覚軽減を考慮したカラーキャリブレーション手法 /   近年,実世界に仮想現実感(Virtual Reality:VR)技術を融合する複合現実感(Mixed Reality:MR)技術の様々な研究が行われており,アートやエンターテイメント,医療・福祉,教育,建築・都市計画といった幅広い分野で利用されている.近年,複合現実感技術の一つの研究であるプロジェクタとカメラを用いたシステム(プロジェクタ・カメラシステム) の研究が行われており,白色スクリーンのような理想的なプロジェクタ投影環境でなくても,任意の反射特性を持つ投影面に対して色再現を行うことが可能になってきている.プロジェクタの低価格化,小型化も進んでおり,今後様々な環境において高い色再現性を実現するプロジェクタ投影への利用が期待される.そのような場合に,ユーザがより円滑に投影システムを利用できることが重要になってくる.しかし,このようなシステム実現のためには,幾何学および色彩に関するキャリブレーション(カラーキャリブレーション)が必要であるが,ユーザにとって上要なパタン画像を複数枚投影する必要があり,ユーザの利用の妨げとなる可能性がある.そこでユーザ利用を妨げないためのプロジェクタ・カメラシステムにおけるキャリブレーションの研究が多く行われているが,本研究では,物体の反射特性を計測するカラーキャリブレーションについて,ユーザが鑑賞している動画を利用することで,精度を維持しつつ,ユーザに知覚されにくいキャリブレーション手法を提案する.
  

このページの先頭に戻る

シーン輝度分布制御のための光伝播の解析

  • 研究者: 那須 督
  • 論文種別・提出年: 修士論文, 大阪大学大学院基礎工学研究科, Mar. 2009.

シーン輝度分布制御のための光伝播の解析   近年のコンピュータグラフィックスの技術の進歩によって,コンピュータによって非常に高品質な画像を生成することが可能となった.特にラジオシティ法などによって,多重反射などを考慮した計算も可能となり,その写実性は実世界に迫るものがある.しかし,これらの多くは画像としてディスプレイなどによって提示されるものであり,実世界のオブジェクトを着色するといったケースでは,複雑な光学的反射現象などによって高い再現性を実現するには至っていない.実世界のオブジェクト上における画像提示の高い再現性の実現にはそのシーン内で起こっている反射現象を解析する必要がある.カメラにより撮影される画像は,シーン内の各ピクセルに対応する物体平面上の輝度情報を記録したものである.しかし,多くの場合被写体自身が発光するのではなく,照明から発せられた光が物体表面で反射することで輝度が決定される.さらに,この反射現象は各点で独立してはおらず,光を受けた点はさまざまな方向に光を反射し,それ自身が二次的な光源のように働き再び他の点を照明する.シーン内において,このような光の反射が繰り返されることでシーンの輝度分布が決定されている.このような複雑な反射現象を単一の画像から推定することは困難である.そこで,プロジェクタのような制御可能な光源を用い積極的に照明条件を変更する.制御された多様な照明条件下におけるシーンを撮影した多数の画像群を得ることでシーン内における複雑な反射現象を解析することが可能となる.しかし,光の反射は入出力ともに,方向と位置の各2 次元の合計8 次元の空間を持つ.その自由度の高さゆえにシーン内の反射表面上のすべての点における反射現象の解析には,膨大な数の画像を得る必要がある.視点の固定や照明条件を限定したとしても計測には多大な時間を要する.ただし,ある点に入射した光は影や減衰などの影響でシーン内の他の点すべてに影響を及ぼすわけではないことからもわかるように,冗長性を多分に含んでいることも事実である.本研究では,反射現象の解析に当たりその冗長性に着目し,光の反射成分を直接反射成分と間接反射成分に分離し,それぞれの特性に応じた効率的手法で反射現象を解析する.また,解析された反射現象を利用し,多重反射などの影響も考慮した上での指定の照明条件下でのシーンの見えのシミュレーション,さらに,その逆の目的とする見えを実現する照明条件の推定を行う.単に形状に応じた投影によって実物体を着色を試みれば,その色が地面に映り込んだり,物体凹部において発生する相互反射などの影響で目標とする色とはずれてしまうことが予想される.しかし,反射現象の解析はこれらの問題も解決することが可能であり,商品撮影や拡張現実感など幅広い応用が期待される.
  

このページの先頭に戻る

複数台プロジェクタによる投影像のぼけ最小化と影除去

  • 研究者: 長瀬 百代
  • 論文種別・提出年: 卒業論文, 大阪大学基礎工学部, Mar. 2009.

複数台プロジェクタによる投影像のぼけ最小化と影除去   近年、プロジェクタの小型化・低価格化が進み、学術分野でも投影型複合現実感の研究が盛んになってきている。それに従って、どこにでも投影できるようなプロジェクション環境づくりの一環として、複数のプロジェクタが存在した場合にどのように投影範囲を割り当てれば、最も目的に即した高品位な像が投影できるのかといった研究が進んできている。本研究では、複数台のプロジェクタを用いて、投影対象物体表面に対して焦点ぼけのない解像度の高い像を投影し、また、対象物体の前方に存在する遮蔽物によってプロジェクタ光が遮られた時に投影上可となる領域をできるだけ小さくすることを目的とする。
  

このページの先頭に戻る

画像認識と投影型複合現実感技術を用いた書架管理支援システム

  • 研究者: 松下 和弘
  • 論文種別・提出年: 卒業論文, 大阪大学基礎工学部, Mar. 2009. [movie]

画像認識と投影型複合現実感技術を用いた書架管理支援システム   本研究では,以前読んだことのある書類を本棚から探索する際に,ユーザに本棚に関する情報を提示することで探索の支援を行うシステムを提案する.投影型複合現実感技術を用いてユーザが書類を取り出す前に書類の表紙画像や出し入れの頻度を可視化した情報を本棚に表示することで,ユーザの負担となる書類を取り出す動作の回数を減らす.また,特別な撮影手順やタグ付けを用いることなく本棚に収紊される書類の表紙画像や位置情報をリアルタイムに取得する.探索・ 操作・ 表示空間を一致させることで直観的なインタラクションを実現する.
  

このページの先頭に戻る

超低速光速を模倣した時空間映像インタラクション

  • 研究者: 松崎 圭佑
  • 論文種別・提出年: 卒業論文, 大阪大学基礎工学部, Mar. 2009.

超低速光速を模倣した時空間映像インタラクション   現在の映像の再生・編集などの映像操作に関するインタフェースは,GUI (Graphical UserInterface) による2 次元表現に基づくものが主流であり,PC の画面内操作ではなく,3 次元空間中での映像操作に関するインタフェースの研究は少ない.GUI に基づくアプリケーションで映像の操作を行うには,操作に対応したボタンの選択などが必要であり,これらの操作方法は複雑なため,学習コストと作業効率という点で優れているとは言えない.GUI と異なるインタフェースの形式としてTUI (Tangible User Interface) がある.TUI は,入力空間と出力空間を一致させることで直接操作性を高めたインタフェースであり,TUI による映像操作は,よりインタラクティブな映像操作となる.よって,タンジブルな環境で映像や画像などのメディアにインタラクションを行うことを可能にするシステムの開発が有用であると言える.そこで,本研究では映像編集などの実用的な用途を想定したTUI に基づいたインタフェースで映像操作を行うシステムとして,映像があたかも超低速な光としてプロジェクタから投影されていることを模倣する3次元空間インタラクションシステム“ Snail Light Projector”を提案する.超低速な光で映像を投影することで,映像の個々のフレームを実空間中に表現でき,スクリーンの前後の空間にスクリーンに映っている画像の過去・未来の画像を投影する光が存在すると考えられる.よって,ユーザは直接スクリーンを前後に移動させる操作により,映像の任意のフレームを探索することができる.またスクリーンをプロジェクタに対する傾ける操作により,異なる再生時刻のフレームの部分的な画素が入り混ざった時空間映像の断面となる画像を見ることができる.時空間映像の断面画像は従来の映像操作アプリケーションでは表現の難しく,本システムは新たな映像インタラクションシステムとなる.
  

このページの先頭に戻る

三次元形状に適応的な投影型インタフェース

  • 研究者: 脇安 秀喜
  • 論文種別・提出年: 修士論文, 大阪大学大学院基礎工学研究科, Mar. 2008.

三次元形状に適応的な投影型インタフェース   GUIに替わる新しいインタフェース手法として実世界指向インタフェースという考え方が近年注目されている. 実世界指向インタフェースとは,計算機内部のデータと現実の事物の閣のギャップを最小にするととによって,計算機を意識するととなく透明な存在として活用する手法の総称である. 実世界インタフェースの研究の一分野として,机を対象としたものがある. 計算機の画面をディスプレイではなく,プロジェクタを使って机の上に投影するととにより,計算機のデスクトップと本当のデスクトップを同じ感覚で扱うととを可能にし,また机の上をカメラで撮影するととによりユーザの動きや机上のオブジェクトを計算機データとして扱うととができるものである.との分野において多くの研究がなされているが,いずれも平面を対象としたものであり,環境に大きな凹凸がある場合には対応していない. 本研究では,環境の三次元形状を計測し,その形状に合わせて適切な場所にインタフェースを投影するシステムを提案した.光の投影に対して本来邪魔であるはずの凹凸の形状を利用し,その形にそって投影するととで,むしろ平面上のみに投影した場合よりもより自然な実世界指向インタフェースを実現するととが狙いである. また,実環境に対し提案システムを適用し,環境に応じて投影インタフェースの種類と位置が変化することを確認した.
  

このページの先頭に戻る

熱現象を媒介とする実世界指向インタフェースに関する研究

  • 研究者: 岩井 大輔
  • 論文種別・提出年: 博士論文, 大阪大学大学院基礎工学研究科, Mar. 2007. [movie]

熱現象を媒介とする実世界指向インタフェースに関する研究   熱は、我々の存在する実環境中に遍在している。そして、実物体同士の接触や空気の流れ、太陽からの輻射熱等によって、環境中の熱は絶えず変化を続けている。同様に、人が環境中に存在していることで、意図するしないに関わらずそこに熱の変化を引き起こしている。人が何らかの動作を行えば環境の熱は否応なく変動し乱される。このように、熱現象は我々の身近な物理現象であるにもかかわらず、これをコンピュータへの入力として用いるインタフェースの研究はこれまで行われてこなかった。本研究では、実物体表面の熱分布そのものを仮想空間への入力情報として利用することで、ユーザが実物体を介してデジタルデータの操作を行うことのできるインタフェースの構築を目指す。日常空間の実環境中でその熱分布に変化を引き起こすことは、我々が無意識下で常に行っている行為である。このため、これを入力とするシステムを構築することで、ユーザを自然にコンピュータ操作へと導入することが可能となる。また、提案するシステムの出力としてプロジェクタ投影を用い、操作された仮想空間内の情報を実物体に対して直接光学的に重畳することでユーザに提示する。これにより、ユーザに物理的拘束のない情報提示を可能とし、日常生活の中でスムーズにシステムからの支援を享受できるようなインタフェースの構築が可能となる。本研究では、これらの入出力機構を採用することで入力出力双方が同一の実物体を介する実世界指向インタフェースを構築し、直観的なマン‐マシンインタラクションを実現する。 具体的には、熱画像処理技術と投影型複合現実感技術(プロジェクタを用いて実空間と仮想空間とを融合する技術)とによる実世界指向インタフェース(実世界に存在する事物を介する直観的なヒューマンコンピュータインタラクション技法)を提案した。ユーザがある物体に接触する際に物体上に熱が残るという現象を利用し、実シーンの温度分布の時系列データを熱画像として取得・処理し、実空間中の面へのユーザの接触を検出する手法を提案した。これにより、従来、当研究分野において課題となっていたユーザに非侵襲な形での接触検出を可能とした。そして、この接触を入力とし、プロジェクタよりインタラクション結果を投影出力するシステムを構築した。提案した"ThermoPainter"では、従来マウスとペンという固定されたツールのみしか利用することの出来なかったコンピュータでの描画において、実世界で通常用いられる描画ツールを直接用いること可能とした。熱画像を用いて検出した面上の高温変化領域に直接プロジェクタ光を投影することで、ヘアドライヤや絵筆といった道具のみならず、ユーザの手・指や呼気を直接用いた描画を可能とした。"Limpid Desk"は、書類で溢れる実机上での書類探索作業を効率化するために、書類スタックを投影光によってその場で仮想的に透明化するシステムである。熱画像処理を用いて実机上の書類スタックへのユーザの接触を検出し、その接触動作をトリガとして、あらかじめデータベースに蓄えられているスタック内の書類の表面テクスチャ画像を、あたかも書類が上から順に透明になるかのように処理して投影することで、積まれた書類を物理的に移動させることなくスタック内の書類を探索可能とした。
  

このページの先頭に戻る

複数プロジェクタの重畳投影による投影面の反射特性を考慮した高色再現ディスプレイの構築

  • 研究者: 青木 洋一
  • 論文種別・提出年: 修士論文, 大阪大学大学院基礎工学研究科, Mar. 2007.

複数プロジェクタの重畳投影による投影面の反射特性を考慮した高色再現ディスプレイの構築   近年,プロジェクタは小型化・低価格化・高輝度化が進んでおり,手軽に利用できるディスプレイ装置の一つになっている.従来,プロジェクタを利用する際には部屋に設置した専用の白色スクリーンの上に投影することが主であったが,上記のような理由から白色スクリーン上でなくても十分実用に耐えうる環境が整いつつある.本研究では,プロジェクタとカメラを利用したディスプレイシステム(これを一般に,プロジェクタ-カメラシステムと呼ぶ)を利用して,任意の反射特性を持つ投影面に対して,所望の目標色・画像を投影する手法を提案する.白色一様でない投影面に目標色を再現する研究は従来から多数報告されているが,色再現を行うことに重点を置いた従来研究は,プロジェクタを1台のみ用いたものであるため,目標色再現を阻害する問題をはらんでいる.本論文では,この問題を明らかにするとともに,複数のプロジェクタを利用することでこの問題を解決する手法を提案し,より色再現性の高いディスプレイの構築を目指す.
  

このページの先頭に戻る

投影型複合現実重畳による三次元形状デザイン支援

  • 研究者: 久田 理
  • 論文種別・提出年: 修士論文, 大阪大学大学院基礎工学研究科, Mar. 2007. [movie]

投影型複合現実重畳による三次元形状デザイン支援   本論文ではプロジェクション方式による実物体の仮想変形システムを提案する。従来のプロジェクションMRによるディスプレイシステムは実オブジェクトが有する立体感、実在感といった点においては有用である。しかし、工業製品の形態デザイン・意匠設計においては試行錯誤を繰り返し行い製品開発していくため、実物体の色の見えや質感等の表面属性に加え形状情報の変更も頻繁に行われる。そのため、投影したい物体形状の数だけ投影用の実物体が必要である従来手法では上十分である。本論文ではこのプロジェクション方式を仮想情報提示手法として用い、実物体上の適切な位置に人間の視覚特性を考慮した光学パタンを投影することで、実物体の仮想的な形状変形を実現する。これにより高い立体感を持った新たなディスプレイシステムを提案し、実物体ベース三次元形状造形デザイン支援システムの構築を目指す。
  

このページの先頭に戻る

シーン状況の認識に基づく作業過程の記録と支援情報の提示

  • 研究者: 中村 太祐
  • 論文種別・提出年: 修士論文, 大阪大学大学院基礎工学研究科, Mar. 2007.

シーン状況の認識に基づく作業過程の記録と支援情報の提示   計算機技術の発達に伴い三次元計測は様々な分野で利用されているが,その利用分野の一つに作業支援がある.例えば遠隔地間の協調作業では作業中のシーンを計測により三次元モデル化し遠方の支援者へ伝えることで,作業を的確に認識・把握させることが可能となる.同様に自動車におけるボディ表面への映り込みの評価や空力設計など計算機シミュレーションにも三次元形状は利用できる.これら支援者もしくは計算機により得た支援情報を複合現実感技術により実物上に重畳表示するためにも三次元形状モデルは上可欠である.このように三次元形状モデルの獲得は作業支援に有用であるが,三次元形状計測技術の多くは静止物体を対象としているために作業により動的に変化するシーンを計測することができなかったり,光の投影が目障りとなるなど作業者に何らかの負担をかけるものであった.そこで本研究では作業者に負担をかけることなく作業シーンの三次元形状計測を行うシステムの構築を目指す.また,獲得した三次元形状モデルを利用した作業支援システムとして,作業シーンを記録・再現するシステム及び形状デザインの支援情報を提示するシステムの二つを提案する.まず,作業シーンの記録・再現を行うシステムでは作業者に知覚されずに計測を行うために上可視の赤外線を用いたグレイコードパターン光投影法によりシーンの三次元形状計測を行う.このとき計算機への負担の軽減から,グレイコードパターン光の投影によって得られる空間コードを用いてシーンの領域判別を行う.シーンの変化があった領域のみ計測を行い,その部分を更新していくことでシーンの変化を記録していく.また,記録したシーンの三次元形状モデルを再現表示するアプリケーションを試作する. 次に支援情報を提示するシステムではプロジェクタより実モデル上に映り込みを投影し再現することで形状デザインの支援を行う.形状のデザインにおいて映り込むハイライトの形により面のつながりや滑らかさが評価される.作業者は評価のため少し離れた位置から対象モデルの観察を行うことから,作業者がシーンから離れた時に自律的に計測を開始することで作業者に負担をかけずに計測を行う.また,作業者の頭部位置にLEDを設置し,画像中の鏡面球に映ったLED位置から視線方向を導出し,計測により得られた三次元形状から物体の法線方向を求める.導出した物体の法線方向と作業者の視線方向を用いて鏡面球の画像をスフィアマッピングすることにより対象の映り込みを求める. 最後にこれら構築したシステムを用いて簡単な実験をし,その有効性について検討を行った.
  

このページの先頭に戻る

Using Artificial Shadow as Intermediate to Realize Distant Human-Computer Interaction

  • 研究者: 徐 会川
  • 論文種別・提出年: 修士論文, 大阪大学大学院基礎工学研究科, Mar. 2007.

Using Artificial Shadow as Intermediate to Realize Distant Human-Computer Interaction   This paper proposes both concept and experiments of a new shadow-based human-computer-interaction technique for indoor ubiquitous user interface. On one hand we constructed a computer-controlled responsive environment which perceives user's body information by sensing his/her shadow and provides visual feedback by projecting computer-generated artificial shadow. On the other hand, we also aimed to realize natural human-computer interaction by taking advantage of our mental model of very common shadow phenomenon in our daily life.
  

このページの先頭に戻る

投影型複合現実感による実物体ペインティング

  • 研究者: 赤木 優子
  • 論文種別・提出年: 卒業論文, 大阪大学基礎工学部, Mar. 2007.

投影型複合現実感による実物体ペインティング   近年,実世界に仮想現実感(Virtual Reality:VR)技術を融合する複合現実感(Mixed Reality:MR)技術の様々な研究が行われており,アートやエンターテイメント,医療・福祉,教育,建築・都市計画といった幅広い分野で利用されている.この MR 技術を用いて,実空間に存在する対象物体に対して仮想像を重畳表示し,対象物体の見え方を変化させることができる.MR 技術の一方式であるプロジェクション方式を用いて,対象物体の形状に合わせて巧みに作られた映像を投影し,実物体の見え方を変化させる研究や,任意の反射特性を持つ実物体に対して目標の色の見えを実現する,色再現の研究も行われている.これらの研究は,彩色デザインシステムや色彩が劣化した絵画や文化財の色修復などへの応用が期待できる.このような MR のプロジェクション方式を用いた実物体の仮想的な彩色システムを考える場合には,ユーザが彩色する領域を適切に抽出する必要がある.本論文では,実物体の反射特性に着目して領域を抽出する手法を提案する.対象物体に対して複数のパターン光を投影し,この様子をカメラで撮像することで物体の反射特性を調べ,類似した反射特性をもつ領域をシーンから抽出する.素材が異なる物体がカメラでは同一色と判断される場合や,環境光の影響で物体の色の見えが変化する場合など,領域抽出が困難である場合がある.このような場合に,本手法によって,環境光の影響を受けることなく,効果的な領域抽出が期待できる.この領域抽出手法を用いて,実物体に対してインタラクティブに仮想的な彩色を行うシステムを提案する.
  

このページの先頭に戻る

直接成分と間接成分の分離に基づく照明光の伝播解析

  • 研究者: 那須 督
  • 論文種別・提出年: 卒業論文, 大阪大学基礎工学部, Mar. 2007.

直接成分と間接成分の分離に基づく照明光の伝播解析   カメラによるり撮影される画像は,シーン内の各ピクセルに対応する物体平面上の輝度情報を記録したものである.しかし多くの場合,被写体自身が発光するのではなく,照明から発せられた光が物体表面で反射することで輝度が決定される.この反射現象は各点で独立してはおらず,光を受けた点はさまざまな方向に光を反射し,それ自身が二次的な光源のように働き再び他の点を照明する.シーン内において,このような光の反射が繰り返されることでシーンの輝度分布が決定されている.このような非発光点が再度,照明のように振舞って別の点を照らす現象をグローバルイルミネーションと呼び,本論文では特定のシーンに関するこの現象を数値モデル化する手法について述べる.これが実現すれば,そのシーンに対する照明効果のシミュレーションや仮想物体の自然な合成,プロジェクタによる投影像の品質向上など様々な応用が期待される.従来,グローバルイルミネーションの理論的解析や応用はラジオシティ法に代表されるようにコンピュータグラフィックスの分野で大きく発展してきた.しかし,コンピュータビジョンにおけるシーン解析の問題として考えるとこれは上良設定問題であり,単一の画像からの解析は困難である.そこで光源をプロジェクタに置き換えることで様々な照明条件における画像を獲得し,それらにより解析する方法が提案されている.しかし,この方法ではプロジェクタからの投影光のパターン数や画像の撮影枚数が多く,データの取得に長時間を要する上,出力されるデータが非常に大きいという問題がある.そこで本論文では,直接反射 (Direct) 成分と相互反射(Global)成分の性質の違いに着目し,より効率的な計測法およびデータ表現法を提案する.
  

このページの先頭に戻る

投影型複合現実感による重畳物体の透過表示インタラクション

  • 研究者: 花谷 佐和子
  • 論文種別・提出年: 修士論文, 大阪大学大学院基礎工学研究科, Mar. 2006.

投影型複合現実感による重畳物体の透過表示インタラクション   本研究では、散らかりやすい机の上で書類探索を行い、上層の書類のユーザが触れるというインタフェース操作ができる Limpid Desk の提案を行う.投影型複合現実感技術を用いて上層書類の見かけを透明にして下の書類を表示させることで上に置かれた書類を物理的に移動させることなく,下層書類の情報を視覚的に取得する.またユーザの手の上層の書類への接触を特殊な道具を身につけたり持ったりせずに熱(遠赤外線)画像によるセンシングの技術を用いることで接触によるインタフェースを実現する.
  

このページの先頭に戻る

掌への光投影を利用した身体インタフェース

  • 研究者: 山本 豪志朗
  • 論文種別・提出年: 修士論文, 大阪大学大学院基礎工学研究科, Mar. 2006. [movie]

掌への光投影を利用した身体インタフェース   コンピュータの小型化,高性能化が進むと,それらはいろいろな環境に埋め込まれ,用途も多様化してゆく.そして,コンピュータが組み込まれた機器は現在よりも増加し,多くの操作が必要になる.このような機器の変化に伴い,扱われる情報は膨大な量になると考えられる.今後,機器操作が複雑化し,様々な情報が氾濫していく環境の中で,機器の操作と情報の扱いが重要な問題となってくる.そうした未来を見据えた技術として,常に計算機を装着して使用するウェアラブルコンピュータや,新たなインタフェースを提供する複合現実感技術が注目されている.本修士論文研究では,プロジェクタを情報提示装置とした肩部搭載型ウェアラブルコンピュータと複合現実感の技術を用いた二種類のインタフェースについて研究する.一つは,コンピュータ組み込み型のネットワーク家電機器などを操作するインタフェースで,掌上に仮想コントローラを投影し,ユーザは自らの体を通じて直感的に操作することができる.掌部分には操作対象機器からのフィードバック情報等が表示される.もう一つは,人間の自然な動作に着目した情報転送インタフェースで,掌上に情報を示す仮想物体を表示し,三次元空間移動をあたかも移動しているかのように表示することで,その情報の実在感をより豊かにできる.そして,ユーザは情報を自然な動作での操作によって授受することが可能である.このように人間の自然な動作に着目し,コンピュータが複雑に絡み合った環境の中で人間に優しいインタラクションを設計する研究と位置づけ,ユーザが実世界での生活において,いつでもどこでも自然に,身の回りの機器や既存の情報を扱うことが可能なウェアラブルシステムの実現していく.
  

このページの先頭に戻る

文字認識機能を有する投影型インタラクティブシステム

  • 研究者: 中山 太一郎
  • 論文種別・提出年: 卒業論文, 大阪大学基礎工学部, Mar. 2006.

文字認識機能を有する投影型インタラクティブシステム   近年,ユビキタスコンピューティングを実現するのための環境中の情報認識や,それに適したインタフェースの研究が盛んに行われており,実世界中の文字情報にも度々焦点が当てられている.ユーザにとって必要な情報のみを抽出するため,文字選択をする機能が必要である.しかし,既存の方法の多くは,普段ユーザが文字を選択する場合に行う動作と異なる動作が必要であり,自然とは言えない.また,既存の投影型インタラクティブシステムでは,投影位置はあらかじめ用意しておく必要があり,ユーザにとって最も便利な位置に投影するといった研究は行われていない.そこで,本研究では,ユーザが他のユーザに文章中の特定の単語を示したい場合,人差し指やペンでその単語を指す方法を用いることに注目し,机上のドキュメントに対して指先にある単語を OCR で読み取るというユーザにとって自然な文字選択手法を提案し,それを人間が視認しやすい位置に投影するインタラクティブシステムの試作を行った.
  

このページの先頭に戻る

動的パーティクル像投影による実物体の視覚的形状変形の基礎的検討

  • 研究者: 高瀬 和彦
  • 論文種別・提出年: 卒業論文, 大阪大学基礎工学部, Mar. 2006.

動的パーティクル像投影による実物体の視覚的形状変形の基礎的検討   本論文は,プロジェクション型複合現実感 (MR:mixed reality) 技術を応用することで立体感,実在感を保った実物体形状変形を行い,動的パーティクル像投影の視覚的効果の有効性を検証することを目的とするものである.プロジェクション MR 技術は,実在の白色物体にコンピュータ上で合成した物体表面情報を光学的に重畳させる MR 技術の一種である.本論文はこの方法を応用し,物体表面属性情報のみでなく,動的パーティクルを重畳させる手法を提案する.パーティクルとは小さな点のことであり,これを物体表面に沿って流すことを本論文では動的パーティクルレンダリングと呼ぶ.従来から実物体に仮想の陰影情報を重畳させることにより、実物体を視覚的に変形させる研究が試みられているが,本論文ではこの動的パーティクルレンダリングにより,陰影のみを実物体に投影する場合に比べより強い立体感を保持しつつ実物体の形状を仮想的に変形することができる.試作システムとして,提案手法を実装した視覚的形状変形システムを構築した.この試作システムを用いて,実際に実物体の視覚的形状変形に関する比較実験を行い,提案手法により高い奥行き提示能力を示すことができた.本論文の構成は以下の通りである.
  

このページの先頭に戻る

立体形状計測におけるハンドプロジェクタを使用した作業支援システム

  • 研究者: 芳賀 浩嗣
  • 論文種別・提出年: 修士論文, 大阪大学大学院基礎工学研究科, Mar. 2005.

立体形状計測におけるハンドプロジェクタを使用した作業支援システム   立体物の全周形状計測は、形状計測センサによって特定方向から3次元データを取得し、それを複数方向から繰り返し得たデータ群をポスト処理することで、全周モデルを取得するという方法と、形状計測センサ自体の位置姿勢情報をリアルタイムで監視し、随時データ更新を行うことで全周のモデルを取得する方法の2種で使われてきた。しかし、いずれの方法でも、モニター上に構成された3Dモデルを参考に実計測対象との確認を行うために、作業者の上注意によって計測欠?領域が生じたり、作業者の視線が実計測対象とモニターとの間を往復するために作業効率が上がらなかったり、という問題があった。そこで、本研究では、プロジェクタとビデオカメラを一体化し、プロジェクタより計測用スリット光を投光してその様子をビデオカメラで撮影することで立体形状データを取得するユニット装置を作成するとともに、世界座標センサによってユニットの位置姿勢情報をリアルタイムで捕捉し得られた3次元データを即座に世界座標に変換し、立体形状データを随時更新すると同時にプロジェクタを介して実空間に投影するという方法で、作業者に計測情報を支援光としてただちにフィードバックするというシステムを提案・開発する。また、本支援システムを用いて、支援光の投光有りの場合、無しの場合、支援システムの構成による差異の作業実験を行い。本支援システムによる、作業者の作業効率改善を実証する
  

このページの先頭に戻る

熱感覚と領域入力型インタフェースによる画像創作支援

  • 研究者: 岩井 大輔
  • 論文種別・提出年: 修士論文, 大阪大学大学院基礎工学研究科, Mar. 2005. [movie]

熱感覚と領域入力型インタフェースによる画像創作支援   本研究では、直観的な画像情報操作インタフェースを目指し、熱感覚と領域入力型インタフェースを用いた画像創作支援システムを構築した。画像情報操作と強い相関を持つ熱感覚メタファを調査し、熱画像を用いた領域入力型インタフェースを提案した。そしてこのインタフェースに、いくつかの対話技法を実装した。まず、実世界の絵道具を直接用いてコンピュータ上で描画作業を行える描画システム"ThermoPainter"を提案する。絵道具をコンピュータ上での描画作業に直接用いるためには、画材の接触領域形状を計測する必要がある。接触面に温度の異なる物体が接触すると、面上の接触領域において温度変化が生じる。面の温度変化領域を接触領域として、赤外線カメラを用いて接触面の温度分布を連続して取得することで、接触領域形状を二次元で計測することができる。"ThermoPainter"では、接触面上の接触領域に光を投影することで描画結果の表示を行う。描画面に温度変化を生じさせることができれば、身近な環境中の任意の道具で入力可能であり、体温を保持する手指や呼気はもとより、温水を使うことで絵筆やエアブラシも利用することができる。加えて、温度の変化量に合わせて、投影光の濃淡を制御し、水彩画のような効果を得ることも可能とした。次に、ユーザの持つ熱感覚メタファと強い相関を持つ画像パラメータを"ThermoPainter"上で操作するインタフェースの構築を行った。心理調査の結果、熱感覚メタファと強い相関を持つものは、「彩度《「色相《「塑性《「体積《の各画像操作パラメータであった。そこで、熱感覚メタファを利用して直観的に画像情報操作を行う対話技法を提案する。彩度操作では、画像に熱を与えると彩度が上がり、逆に熱を奪うと彩度が下がるというインタラクションを実現する。色相、体積の各操作も同様に実装する。塑性操作では、接触面上の形状モデルに対する高温接触部で、モデルの熱可塑性を変化させて柔らかくする。それと同時にマウスでモデルをドラッグして引っ張ることで形状変形を行うことができる。
  

このページの先頭に戻る

複合現実博物館のための反射色計測に基づくプロジェクタ投影テクスチャ

  • 研究者: 吉田 壮伸
  • 論文種別・提出年: 修士論文, 大阪大学大学院基礎工学研究科, Mar. 2005.

複合現実博物館のための反射色計測に基づくプロジェクタ投影テクスチャ   本論文では,複合現実感技術の一方式であるプロジェクション方式MRシステムによって,実空間に存在する対象物体に対して仮想像を重畳表示し,対象物体の目標の色の見えを実空間内で再現する手法を提案する.提案手法では,投影対象となる物体の反射特性を計測によって求めた後,目標の色の見えを実現するために投影すべき光を決定する.この技術を用いることでコンピュータによって設定した目標の色の見えを実空間内で再現できることから,デジタルアーカイブされた色彩情報や形状データを用いて,色彩が劣化した絵画などの文化財を実空間内で仮想的に色修復できるのではないかと考えた.この方式を“文化財の仮想的色修復”と呼ぶことにする.また本論文では,MR技術を用いた新しい展示手法を提供する博物館や美術館である“複合現実博物館 Mixed Reality Museum”を提唱する.“文化財の仮想的色修復”は複合現実博物館における展示手法の一手法として位置付けている.
  

このページの先頭に戻る

赤外パターン光の投影制御による触覚情報提示装置

  • 研究者: 岩中 由紀
  • 論文種別・提出年: 卒業論文, 大阪大学基礎工学部, Mar. 2005.

赤外パターン光の投影制御による触覚情報提示装置   我々は現在,文書・映像・音声など多様化した情報を,コンピュータなどの情報機器を用いて得ることができる.そしてそれらの情報をいかにわかりやすく,使いやすくするためにはどうしたらよいかという研究が盛んに行われており,視覚と触覚を組み合わせた情報提示が注目されている.本研究では,指先に装着する形態の新たなユーザインタフェースデバイスに関して着目している.従来のユーザインタフェースに関する研究では,物体上の視覚情報に応じて触覚情報提示がなされるため,視覚的に変化のない画像上では触覚情報を得ることができないという問題点があった.そこで本論文では赤外線センサと赤外線プロジェクタを用いた新たな触覚情報提示手法を提案し,フラットなディスプレイ面に映し出された絵を触るかのように触覚情報を得るシステムを提案する.そして心理実験から,本システムが提示する触覚情報である振動強度を3段階に変化可能な装置であることを評価し,また,視覚と触覚の関係性からコンテンツの設計指針を与える.
  

このページの先頭に戻る

赤外光の投影による作業過程の三次元形状計測

  • 研究者: 中村 太祐
  • 論文種別・提出年: 卒業論文, 大阪大学基礎工学部, Mar. 2005.

赤外光の投影による作業過程の三次元形状計測   近年におけるコンピュータやネットワークの技術発展により,画像通信を利用したアプリケーションの開発が注目されている.その中で作業空間の映像を遠隔地に伝送することで協調作業を行う研究が進められている.しかし,その多くはカメラが設置された視点からしか対象を観察することができず,遠隔地から立体的な状況を正確に把握することが困難である.対象物体の立体形状を計測し伝送することで自由な視点からの観察を可能にする方法があるが,計測の手間や時間が作業者の負担になっては立体形状を得る意味も半減してしまう.本研究は,遠隔協調作業支援システムにおける形状情報の取得の必要性から,作業者に意識されずにシーンを計測するシステムの構築を目指すものである.計測手法はアクティブステレオ法に基づいたグレイコードパターン投影法を赤外光により行い,作業者に知覚されずに計測することを実現する.また計測を断続的に行うことによって作業過程の再現を行う.このとき,繰り返し得られる空間コードの振る舞いから作業者の判別を行い,さらに効率的な計測を行うため作業空間で変化が起きたところを判別し,その部分だけ計測を行う.最後にシステムを実装し,実際に本システムを利用して作業過程の記録を行い,システムの問題点について検討する.
  

このページの先頭に戻る

ハイパーリアル三次元形状デザイン支援システム

  • 研究者: 山本 景子
  • 論文種別・提出年: 卒業論文, 大阪大学基礎工学部, Mar. 2005.

ハイパーリアル三次元形状デザイン支援システム   本研究は,複合現実感技術を応用した工業デザイン向け製品デザインシステムに関するものである.従来のコンピュータ支援設計 (CAD:Computer Aided Design) システムでは,ユーザが自由に形状を変形できる反面,表示は平面ディスプレイや両眼視差を利用したステレオディスプレイを用いており,最終製品の持つボリューム感,実在感を提示することは困難であった.そのため,CAD システムでいったん設計した後,製品デザインの評価のために三次元プリンタなどのラピッドモデラを用いてモックアップを作成する必要があり,最終デザインに至るまでこのサイクルを繰り返す必要があった.本研究では,複合現実感技術を応用し,モックアップにバーチャルな陰影情報を付加することで,モックアップの実在感を?なわずにボリューム感を制御し,また微妙な形状操作を行えるようにし,CAD システムの設計自由度とモックアップの実在感を両立させるシステムを提案する.また,ユーザが自然かつ直観的に形状操作できるようなユーザインタフェースを提案する.
  

このページの先頭に戻る

プロジェクタを用いた遠隔作業支援システム

  • 研究者: 藤原 馨
  • 論文種別・提出年: 修士論文, 大阪大学大学院基礎工学研究科, Mar. 2004.

プロジェクタを用いた遠隔作業支援システム   実空間で行われる作業を遠隔地から指示することを目的に、カメラとプロジェクタをあらかじめキャリブレーションをすることなくプロジェクタにより実物体上に指示図形を重畳表示することの出来るシステムを構築した。このシステムを用いて遠隔指示の評価実験を行ったところ、回転の指示を伝えることが難しいことがわかった。そこで、球形スクリーンへ指示を投影することにより、回転指示を伝えることに特化したシステムを構築し、評価を行った。
  

このページの先頭に戻る

投影型ウェアラブル複合現実感システムの構築

  • 研究者: 狩塚 俊和
  • 論文種別・提出年: 修士論文, 大阪大学大学院基礎工学研究科, Mar. 2004. [movie]

投影型ウェアラブル複合現実感システムの構築   本研究は,投影型ウェアラブル複合現実感システムを提案し,試作システムを構築することを目指したものである.近年,通信インフラの構築が進み,インターネットなどのネットワーク環境が充実してきた.そして,利用できる装置・サービス・情報が多様化し,ユーザとのインタフェース機器としての情報機器の新規開発が益々激しさを増している.なかでも,コンピュータのダウンサイジングとともに,実装技術,LSI技術・マイクロマシン技術など微小化技術が急展開し,情報端末機器の技術が革新的に進んでいる.しかし,ノートパソコン等に音声認識機能やカメラが装備されつつも,コンピュータとのインタラクションはいまだGUI(Graphical User Interface)が主流である.だが時代の潮流として,ウェアラブルコンピュータの時代に入りつつある.つまり,情報機器も携帯用微小情報機器すなわち“着る情報機器”の時代が現実味を増している.モバイルからウェアラブルへと,コンピュータは,ますます実世界の中に入り込み,我々の生活に切り離せない技術になってきている.これにより,コンピュータは単なる机の上の置物ではなく「いつでも,どこでも《利用できる巨大化した情報空間の入り口となった.現時点のウェアラブルコンピュータは小型軽量化したパソコンとディスプレイとをそのまま装着するレベルであるが,将来的には衣?のレベルにまで一体化することで,人間の記憶や感性を拡張し,社会や文明を変革し文化を創造する可能性を秘めている.このような新しいコンピュータを真に有効に活用するために,GUI などといった従来のユーザインタフェースの概念を超えた新しいHCI(Human-Computer Interaction)技術の開発が切望されている.こうした技術背景を踏まえ,真のユビキタスコンピュータの実現の一手法として,現実世界と仮想世界とをシームレスに融合する複合現実感(Mixed Reality:MR)をウェアラブルコンピュータで実現する「ウェアラブル複合現実感MRシステム《が新たなメディア環境として注目されている.このコンピュータシステムがユーザのウェアラブルな環境において実現されるならば,ユーザは実世界での生活の中で,いつでもどこでもコンピュータによって自然に支援されるようになると考えられる.本研究は,このような人間中心の観点で,ディジタル技術とデバイス技術とを融合させ,常時装着可能で快適なディジタル機器と価値あるサービスを生み出す先端的な研究であると位置付けることができる.
  

このページの先頭に戻る

陰影投影型複合現実重畳による実物体の視覚的変形

  • 研究者: 久田 理
  • 論文種別・提出年: 卒業論文, 大阪大学基礎工学部, Mar. 2004.

陰影投影型複合現実重畳による実物体の視覚的変形   本研究は、プロジェクションMR方式を応用することで立体感、実在感を保った実物体形状を視覚的に変形するシステムを提案、構築する事を目的とするものである。プロジェクションMR方式は、現実世界に存在する白色物体にコンピュータ上で合成した表面属性情報を光学的に重畳させるMR方式の一種である。本研究ではこの方式を応用し、物体表面属性情報のみでなく、物体3次元形状情報の変更にも対応させる手法を提案した。これにより目視による高い立体感、実在感を保持しつつ容易に実物体形状を仮想的に変形することができる。試作システムとして、提案手法を実装した視覚的形状変形システムを構築した。この試作システムを用いて、実際に実物体の視覚的形状変形に関する比較実験を行い、提案システムの高い奥行き提示能力を示すことができた。また、リアルタイムに視覚的形状変形を行うアプリケーションを試作システムに実装し、モデリング時におけるディスプレイシステムとしての本提案システムの有用性を示した。
  

このページの先頭に戻る