03
ヘッドマウントディスプレイを活用した授業・実験

VRを使った実験シミュレーション

実験の授業では装置の台数や時間に制限がある。ロボティクス学科では、時間外に誰でも自由に装置の操作方法を確認したり、模擬実験ができるようVR（Virtual Reality）空間に実験室を用意。臨場感ある実験室で繰り返し実験シミュレーションができる。あらかじめ危険事象も体験できるため、本物の装置を操作する際に事故を防ぐことができる。

VRを活用した安全教育教材

ものづくりでは常にケガや事故を防止する安全教育とリスク管理が必要。夢考房では、工具や機械を使う前に､危険事象をVR空間でのシミュレーション動画で確認し、危険防止に対する意識を高める。

MRを使った拡張表現システムの開発

メディア情報学科 出原研究室では、MR（Mixed Reality）の技術を使い、現実の空間と仮想の空間を融合し、あたかも現実にあるかのような表現方法を研究開発。CG映像以外にも、他の機器を組み合わせることで、新しい空間表現が可能に。

※演奏者はデジタルピアノを弾き、聞き手はMRを装着する

※CGで作成した建物群やまちづくり模型を机の上に置いたかのように見える

MRとバーチャルSNSの活用

VR空間で他の人と直接話をしているかのようなコミュニケーションができるバーチャルSNS。自分が作った3D模型やCGコンテンツをVR・MR上で表示し、遠く離れた企業担当者に審査と評価をしてもらえる。バーチャルSNSはエンターテイメント以外に製造・土木・建築・医療分野でも活用されており、建築学科 下川研究室では、企業と連携した活動を実践している。

MRを使った情報の可視化（データ・ビジュアライゼーション）

システム設計工学専攻大学院科目「メディアデザイン特論」では、AR, MR, VRなど実空間と仮想イメージ をつなぐ技術を活用した空間メディアデザインについて学習することを目的として、特に、MRデバイス（Magic Leap One）を活用した 情報の可視化（データ・ビジュアライゼーション） に焦点をあて、具体的な制作演習とコンテンツ評価方法について習得した。

教育DXに関する分野を超えた「xRフェス」出展

メディア情報学科 出原研究室では、教育DXに関する分野を超えた「xRフェス」に参加し、展示メインテーマを「MRを活用した複合表現の追求」と題し、MRデバイス（Magic Leap One）を活用した「MRピアノの拡張演出システム」、「MR窓による空間拡張」、「実空間に対する跳弾性を活用したMRシューティングゲーム」、さらに、VR SNSを活用した「KIT VRキャパス」を出展した。会場では多くの参加者にMR、VRデバイスを装着し体験してもらった。

VRを使ってPDⅢのミーティングをバーチャル空間で実施

心理科学科 田中孝治研究室では、鑑賞学習支援のためのVRコンテンツ制作とその効果検証をPDⅢのテーマとした学生との個別ミーティングを、Meta Horizon社が提供するHorizon Workroomsで開催し、お互いが別の実空間からVRヘッドセット・タッチコントローラ（Meta Quest 2）を装着して参加した。最新のVR空間に身を置く経験から触発を受け、PDⅢへの取り組みが加速した。なお、制作したコンテンツは、作品コンテストでグランプリを受賞している。

→ 詳細はこちら

日本刀のVR鑑賞システムの開発とその評価

「日本刀」は我が国が誇る伝統的な美術工芸品の一つである。しかし、それを鑑賞できる場所や時期は限定的な場合が多く、一般人が日本刀を目にする機会は少ないため、日本刀の文化を詳細に理解することは難しい。このような背景から、機械工学科 畝田研究室では、日本刀文化の新たな価値創造へのアプローチとするための新しい日本刀鑑賞方法の提案を目的とする研究を行った。新しい鑑賞方法として日本刀をVRで鑑賞できるシステムを開発することを通じて、デジタル機器やツール・コンテンツの効果的な活用事例を作ることを試みた。

VRによる工作機械操作シミュレータの開発

工作機械の利用に際し、事故による利用者の怪我・機械の損傷を防ぐためには操作訓練が不可欠であるが、機械そのものを使用しての訓練は時間と台数の確保が困難である。また、夢考房では動画による事前学習を利用したライセンス講習が行われているが、実際に自分が手を動かすわけではないので学習効果が少ないと考えられる。機械工学科 林研究室では、工作機械の操作シミュレータを構築した。今年度は、学外ではMEX金沢、学内ではxRフェス2022において高校生や他学科学生、職員らに操作体験をしてもらい、工作機械がどのようなものであるか興味を持ってもらうことができた。

KIT物理ナビゲーションへの立体視動画、360度動画の導入

近年、世間一般にも急速に広まっているスマートフォンベースのVRゴーグルで鑑賞する、立体視動画や360度動画（いわゆるVR動画）を、360度カメラを用いて撮影して、Premiere Proを用いて編集することで作成した。これまでに数理工教育研究センターでは、「モンキーハンティング」や「大気中の物体の落下運動」について物理実験動画を学生スタッフと共に作成して、KIT物理ナビゲーションにおいて公開している。また、授業内でも活用して学生の物理に対する興味を惹くことに成功しており、その成果について国際学会に招待されて講演して、Best Presentation Awardを受賞した。

→ 詳細はこちら

物理実験動画をVRで立体視聴できるWebアプリの開発

ススマートフォンベースのVRゴーグルで360度動画を鑑賞できるWebアプリを、学生スタッフと共にUnityとWebGLを用いて開発した。2台の360度カメラを用いて撮影した物理実験動画を立体視で視聴できるようにしてあり、様々な実験テーマについての実験動画を編集して実装中である。立体視の360度静止画中を視線操作で探索的に移動して、視聴したい実験装置の場所まで移動して選択することで、どの実験テーマや実験条件について視聴するのかを決めることができる。今後はより多くの実験動画を実装したうえで、KIT物理ナビゲーションにおいて公開する予定である。

VR建築空間の制作から仮想空間内での議論までを一貫して行う授業

建築学専攻（大学院）の授業科目「建築情報特論」において、VR SNSサービスとVRヘッドセットを用いて建築デザインについて学ぶ授業を2021年度から開始した。具体的には、授業前半で履修者自身が選定した建築作品をVR仮想空間としてCADデータのモデリングからVR SNS空間構築までを個人ごとに実践してもらう。授業後半では履修者全員と教員でVRヘッドセットを装着して作成された建築作品のVR仮想空間に入り、その建築作品をリアルスケール体験しながらその建築作品について発表や議論を行う。

建築仮想空間のリモートコミュニケーションにおけるVRとMRの特性比較

コロナ禍以降、zoom等のリモートコミュニケーション技術を用いた遠隔会議が盛んにおこなわれるようになったが、建築のような立体構成の理解が重要な分野においては2次元のリモートコミュニケーションだけでは不十分なことが多い。近年、MRやVRでのコミュニケーション技術が注目されるようになったが、各技術の特性の違いは十分に整理されてない。建築学科 下川研究室では、複数の建築作品の3Dデータを用いて、MRとVRでコミュニケーション実験を行い、両者の特性の違いや建築作品の特性との関係性などを分析した。

VR仮想空間における設計作品自己評価・他己評価の有効性検証

建築設計教育は学生が建築CADやCGソフト等を用いて作成したプレゼン紙面を教員が評価することで完結することが多い。建築学科の卒業研究（プロジェクトデザインⅢ）や建築学専攻の修士研究の活動として、学生が自己の設計作品をVR仮想空間内で自己評価・他己評価することの有効性をプレゼン紙面での同行為と比較することで検証する研究を実施している。建築設計演習授業を履修した学生の一部に課外活動として協力を仰ぎ、彼らが設計した作品をVR仮想空間内で自己評価・他己評価してもらう実験を実施し、従来のプレゼン紙面による手法との違いを分析している。

空間行動パターン学習支援のためのVR視線行動分析ツールの開発

メタバース文化の到来とともに、VR空間内での視線行動を記録し、分析に応用できる技術が求められつつある。一方、建築分野においてはフォトリアルなVR空間表現に対するニーズも高まりつつある。建築学科 下川研究室では、ヘッドマウントディスプレイ(HMD)を用いてフォトリアルな建築作品のVR空間コンテンツを開発するとともに、その中での人の動きや視線を記録し、可視化する技術を開発した。本技術を応用することで各種空間内での行動パターンの学習が可能になる。