全体像、目標と条件(3Dモデル)

全体像

 ①全体(3Dモデル活用)

  「3Dモデル活用の環境」

   最近、写真やスキャンデータから、3Dモデルを構築するフォトグラメトリなどの
   技術が、実現精度を向上させ注目を浴びています。
   例えば、「iphoneのLiDARスキャンアプリ」「フォトグラメトリ」「N
   eRF」などの作品公開で、「スマホで3Dモデル制作」「ミラーレスカメラで高
   精細3Dモデル制作」に興味を持つ人を増やしています。
   特に注目すべき点は、「3D空間モデル」の制作も可能な点であり、仮想空間に物
   理空間を高い再現レベルで構築できるため、様々な活用が期待されています。
   また、3Dレンダリングできる「Blender」「UnrealEngine」
   「Unity」など、3D編集と映像表現まで可能なツールも急速に進化しており、
   実写映像と間違うほどの映像作品も制作できるようになりました。
   現在、3Dモデル活用の環境は、最新技術や最新映像の公開が多く活気があります。
   そして、最も認識してほしい点は、この3Dモデル活用の環境を、個人購入できる
   ゲーミングPCで体験できる時代ということです。

   数年前に「スマホがあればPCはいらない」という人が増えました。
   現在は「流行に乗りたいなら、ゲーミングPCを買え」と言われる時代です。

   流行に敏感な人は、「3D空間モデル」に将来性を感じているはずです。
   実際、国家事業での「デジタルツイン」の推進も、ほとんどが「3D空間モデル」
   を制作する実証実験を中心に推進されています。
   これは、「3D空間モデル」と連動した社会サービスが増えると予測し、その基礎
   となる環境整備を実施しているのだと感じています。
   今から知識と経験を積むことは、将来的な準備にもなりますし、「3D空間モデル
   の新たな活用検討」を意識するためにも必要と考えています。

   現状課題:「3D空間モデルの新たな活用検討」

 ②開発(3D再現ツール)

  「3D再現ツールの機能条件」

   現在、3D再現を行うには、HMDや裸眼立体視の専用ハードが必要となります。
   この専用ハードには、どれも「ライセンス」があるため、商用利用を考えると安易
   に手を出せない状況であり、現在「一般公開」が少ない要因だと考えています。
   ただ、「ライセンス」は、提供者の正当な権利であり、商品価値を守るものだと考
   えるので、要因ではあるが原因ではないと考えるべきです。
   とは言え、今後3Dモデルの様々な活用用途を検討する上で、この3D体験を利用
   できないことは、あまり「望ましい状況ではない」と感じています。
   そこで、目的の「最良形」ではなく「最適化」した機能を考えることで、3D体験
   を身近にできるツール開発を行い、現状を少しでも「望ましい状況に変える」こと
   が、今後「3Dモデルの活用を促進する」契機になると考えています。

   現状課題:「現状、専用ハード以外の選択肢がない状況」

 ③開発(3D再現ツール)

  「立体視の機能条件(コスト削減)」

   3D体験に使用する立体視には、「両眼視差」「運動視差」があります。
   HMD、3Dメガネ、裸眼立体ディスプレイの方式は、次の通りです。
    HMD(3Dof)「両眼視差」、HMD(6Dof)「両眼視差+運動視差」
    3Dメガネ「両眼視差」、裸眼立体ディスプレイ「運動視差」
   3Dモデル特有の立体視は、リアルタイムに頭の動きへ連動した「運動視差」です。
   主な裸眼ディスプレイは、この立体視で奥行きを再現する仕組みとなります。
   最近は、更にステレオグラムを組合わせることで、「両眼視差+運動視差」の3D
   再現する事例も公開されています。
   今回は、目的となる立体視を「低コスト」で3D体験するため、「WebCamに
   よるフェイストラッキングで頭の位置を認識し、3DレンダリングとのWebSo
   cket連携でビュー制御する」機能により、専用ハードを使用しない「運動視差」
   の3D再現ツールを開発することにしました。
   これは、「最良形」ではありませんが、3D体験の環境づくりを優先した「最適化」
   と考えれば、開発の意味があると考えています。
   また、横移動のみの録画映像で「運動視差」を3D再現する機能も考えています。

   現状課題:「3D体験を低コストにする機能」

 ④機材(3D再現ツール)

  「3D再現ツールの機材条件」

   3D再現ツールの機材構成を、次のように考えています。
   <簡易裸眼立体スクリーン(3DMスクリーン)>
    ・WebCam
    ・ディスプレイ(FHD)
    ・PC1(WebCamビュー制御+3Dレンダリング用)
   <簡易HMDスクリーン(UEアトラクション)>
    ・HMD(3DoF)
    ・PC1(HMD用)
    ・HDMIキャプチャ(PC2映像のUVC取込)
    ・WebCam
    ・ディスプレイ(FHD)
    ・PC2(WebCamビュー制御+2眼3Dレンダリング用)
   3Dレンダリングには、リアルタイム処理を求めるため、使用ソフトの推奨スペッ
   ク以上のかなりハイスペックなPCが必要となります。
   また、HMDにも、VR機材に合わせたハイスペックなPCが必要となります。
   よって、機材コストは、「高くなる」と考えてください。
   ただ、3D再現ツールを活用することで、ライセンス費用を抑え、自作コンテンツ
   でイベント回数を増やせば、トータルでコスト削減になる可能性があります。

   現状課題:「ハイスペックPCの必要性とトータルコストの削減」

 ⑤課題(3Dモデル)

  「3Dモデリングツールの弱点」

   LiDARアプリ、フォトグラメトリの弱点は、植物などのツルや葉っぱの不規則
   な形状のメッシュ構築が苦手なことです。
   メッシュを細かくできれば、表現できる場合もありますが、3D空間モデルを扱う
   場合は、全体のバランスを優先するため荒いメッシュになってしまいます。
   また、見た目も違和感が出てしまうため、そのような作品は避ける傾向があります。
   他にも、「透明なガラスを読みと取れない」「光の反射がメッシュ形状を歪める」
   など、多少修正を行う必要が発生します。
   NeRFの弱点は、メッシュを使用しないことです。そのため、光の道筋などが、
   煙のように表現されてしまうことがあります。
   しかし、メッシュがないことで、「植物などの繊細な表現」「透明なガラスや鏡の
   読み取り」「形状の歪みが少ない」など、比較すると再現性が高いと言えます。
   この技術は、試験提供の段階であるため、これから補正などの進化が期待できます。
   とは言え、メッシュ方式でないことは、他のソフト連携ができないことを意味する
   ため、そこもどう進化させるかが、今後の課題だと感じています。
   この状況を理解し、最適な選択を行うことが、これからも必要だと感じています。

   現状課題:「3Dモデリングツールのメリットとデメリットを理解した選択」

 ⑥活用(個人)

  「3D活用の個人環境」

   現状、3D活用の個人環境を整えるには、クリエイターレベルのハイスペックPC
   が必要となるため、費用対効果を考えると簡単には手を出せない状況です。
   特に、仕事でもない限り、個人で「3D制作しよう」と思うことも少ないはずです。
   更に、3D作品を制作しても、一般公開する手段が限定されているため、3Dモデ
   リングを趣味だけで行うことも、現状が変わらない限り増えないと感じています。
   ただ、「360動画、3Dモデル、メタバースなど」のツールやサービスの普及に
   より、環境の変化があれば、この状況は変わるかもしれません。
   その時期を早めるには、3D作品を公開できる環境づくりが重要です。
   今後は、「360カメラ、フォトグラメトリ、ゲームエンジン、NeRF」など、
   「360動画、3Dモデル」の3Dコンテンツ、ツールなどのサポート環境を充実
   させ、3D活用を身近に体験できる環境づくりが必要になると考えています。

   現状課題:「3D活用を推進するには、3D体験のサポート環境が必要」

 ⑦活用(イベント)

  「3D活用のイベント環境」

   3D活用には、一般公開を意識した活用ツールが必要と考えています。
   現在の3D活用は、個人レベルだと、制作した3Dモデルをインターネットを介し
   てビュー表示するだけの状況です。最近になり、SNSによる事例紹介が増えてい
   ますが、3Dモデルを直接体験できるものではありません。
   その状況では、3D活用の必要性を感じることはできないと思います。
   実際、メタバースがバズワードとなり、世間の注目を集めましたが、SNS情報か
   ら将来の利便性をイメージできている人は、どれくらいいるのでしょうか?
   情報共有が先行し、イメージだけが膨らんだ状態とは考えられませんか。
   今後、3D活用を考える上で、既存からの想像だけでなく、目的を実現する想像か
   ら利便性を作る必要が出てくると思います。
   そして、これまで存在しない発想を生み出すには、目的を実現するための最新技術
   を多くの人が体験できる環境作りが必要と考えています。

   現状課題:「将来をイメージするため、最新技術を体験できる3Dイベントが必要」

目的と条件

 ・3Dモデルをディスプレイで3D体験できる (①②③⑥⑦)
 ・3DモデルをHMDで3D体験できる (①②③⑥⑦)
 ・空間再現の専用ハードを必要としないビュー制御を提案する (③④⑥⑦)
 ・録画映像で簡易的に3D体験できるビュー制御を提案する (③⑤⑥⑦)
 ・トータルコストを削減する対策案を提供する (③④⑥⑦)
 ・3Dモデリングの課題を意識した映像表現の対策案を提供する (③⑤⑥⑦)
 ・サイト公開できるブラウザベースのツールを開発する (プロジェクト方針)

投稿者: raf-plan