全体像
①全体(3Dモデル活用)
「3Dモデル活用の環境」
最近、写真やスキャンデータから、3Dモデルを構築するフォトグラメトリなどの
技術が、実現精度を向上させ注目を浴びています。
例えば、「iphoneのLiDARスキャンアプリ」「フォトグラメトリ」「N
eRF」などの作品公開で、「スマホで3Dモデル制作」「ミラーレスカメラで高
精細3Dモデル制作」に興味を持つ人を増やしています。
特に注目すべき点は、「3D空間モデル」の制作も可能な点であり、仮想空間に物
理空間を高い再現レベルで構築できるため、様々な活用が期待されています。
また、3Dレンダリングできる「Blender」「UnrealEngine」
「Unity」など、3D編集と映像表現まで可能なツールも急速に進化しており、
実写映像と間違うほどの映像作品も制作できるようになりました。
現在、3Dモデル活用の環境は、最新技術や最新映像の公開が多く活気があります。
そして、最も認識してほしい点は、この3Dモデル活用の環境を、個人購入できる
ゲーミングPCで体験できる時代ということです。
数年前に「スマホがあればPCはいらない」という人が増えました。
現在は「流行に乗りたいなら、ゲーミングPCを買え」と言われる時代です。
流行に敏感な人は、「3D空間モデル」に将来性を感じているはずです。
実際、国家事業での「デジタルツイン」の推進も、ほとんどが「3D空間モデル」
を制作する実証実験を中心に推進されています。
これは、「3D空間モデル」と連動した社会サービスが増えると予測し、その基礎
となる環境整備を実施しているのだと感じています。
今から知識と経験を積むことは、将来的な準備にもなりますし、「3D空間モデル
の新たな活用検討」を意識するためにも必要と考えています。
現状課題:「3D空間モデルの新たな活用検討」
②開発(3D再現ツール)
「3D再現ツールの機能条件」
現在、3D再現を行うには、HMDや裸眼立体視の専用ハードが必要となります。
この専用ハードには、どれも「ライセンス」があるため、商用利用を考えると安易
に手を出せない状況であり、現在「一般公開」が少ない要因だと考えています。
ただ、「ライセンス」は、提供者の正当な権利であり、商品価値を守るものだと考
えるので、要因ではあるが原因ではないと考えるべきです。
とは言え、今後3Dモデルの様々な活用用途を検討する上で、この3D体験を利用
できないことは、あまり「望ましい状況ではない」と感じています。
そこで、目的の「最良形」ではなく「最適化」した機能を考えることで、3D体験
を身近にできるツール開発を行い、現状を少しでも「望ましい状況に変える」こと
が、今後「3Dモデルの活用を促進する」契機になると考えています。
現状課題:「現状、専用ハード以外の選択肢がない状況」
③開発(3D再現ツール)
「立体視の機能条件(コスト削減)」
3D体験に使用する立体視には、「両眼視差」「運動視差」があります。
HMD、3Dメガネ、裸眼立体ディスプレイの方式は、次の通りです。
HMD(3Dof)「両眼視差」、HMD(6Dof)「両眼視差+運動視差」
3Dメガネ「両眼視差」、裸眼立体ディスプレイ「運動視差」
3Dモデル特有の立体視は、リアルタイムに頭の動きへ連動した「運動視差」です。
主な裸眼ディスプレイは、この立体視で奥行きを再現する仕組みとなります。
最近は、更にステレオグラムを組合わせることで、「両眼視差+運動視差」の3D
再現する事例も公開されています。
今回は、目的となる立体視を「低コスト」で3D体験するため、「WebCamに
よるフェイストラッキングで頭の位置を認識し、3DレンダリングとのWebSo
cket連携でビュー制御する」機能により、専用ハードを使用しない「運動視差」
の3D再現ツールを開発することにしました。
これは、「最良形」ではありませんが、3D体験の環境づくりを優先した「最適化」
と考えれば、開発の意味があると考えています。
また、横移動のみの録画映像で「運動視差」を3D再現する機能も考えています。
現状課題:「3D体験を低コストにする機能」
④機材(3D再現ツール)
「3D再現ツールの機材条件」
3D再現ツールの機材構成を、次のように考えています。
<簡易裸眼立体スクリーン(3DMスクリーン)>
・WebCam
・ディスプレイ(FHD)
・PC1(WebCamビュー制御+3Dレンダリング用)
<簡易HMDスクリーン(UEアトラクション)>
・HMD(3DoF)
・PC1(HMD用)
・HDMIキャプチャ(PC2映像のUVC取込)
・WebCam
・ディスプレイ(FHD)
・PC2(WebCamビュー制御+2眼3Dレンダリング用)
3Dレンダリングには、リアルタイム処理を求めるため、使用ソフトの推奨スペッ
ク以上のかなりハイスペックなPCが必要となります。
また、HMDにも、VR機材に合わせたハイスペックなPCが必要となります。
よって、機材コストは、「高くなる」と考えてください。
ただ、3D再現ツールを活用することで、ライセンス費用を抑え、自作コンテンツ
でイベント回数を増やせば、トータルでコスト削減になる可能性があります。
現状課題:「ハイスペックPCの必要性とトータルコストの削減」
⑤課題(3Dモデル)
「3Dモデリングツールの弱点」
LiDARアプリ、フォトグラメトリの弱点は、植物などのツルや葉っぱの不規則
な形状のメッシュ構築が苦手なことです。
メッシュを細かくできれば、表現できる場合もありますが、3D空間モデルを扱う
場合は、全体のバランスを優先するため荒いメッシュになってしまいます。
また、見た目も違和感が出てしまうため、そのような作品は避ける傾向があります。
他にも、「透明なガラスを読みと取れない」「光の反射がメッシュ形状を歪める」
など、多少修正を行う必要が発生します。
NeRFの弱点は、メッシュを使用しないことです。そのため、光の道筋などが、
煙のように表現されてしまうことがあります。
しかし、メッシュがないことで、「植物などの繊細な表現」「透明なガラスや鏡の
読み取り」「形状の歪みが少ない」など、比較すると再現性が高いと言えます。
この技術は、試験提供の段階であるため、これから補正などの進化が期待できます。
とは言え、メッシュ方式でないことは、他のソフト連携ができないことを意味する
ため、そこもどう進化させるかが、今後の課題だと感じています。
この状況を理解し、最適な選択を行うことが、これからも必要だと感じています。
現状課題:「3Dモデリングツールのメリットとデメリットを理解した選択」
⑥活用(個人)
「3D活用の個人環境」
現状、3D活用の個人環境を整えるには、クリエイターレベルのハイスペックPC
が必要となるため、費用対効果を考えると簡単には手を出せない状況です。
特に、仕事でもない限り、個人で「3D制作しよう」と思うことも少ないはずです。
更に、3D作品を制作しても、一般公開する手段が限定されているため、3Dモデ
リングを趣味だけで行うことも、現状が変わらない限り増えないと感じています。
ただ、「360動画、3Dモデル、メタバースなど」のツールやサービスの普及に
より、環境の変化があれば、この状況は変わるかもしれません。
その時期を早めるには、3D作品を公開できる環境づくりが重要です。
今後は、「360カメラ、フォトグラメトリ、ゲームエンジン、NeRF」など、
「360動画、3Dモデル」の3Dコンテンツ、ツールなどのサポート環境を充実
させ、3D活用を身近に体験できる環境づくりが必要になると考えています。
現状課題:「3D活用を推進するには、3D体験のサポート環境が必要」
⑦活用(イベント)
「3D活用のイベント環境」
3D活用には、一般公開を意識した活用ツールが必要と考えています。
現在の3D活用は、個人レベルだと、制作した3Dモデルをインターネットを介し
てビュー表示するだけの状況です。最近になり、SNSによる事例紹介が増えてい
ますが、3Dモデルを直接体験できるものではありません。
その状況では、3D活用の必要性を感じることはできないと思います。
実際、メタバースがバズワードとなり、世間の注目を集めましたが、SNS情報か
ら将来の利便性をイメージできている人は、どれくらいいるのでしょうか?
情報共有が先行し、イメージだけが膨らんだ状態とは考えられませんか。
今後、3D活用を考える上で、既存からの想像だけでなく、目的を実現する想像か
ら利便性を作る必要が出てくると思います。
そして、これまで存在しない発想を生み出すには、目的を実現するための最新技術
を多くの人が体験できる環境作りが必要と考えています。
現状課題:「将来をイメージするため、最新技術を体験できる3Dイベントが必要」
目的と条件
・3Dモデルをディスプレイで3D体験できる (①②③⑥⑦)
・3DモデルをHMDで3D体験できる (①②③⑥⑦)
・空間再現の専用ハードを必要としないビュー制御を提案する (③④⑥⑦)
・録画映像で簡易的に3D体験できるビュー制御を提案する (③⑤⑥⑦)
・トータルコストを削減する対策案を提供する (③④⑥⑦)
・3Dモデリングの課題を意識した映像表現の対策案を提供する (③⑤⑥⑦)
・サイト公開できるブラウザベースのツールを開発する (プロジェクト方針)