全体像
①全体(リモート活用)
「リモート活用の環境」
現在、リモートワークの普及により、仕事のアプローチに変化が起きています。
そして、そのアプローチの変化は、次の改善の可能性を社会に経験させました。
例えば、費用削減(通勤費用、出張旅費、作業場所など)、時間削減(移動時間、
集合時間、調整時間など)、リスク削減(事故回避、事件回避など)です。
しかし、このメリットを活用できる仕事は、現時点では限定されています。
それは、「デスクワーク」で、情報(テキスト、写真、動画)の共有や交換により、
作業を完遂できる仕事です。
それ以外のリモートワークは、「現地の操作や作業が必要な仕事で、実用的に完遂
できるリモート技術がない」ため、活用が難しい状況にあります。
リモートワークにおける現状の課題は、この点だと考えています。
それでは、この解決にどのような技術が必要になるのでしょうか?
個人的な見解ですが、次の2点だと考えています。
・「リモートで直接的に操作する技術」(操作連携で、ロボットなどが作業する)
・「リモートで間接的に操作する技術」(操作指示で、ロボットなどが作業する)
ただ、様々な仕事への対応には、目的を達成する様々な技術の組合せも必要となる
ため、「技術的な要素を体験できる環境づくり」が、重要になると考えています。
現状課題:「実用的なリモート操作の技術を体験と検証できる想像の環境づくり」
②開発(仮想リモート操作ツール)
「仮想リモート操作ツールの機能条件」
現在、一般的なリモート通信の映像遅延は、ほぼ1秒以内に収まります。
会議などの活用であれば、ほとんど「ストレス」を感じず利用できるはずです。
また、リモート操作を伴う場合でも、「カメラ移動のない条件下」であれば、映像
遅延の影響を感じても操作を行うことは可能です。
ただ、「カメラ移動のある条件」が加わると、リモート操作を困難にさせます。
この操作を困難にする起因は様々ありますが、一番の影響は「通信のタイムラグ」
で「リアルタイム性」が損なわれることです。
この解決方法は、「通信のタイムラグ」を極力減らすことですが、ハードやソフトの
技術が突然進化することはないので、他のアプローチによる解決方法の検討も必要と
考えています。
このような状況を踏まえ、次の仮想調整を考えました。
「映像遅延の違和感を軽減する仮想フレームの補間表示」
移動を伴うリモート操作は、映像遅延が0.5秒あると、思い通りに移動すること
は困難です。(0.5秒間前の映像から、今を予測した操作判断が必要になるため)
そこで、今の移動方向と移動スピードから、0.5秒前の映像を0.5秒後の映像
を予測編集することで、仮想調整による補間表示を行う操作支援を考えました。
この予測映像には、「操作判断のスピードを速める効果」があると考えています。
この提案は、目的を達成する最適化で対処方法を検討した結果です。
今後の企画開発で、目的を適切なタイミングで達成するには、検討に必要な技術や
手段を、インターネットによる情報収集(知識、経験、想像)から、柔軟に最適な
組合せで導く想像力と、一般利用できるハード構成で実現できる創造力が、必要に
なるはずです。
更に、「最良形」を意識し「最適化」で実現する力も、社会から要求される時代に
なると感じています。
現状課題:「リモート操作の通信タイムラグに適応する対策を導く想像力と創造力」
③開発(仮想リモート操作ツール)
「仮想リモート操作ツールの検証条件」
「映像遅延の違和感を軽減する仮想フレームの補間表示」は、次の機材と仕組みで
実現できると考えています。
・Iot機器(RasberryPiなど)
・185度魚眼レンズカメラの映像連携(入力)
・9軸センサー、PWMの情報連携(入力)
・PWMの情報連携(出力)
・WebRTC通信環境(RasberryPiなど)
・WebRTC通信環境(Chromeブラウザなど)
・映像連携と情報連携による切出編集(仮想調整を含む)
・ハンコン、ゲームパッドの操作情報(入力)
仮想調整の方法は、魚眼レンズの映像から、コーナリング時の補正角度を推定し、
左右に映像調整を行います。また、スピードに合わせ画角調整を行います。
映像調整と画角調整は、9軸センサー、PWMの情報連携により、0~0.1で推
定します。WebRTCの映像遅延は、近距離だと0.3~0.5sぐらいの遅延
と想定しているため、この調整方法でも違和感を減らす効果があると考えています。
これは、将来的な「最良形」の解決方法とは考えていません。
リモート操作の「目的」を意識した「最適化」と考えています。
今回の「最適化」のポインは、「体験と検証、コスト削減」を意識した仮想調整の
組合せから「ハード構成と環境選択」を選択することで、体験や検証を行える「想
像の環境づくり」を実現することです。
現状課題:「リモート操作の体験と検証を意識した最適化で実現する創造力」
④課題(リモート活用)
「リモート活用の技術」
現在、リモート活用の進まない仕事は、「現地の操作や作業があり、実用的に完遂
できるリモート技術がない」ため、諦めている状況だと考えています。
今後、この解決に必要となるリモート技術は、大きく2つだと考えています。
①「リモートで直接的に操作する技術」(操作連携で、ロボットなどが作業する)
②「リモートで間接的に操作する技術」(操作指示で、ロボットなどが作業する)
今回の企画開発では、①「リモートで直接的に操作する技術」に関する一つの提案
となります。ただ、「最良形」の提案ではないため、今後も検討が必要になります。
そこで、将来的に課題解決が必要な技術の全体像を把握するため、個人的な見解を
含めた「課題解決の方針」をまとめました。
この方針を「実現や進化」させることが、「想像の環境づくり」になるのだと考え
ています。
①「リモートで直接的に操作する技術」の方針は、以下の通りです。
この技術は、「操作のリアルタイム性、即時のイレギュラー対処」が重視される
仕事に必要と考えています。
理想的な対策は、「ほぼタイムラグがない操作」の実現ですが、実用的に活用す
るには、「通信遅延や通信切断」を考慮する必要があり、単純にハード面の向上
だけで解決できないと考えています。
将来的な作業環境を想定し、必要な技術の組合せを検討していく必要があります。
最終的には、「遠隔ロボット操作の技術」に貢献すると考えています。
②「リモートで間接的に操作する技術」の方針は、以下の通りです。
この技術は、「操作の簡素化や自動化、即時のイレギュラー判断」が重視される
仕事に必要と考えています。
理想的な対策は、「操作とイレギュラー対処の全自動化」の実現ですが、実用的
に活用するには、「想定外のイレギュラー判断」を考慮する必要があり、単純に
自動化するだけでは、安全性を維持できな場合などの対処として必要になると考
えています。
最終的には、「AI判断の技術による全自動化」に貢献すると考えています。
現状課題:「将来的な技術の基礎となる課題解決の方針と想像の環境づくり」
⑤活用(個人)
「個人のリモート活用」
現状、個人でリモート活用することは、かなり少ないと感じています。
理由は、単純にSNSなどの情報共有で十分に要件を満たせるためです。
コロナの時に「リモート飲み会」もありますが、今はほとんど聞きません。
一般的なリモート活用は、仕事の会議や打合せの用途しかないのだと感じています。
これは、現状のリモート技術で可能なことを、検証した結果だと考えています。
では、今後も個人でリモート活用する用途はないのでしょうか?
個人的な推測ですが、次の「リモート活用の可能性」があると考えてます。
①リモート共有(旅、買い物など)
現地とは、ARグラスによる情報交換を行い、現地での違和感(独り言や撮影)
を減らせば、利活用できるようになると考えています。
また、魚眼カメラ2台の映像送信ができれば、NeRF技術などにより現地映像
を3D化することで、現実感のある映像体験も可能になると感じています。
②リモート操作(ラジコンなど)
ラジコンよりスピードレベルは落ちますが、リモート映像でレースできれば、新
しい趣味として発展する可能性があると感じています。
実車セッティングの難しさで、結構楽しめる環境になる気がします。
以上のような「リモート活用の可能性」を伝えることができれば、注目も増してい
くと感じています。そして、技術に興味を持つ人も増えていくと思います。
それも一つの「想像の環境づくり」だと考えています。
現状課題:「個人活用の推進には、最新技術に興味を持つ体験提案と普及活動」
⑥活用(グループ)
「グループのリモート活用」
グループのリモート活用とは、主に企業でのリモート活用となります。
今後、一般的なデスクワークの活用は、現状の技術で普及が進むと考えています。
リモート操作も、現状の技術を各企業が用途に合わせ活用されていくと思います。
他に、メタバース環境によるグループ活動を推進する動きもありますが、現状のリ
モート活用の置換なら、一時的な盛り上がりで終わる気がします。
このように見ると、これ以上のリモートワークの普及は期待できない感じがします。
では、グループのリモート活用は、今後「停滞」するのでしょうか?
現在、国家事業で「デジタルツインの推進」が支援されており、東京都などの都市
では、都市の3Dデジタル化など、推進活動が盛んに行われています。
デジタルツインとは、「物理空間を仮想空間に再現する」ことで、「デジタルの双
子」による「視覚効果」を活用する技術です。
リモート活用とは異なる技術に見えるかもしれませんが、次世代のリモート活用に
必要な技術になると感じています。
次世代のリモート活用とは、「実用的なリモート操作」です。
リモート操作の課題は、「通信タイムラグ」であり「ハード面の性能改善」が対策
の最良形と考えました。しかし、その進化を待つのではなく「仮想空間による補完」
で解決できる可能性もあると考えています。
例えば、事前に仮想空間の構築と物理空間の整合性を取れば、仮想空間から指示を
入力し、物理空間を制御する仕組みを実現することも可能だと考えています。
この仕組みは、「デジタルツイン」であり、「リモート操作」なのです。
昨年までは、この提案を想像できませんでした。
その理由は、「仮想空間に物理空間を、高精度に構築する技術がない」と考えてい
たためです。
しかし、今年になり「この認識を変える技術進化」がありました。
その技術とは、3D空間モデルを構築する技術です。
例えば、次のゲームエンジン、モデリングツールやアプリなどの進化です。
「UnrealEngine」、「RealityCapture」、
「NeRF」、「ⅰphoneLⅰDAR」など
また、「CPU、GPU、HMD、カメラなど」のハード性能も向上しています。
最近は、エントリー性能が、1世代前のハイエンド性能に近い状況です。
特に、今年の進化は、異常と感じるほどです。
今となり思うことは、「VR元年」と違い「メタバース」には、バックボーン技術
の進化があり、想定より「環境づくり」が進んでいたのだと思いました。
ただ、私の考える「想像の環境づくり」は、「人材育成」「環境構築」であるため、
更に「人材育成」の遅れが表面化していくと感じています。
今後、社会から求められる人材は、既存技術から想像するだけでなく、目的を実現
する想像から、「新たな技術の組合わせで創造する力」が必要になります。
そして、その新たな組合せを想像するには、「開発方針や技術知識」「最新技術の
体験」「アプローチ事例」など、情報共有できる「想像の環境づくり」が必要にな
ると考えています。
更に、グループによる将来方針も、この「想像の環境づくり」で情報共有し、「統
一化、共通化」の推進も「合理的な対応」が必要になると思います。
オープンシステム化による「情報量とスピード」は、更に増していきます。
この状況への対策は、「想像」と「作業」を行う人材を完全分離し、企業の枠を意
識させない「想像の環境づくり」を、早急に進める必要があると考えています。
世界や社会の最先端に対応するなら、それぐらいの区別が必要と感じています。
現状課題:「グループ活用の推進には、想像の環境づくりによる人材育成と環境構築」
目的、条件
・仮想リモート操作で移動操作を検証できる (①②③⑤)
・映像通信タイムラグを補間する仮想調整を提案する (①②③⑤)
・検証環境とコストを意識したハード構成を提案する (①②③⑤)
・検証環境を構築する製作手順と設定方法を提供する (①②③⑤)
・リモート操作、デジタルツインの方針を提案する (④⑤⑥)
・サイト公開できるブラウザベースのツールを開発する (プロジェクト方針)