スキャン技術がアートを拡張する：現実世界の複雑さをVRに持ち込む技術的挑戦
現実世界の複雑さをVRアートに写し取る
VR空間でのアート表現は、ゼロから構築されるデジタルな世界の創造が主流でした。しかし近年、現実世界の物体や空間を高精度にスキャンし、そのデータをVR空間に取り込むことで、新たな表現を追求するアーティストが現れています。今回は、フォトグラメトリや3Dスキャン技術を駆使し、現実世界の持つ豊かな質感や形状をVRアートとして再構築するアーティスト、速水 悠氏に、その制作背景と技術的な挑戦についてお話を伺いました。
フォトグラメトリへの着目：現実世界の解像度をアートに
速水氏がフォトグラメトリや3Dスキャン技術に関心を持ったきっかけは何だったのでしょうか。
「私にとって、現実世界には無限のディテールと複雑さが詰まっています。長い年月を経て風化した石壁、樹木の肌理、日常の中に見過ごされがちな小さなオブジェクト。それらが持つ情報量は、通常の3Dモデリングでは容易に再現できるものではありません。VR空間にこうした現実世界の『解像度』を持ち込むことで、鑑賞者にとってより触覚的で、記憶や感情を喚起するような没入体験を生み出せるのではないかと考えたのが始まりです。」
アイデアの発想プロセスとしては、まず特定の場所やオブジェクトに対し、それが持つ歴史性や質感、周囲の環境との関係性といったストーリーを感じ取るところからスタートするそうです。次に、それをどのようにスキャンし、VR空間でどのように配置・表現すれば、そのストーリーや感情が最も強く伝わるかを技術的な側面と同時に検討していくといいます。単なるアーカイブではなく、アートとして再構築するための意図が重要とのことです。
技術的課題への取り組み：データの最適化と表現の追求
スキャンデータをVRアートとして活用する上で、最も大きな課題となるのが、そのデータ量とリアルタイムレンダリングにおけるパフォーマンスです。数千枚の写真から生成されるフォトグラメトリモデルは、膨大なポリゴン数と高解像度テクスチャを持つため、そのままVR空間に配置することは現実的ではありません。
「最も時間を要し、工夫が必要なのは、スキャン後のデータ処理です。まず、元の高精度モデルをターゲットとするVRデバイスの性能に合わせて最適化する必要があります。具体的には、Decimation（ポリゴン削減）を用いてポリゴン数を大幅に削減しつつ、オリジナルの形状のディテールを可能な限り保持するよう調整します。この際、自動処理だけでなく、アートとしての見栄えを考慮して手動でのクリーンアップや修正も欠かせません。また、テクスチャも適切なサイズにリサイズしたり、アトラス化したりしてGPU負荷を軽減します。LOD（Level of Detail）の設定も非常に重要で、視点からの距離に応じてモデルの詳細度を切り替えることで、遠景のパフォーマンスを維持します。」
さらに、スキャンデータ特有の課題として、ノイズや欠損、そしてライティングの問題が挙げられます。
「フォトグラメトリは光の反射や影の影響を受けやすいため、生成されるメッシュにノイズや穴が生じることがあります。これは手作業でのモデリングツールを用いた修正や、ZBrushなどのスカルプトツールを使ったディテール補完で対応しています。また、スキャン時に記録された陰影がテクスチャに焼き付いてしまうことがあり、VR空間でのダイナミックなライティングと干渉する場合があります。これに対しては、アンビエントオクルージョンやノーマルマップを別途生成・調整したり、スキャンデータから得た法線情報を活用したりするなどのアプローチを取っています。完全に現実を再現するのではなく、VR空間のライティング特性に合わせて調整し、アートとしての雰囲気を高めることを重視しています。」
速水氏は、これらの技術的な課題を乗り越えるために、単に既存ツールを使うだけでなく、独自のワークフローやスクリプトを開発することもあるといいます。
「例えば、大量のスキャンデータを効率的に管理・処理するために、Pythonスクリプトでリネームやフォーマット変換を自動化したり、特定の最適化設定を複数のモデルに一括適用するツールを自作したりしています。Unreal EngineやUnityといったゲームエンジン上でのシェーダー開発も行い、スキャンデータのリアルな質感を保ちつつ、アート的なフィルターをかけたり、インタラクションに応じた視覚効果を加えたりする表現に挑戦しています。技術的な制約を、逆に新しい表現のインスピレーションに変えるような意識で取り組んでいます。」
技術とアートの融合：リアリティのその先へ
速水氏にとって、技術とアートを融合させる上で最も重要視している点は何でしょうか。
「スキャン技術は非常に強力なツールですが、単に現実を『コピー＆ペースト』するだけでは、それはアートではなくデータのアーカイブになってしまいます。私にとって重要なのは、スキャンデータを通して『何を語りたいか』という明確なアート的な意図を持つことです。現実世界の断片をそのまま提示するのではなく、それをどのように配置し、どのようなライティングを施し、どのような音響やインタラクションを加えることで、鑑賞者の感情や思考に深く訴えかける体験を作り出すか。技術はそのための『言語』であり『筆』です。」
例えば、風化した石像をスキャンした作品では、単に形状を再現するだけでなく、長い年月が刻んだディテールを強調するようなマテリアル表現や、その石像が見つめ続けてきたであろう景色を想起させるような環境音を組み合わせるといった工夫を凝らしているそうです。スキャンデータはあくまで出発点であり、そこからアーティストの解釈や創造性を加え、新しい意味や感情を吹き込むプロセスを大切にしています。
今後の展望：技術進化とVRアートの未来
VRアートの今後の可能性や、ご自身の活動の展望についてお聞かせください。また、技術の進化がアートに与える影響をどのように考えていますか。
「スキャン技術は日々進化しており、より手軽に、より高精度なデータ取得が可能になっています。 LiDARスキャナーを搭載したモバイルデバイスの普及や、Structure from Motion (SfM) アルゴリズムの進化は、アーティストにとって大きな恩恵です。今後は、さらに大規模な環境を高精度で取り込んだり、時間経過による変化（例えば植物の成長や水の流れ）をスキャンデータとして記録し、それをVR空間で体験できるような作品にも挑戦したいと考えています。」
技術の進化は、アーティストの表現の幅を間違いなく広げます。しかし同時に、新しい技術が登場するたびに、アーティストはその技術をどのように自分自身の内面や表現したいテーマと結びつけるか、という問いに直面することになります。
「技術は目的ではなく、あくまで手段です。重要なのは、その技術を使って何を表現し、鑑賞者に何を感じてもらいたいのかという、アートの根幹にある問いです。技術を深く理解し、その可能性を最大限に引き出しつつも、それに振り回されることなく、自分自身の『声』を表現し続けることが、VRアーティストとして最も大切なことだと感じています。」
最後に
速水氏のお話から、スキャン技術が単なる現実のコピーではなく、アーティストの視点を通して再構築され、VRアートとして昇華されるプロセスの一端を垣間見ることができました。膨大なデータ処理や最適化といった技術的な課題に真摯に取り組みつつ、それをアート表現の可能性に変えていく速水氏の活動は、技術的なスキルを持つゲーム開発エンジニアの皆様にとっても、自身の技術を新しい創造的な領域に応用するための大きなヒントとなるのではないでしょうか。現実世界という無限の宝庫からインスピレーションを得て、技術を駆使してそれをVR空間に再構築するアプローチは、今後のVRアートの新たな潮流となる可能性を秘めていると感じました。