視線追跡が拡張するVRアート：視線情報を捉える技術と表現への応用
ユーザーの視線がアートを動かす：VRアートにおける視線追跡技術の可能性
VR空間におけるアート表現は、視覚、聴覚だけでなく、ユーザーの動きやコントローラー操作によるインタラクションを通じてその体験を深化させてきました。近年、視線追跡（アイトラッキング）技術の進化は、さらに繊細かつ無意識的なユーザーの反応をアートに取り込む可能性を広げています。今回は、視線追跡技術を用いたVRアートで注目を集めるアーティスト、〇〇氏に、その技術的なアプローチとアート表現への探求についてお話を伺いました。
視線追跡への関心と作品制作の背景
〇〇氏が視線追跡技術に強く関心を持ったのは、VR空間における「注意」や「意識」といった、より内面的なユーザーの状態をアートと結びつけたいと考えたことがきっかけだといいます。従来のVRアートのインタラクションは、コントローラー操作や身体の動きといった能動的・物理的なものが中心でした。しかし、人間は五感で情報を捉える際、まず視線が対象に向かい、その後に思考や行動が生まれます。視線追跡は、この最も初期の、無意識に近い注意の動きを捉えることができる技術です。
「例えば、展示空間で特定の作品に興味を持ったとき、まず視線がその作品に留まります。言葉を発したり、手を伸ばしたりするよりも前の、純粋な関心や好奇心の表れです」と〇〇氏は語ります。「この『視線が捉える情報』をリアルタイムにアート表現にフィードバックすることで、ユーザーは自らの無意識的な行動がアートに影響を与えていることに気づき、より深く、主体的に作品世界に入り込むことができるのではないかと考えました。」
代表作であるVRインスタレーション「△△」では、ユーザーの視線が空間内のオブジェクトに注がれると、そのオブジェクトの色や形状が微妙に変化したり、関連するサウンドが生成されたりといったインタラクションが組み込まれています。これらの変化は過度なものではなく、ユーザーが「もしかしたら自分の視線が影響しているのか？」と感じる程度の、繊細な変化として設計されています。
技術の実装：視線情報をアートに結びつける
視線追跡データをアート表現に活用するためには、いくつかの技術的なステップが必要です。まず、対応するVRヘッドセットから視線データを取得します。〇〇氏は主にVIVE Pro EyeやVarjoなどのアイトラッキング機能を搭載したデバイスと、UnityまたはUnreal Engineといった主要なゲームエンジンを使用しています。
「ヘッドセットから取得できる視線データには、視線の方向ベクトル、視線が当たっている3D空間上の座標（Gaze Point）、瞳孔径、眼球の開き具合など、様々な情報が含まれています」と〇〇氏は説明します。「これらのデータはリアルタイムに大量に入力されますが、そのままアートに反映させるとノイズが多く、不安定な表現になりがちです。そのため、データのスムージングやフィルタリングといった前処理が非常に重要になります。」
例えば、ユーザーの視線が短時間で大きく動いた場合はノイズとして扱い、一定時間以上オブジェクトに視線が留まった場合にのみ、その視線方向や注視時間をアートのパラメータとして利用するなどの工夫を凝らしているそうです。
アート表現への具体的な応用例としては、以下のようなものが挙げられます。
- インタラクティブな視覚効果:
- 視線が当たったオブジェクトにグロー効果を追加する。
- 注視している領域だけ解像度を上げる、または逆に周辺をぼかすことで、人間の視覚特性を模倣した表現を行う。
- 特定のオブジェクトを注視し続けることで、そのオブジェクトが成長したり、変化したりする。
- サウンドデザインとの連携:
- 視線が向いた方向から関連する環境音や音楽が聞こえるようにする（指向性オーディオとの組み合わせ）。
- 特定のサウンドソースを注視することで、その音量が大きくなる、またはエフェクトがかかる。
- 空間や物語の誘導:
- ユーザーが次に興味を持ちそうな場所やオブジェクトを視線情報から推測し、そこに微細な視覚的・聴覚的な誘導を加える。
これらの実装において、〇〇氏はパフォーマンス最適化にも多くの時間を費やしているといいます。視線追跡データの処理自体はそれほど負荷が高くないものの、そのデータに基づいて多数のオブジェクトの状態をリアルタイムに変更したり、複雑なシェーダーを適用したりすると、フレームレートが低下する可能性があります。
「特に注視点を使ったレイキャストや、視線方向に基づいた多数のパーティクル制御などは、最適化が不可欠です」と〇〇氏は述べます。「当たり判定の頻度を調整したり、視線情報を基にした処理をGPUで行えるようにシェーダー内で実装したりするなど、エンジニアの方々と協力しながら様々なアプローチを試みています。」独自のワークフローとしては、プロトタイプの段階で視線データの取得・処理部分を先に構築し、そのデータを様々なアート表現にマッピングする実験を繰り返すことで、最も効果的なインタラクションの形を探っているそうです。
技術とアートの融合：重要視する点と挑戦
〇〇氏が技術とアートを融合させる上で最も重要視しているのは、「技術はあくまで手段であり、ユーザー体験とアート表現の質を高めるためにどのように技術を使うか」という点です。視線追跡技術は強力なツールですが、その機能をそのまま使うだけでは面白くありません。取得できるデータの種類や精度を理解し、それがユーザーのどのような状態を表しているのかを考察し、その「意味」をアートに落とし込む創造的なプロセスが不可欠だといいます。
現在挑戦していることとしては、視線追跡データと他の生体情報（心拍、脳波など）を組み合わせた表現の探求があります。例えば、特定の作品を見たときの視線の動きと心拍数の変化を同時に捉え、その両方からユーザーの感情や興奮度を推測し、アート表現に反映させるなど、より複雑で深層的なインタラクションの実現を目指しているそうです。
今後の展望：技術進化が拓く未来
視線追跡技術は、コンシューマー向けデバイスへの搭載が進むにつれて、その精度や取得できる情報量が増加していくと予想されます。〇〇氏は、このような技術進化がVRアートにさらなる可能性をもたらすと期待を寄せています。
「例えば、より正確な瞳孔径の変化を捉えられるようになれば、ユーザーの認知負荷や感情的な反応をより精密にアートに反映させることができるかもしれません。また、将来的には視線だけでUI操作が完結するような時代が来るかもしれませんが、アートにおいては、視線操作そのものではなく、『見ている』という無意識の行為をどのように特別な体験に昇華させるか、という視点がより重要になるでしょう。」
自身の活動としては、視線追跡を用いた体験型インスタレーションをさらに発展させ、より多くの人が手軽に体験できるWebXRなどへの展開も視野に入れているといいます。
まとめ
VRアーティストが視線追跡技術を用いることで、ユーザーの最も原始的で無意識的な注意の動きを捉え、アート表現と結びつける新たなインタラクションの可能性が開かれています。データの取得、前処理、そしてそれをアートのパラメータにマッピングする技術的な実装は、パフォーマンス最適化といったエンジニアリングの知識が不可欠です。
〇〇氏の事例は、技術的な知見とアート的な感性を組み合わせることで、既存の枠を超えた表現が生まれることを示唆しています。ゲーム開発エンジニアの皆様が持つ高度な技術スキルは、このようなVRアートの新しい領域を開拓する上で非常に強力な武器となります。アーティストの視点から語られる技術の応用方法や課題解決のアプローチが、皆様自身の開発における新しいヒントや創造的な刺激となることを願っております。技術とアートの境界線が曖昧になる中で、エンジニアとアーティストが協力することで生まれる表現に、今後ますます注目が集まるでしょう。