Vision Pro アクセサリは、あらゆる平らな表面を仮想トラックパッドに変えます

先週付与された Apple の特許では、Vision Pro アクセサリの幅広い可能性について説明されており、別の特許では、机やその他の平らな面を完全なジェスチャーサポートを備えた仮想 Magic Trackpad に変えるように設計されたハードウェアデバイスについて具体的に説明されている。

一見すると、この特許は少々奇妙なものです。1 つの物理ハードウェアを使用して、別の物理ハードウェアの仮想バージョンをエミュレートするものです。しかし、Apple のアプローチにはいくつかの潜在的な利点があることがわかります...

Vision Proアクセサリ

より一般的な特許では、Vision Pro のようなヘッドセットにハードウェア機能を追加するためのモジュール式のアプローチについて説明しています。

これらには、視野をさらに広げるための追加カメラや、ヘッドセットに機能を追加するためのさまざまなセンサーが含まれます […]

Apple が健康に非常に力を入れていることを考えると、提案されているアクセサリの一部にさまざまな種類の健康センサーが含まれているのは驚くことではありません […] Apple はファッションアクセサリについても説明しています。

私にとって、このテクノロジーの最もエキサイティングな可能性は、旅行中または恒久的に使用するために、Mac ともう 1 台の外部モニターをヘッドセットに置き換えることです。

複数の仮想Macモニターを可能にするMeta Questアプリを試しています（これについては1、2日後に別の記事で詳しく書きます）。コントローラーやハンドジェスチャーは確かに使えるものの、Magic Keyboardの代わりにはならないことがわかりました。そのため、ヘッドセットは物理キーボードとトラックパッドと組み合わせて使っています。

Apple が提案するアプローチは、机から飛行機のトレーテーブルまで、あらゆる平らな表面をジェスチャーを完全にサポートする仮想トラックパッドに変えることで、この必要性を排除すると思われます。

Vision Proカメラを使って手振りを検出するだけでも可能かもしれませんが、特許では信頼性が低い可能性があると述べられています。表面に設置された外部デバイスに搭載されたカメラの方が、より優れた性能を発揮する可能性があることを示唆しています。

特に、[ある]デバイスは、表面上に配置されているため、表面上のタップをより適切に検出でき、そのためセンサーはタップの位置まで明瞭な視線を保てる可能性がある。対照的に、[別の]デバイスは、深度分析を利用して、物体がZ軸に沿って表面上のタップとみなされるような方法で移動したかどうかを判定する。いくつかの実施形態では、1つ以上の基準のセットには、物体が有効な物体であるという要件が含まれる。例えば、物体が手の指である場合、物体は有効な物体である。いくつかの実施形態では、物体が筆記具（例えば、ペン、鉛筆）またはスタイラスである場合、物体は有効な物体である。

しかし、要点は、ヘッドセットに搭載されたカメラよりも、平らな表面に設置されたカメラの方が、トラックパッドのタップなどのジェスチャーをより正確に検出できるということのようです。

特許の図には、テーブルの上に小さなボックスが描かれており、親指と人差し指を使って写真を回転させるなど、Magic Trackpad スタイルの他のジェスチャーを検出していることが示されています。

上の図では、ボックスは物理的な Vision Pro アクセサリであり、トラックパッドはヘッドセット内に仮想的に表示されています。

物理トラックパッドに比べてどのような利点がありますか?

これによって、1 つの明白な疑問が生じます。仮想トラックパッドをエミュレートするために物理的なハードウェアを購入して持ち運ばなければならないのであれば、代わりにトラックパッドを持ち運べばよいのではないでしょうか。

この疑問は特許では直接言及されていませんが、図からハードウェアデバイスがトラックパッドよりも小型になる可能性が示唆されています。また、手だけでなく「筆記具」の動きも追跡できる可能性があることも説明されているため、このアクセサリは単にトラックパッドをエミュレートするだけでなく、より柔軟な役割を果たす可能性があります。