سونی کنترل کننده VR ردیابی انگشت را طراحی کرده است

گزارشی از مهندسان نرم افزار سونی نشان می دهد که این شرکت در حال توسعه یک سیستم حرکتی واقع بینانه واقعاً بسیار غوطه ور است که احتمالاً در کنترلرهای بعدی پلی استیشن مورد استفاده قرار می گیرد.

کنترل کننده های VR از فناوری ردیابی انگشت استفاده می کنند.

در مقاله ای تحت عنوان "ارزیابی تکنیک های یادگیری ماشین برای تخمین قرار دادن دست بر روی دستگاه دستی با سنسور مجاورت" ، تیمی از بخش تفریحی سرگرمی سونی اظهار داشتند که آنها یک کنترلر را تهیه کرده اند که حرکات دست و انگشتان بازیکن را به صورت دقیق تکرار می کند.

برنامه های ردیابی انگشت معمولاً به دوربین هایی متکی هستند که حرکت انگشت را ضبط می کنند ، مانند Oculus Quest. اخیراً ، سنسورهای مجاورت خازنی که تشخیص حرکت دقیق تری را ارائه می دهند ، وارد بازار می شوند. اما ، همانطور که محققان سونی Kazuyuki Arimatsu و Hideki Mori متذکر می شوند ، تشخیص دوربین با حضور کنترلرهای فیزیکی مانع می شود ، و فناوری حسگر مجاورت ، هنوز در مراحل ابتدایی خود ، به پیشرفت و پالایش نیاز دارد. دقیقاً دستگیری حرکت دست گریزان بود.

Arimatsu و More چالش پر کردن این شکافها را برعهده گرفته اند. آنها یک کنترل کننده دستی نمونه اولیه با 62 الکترود تعبیه شده و مجموعه داده های آموزشی با سیستم نظارت نوری ضبط کردند. آنها حرکات دست 12 نفر را ضبط کردند که هر یک اندازه متفاوت است.

Arimatsu و More گفتند: "ما هدف داریم تا مرز قابلیت ردیابی انگشت برای تعامل بصری بیشتر با استفاده از دستها در فضای مجازی فشار بیاوریم." "رویکرد ما نه تنها لمس انگشتان بر روی الکترود مشخص را تشخیص می دهد بلکه حرکت جامع انگشت را در فضای سه بعدی با استفاده از مقادیر از همه سنسورها پیش بینی می کند. برای رسیدن به این هدف ، ما دو نوع معماری شبکه عصبی حلقوی را که در زمینه دید رایانه مورد مطالعه قرار گرفته اند برای پیش بینی ارزیابی قرار داده ایم. و نشانگر معماری مناسب برای سنسورهای موجود بر روی کنترلر است. "

محققان گفتند ، برای دستیابی به تجربیات سه بعدی واقع بینانه و غوطه وری ، در گزارشی که ماه گذشته منتشر شده است ، از نمایشگرهای چند بعدی استفاده کرده اند تا "از روشهای شبکه عصبی حلقوی بر روی یک تصویر خازنی از سطح منحنی و دو نوع معماری شبکه بر اساس دستاوردهای اخیر در استفاده کنند. زمینه بینایی کامپیوتر با مجموعه داده های ما مورد ارزیابی قرار گرفت. ما همچنین برنامه های تعاملی در زمان واقعی را با استفاده از نمونه اولیه پیاده سازی کردیم و امکان تعامل بصری را با استفاده از انگشتان در برنامه های VR نشان دادیم. "

فیلم اولیه نمونه ای از دست کاربر و نمایش دیجیتالی آن را نشان می دهد که حرکات مختلفی از قبیل باز و بسته شدن ، شمارش ، چرخش انگشت شست ، پخش انگشتان ، علائم صلح و انگشت شست و کشیده شده و صورتی (نشانگر تماس تلفنی) را نشان می دهد. این می تواند یک دست را که دستگاه کنترلر را می چسباند تشخیص دهد و یک جسم را بلند یا پرتاب کند.

سال گذشته ، سونی مجوز هاپتیک پیشرفته برای کنترلرهای VR را صادر کرد. آنها می توانند احساسات فشار ، کشیدن ، گرفتن و ضربان را شبیه سازی کنند. کنترل کننده بعدی سونی ممکن است به بازیکنان بازی اجازه دهد نه تنها دست خود را نبینند بلکه اشیاء مختلفی را که با آنها تعامل دارند نیز احساس کنند.