Najlepsze podejście do rozpoznawania gestów 2D w VR?

Question

Jestem programistą w grze, która korzysta z rozpoznawania gestów za pomocą zestawu słuchawkowego HTC Vive roomscale VR i staram się poprawić dokładność rozpoznawania gestów.

(Gra dla kontekstu. http://store.steampowered.com//app/488760 Jest to gra, gdzie trzeba rzucać czary rysując symbole w powietrzu.)

Obecnie używam algorytmu 1 dolara za 2D rozpoznawania gestów i stosując orthographic kamera przywiązana do poziomej rotacji gracza, aby spłaszczyć gest, który gracz rysuje w przestrzeni.

Jestem jednak pewien, że musi istnieć lepsze podejście do problemu!

muszę reprezentować gesty 2D w instrukcjach, więc idealnie Chciałbym:

znalezienie optymalnego wektora na który spłaszczyć gest. Spłaszcz go w przestrzeni 2D. Użyj najlepszego algorytmu rozpoznawania gestów, aby rozpoznać, jaki to gest.

Byłoby naprawdę dobrze uzyskać blisko 100% dokładności w każdych okolicznościach. Obecnie, na przykład, gra staje się niejasna, gdy gracze próbują narysować okrąg w ogniu bitwy i zakłada, że ​​zamiast tego rysują kształt Z.

Wszystkie sugestie z zadowoleniem. Z góry dziękuję.

Answer 1

Wydaje mi się ten plugin nazywa gest Recognizer 3.0 może dać świetny wgląd w to, co krok należy podjąć

Gesture Recognizer 3.0

Również znalazłem ten javascript lib rozpoznawania gest w github

Jester

Mam nadzieję, że to pomaga.

Answer 2

Wierz mi lub nie, ale znalazłem ten post dwa miesiące temu i postanowiłem przetestować swoje umiejętności VR/AI, przygotowując pakiet Unity przeznaczony do rozpoznawania magicznych gestów w VR. Teraz jestem z powrotem z pełnym demo VR: https://ravingbots.itch.io/vr-magic-gestures-ai

System rozpoznawania utworów wektor gest, a następnie go na projekty 2D siatki. Możesz także ustawić siatkę 3D bardzo łatwo, jeśli chcesz, aby system działał z kształtami 3D, ale nie zapomnij dostarczyć odpowiedniego zestawu treningowego przechwytującego dużą liczbę zmian kształtu.

Oczywiście, pakiet jest uniwersalny i można go używać do nie-magicznej aplikacji, jak również. Kod jest dobrze udokumentowany. Dokumentacja online renderowana do pliku PDF ma ponad 1000 stron: https://files.ravingbots.com/docs/vr-magic-gestures-ai/

Pakiet został przetestowany z HTC Vive. Obsługa urządzeń Gear VR i innych urządzeń VR jest stopniowo dodawana.

Answer 3

Osobiście polecam AirSig Obejmuje więcej funkcji, takich jak uwierzytelnianie za pomocą kontrolerów. Wersja Vive i wersja Oculus są bezpłatne. "Byłoby naprawdę dobrze uzyskać blisko 100% dokładności w każdych okolicznościach." Moje doświadczenie polega na tym, że wbudowane gesty mają ponad 90% dokładności, część sygnaturowa przekracza 96%. Mam nadzieję, że pasuje do twoich wymagań.