Rozpoznawanie obrazu Apple Vision

Podobnie jak wielu innych programistów, pogrążyłem się w nowej technologii Apple ARKit. Wspaniale. W przypadku konkretnego projektu chciałbym jednak móc rozpoznać (rzeczywiste) obrazy w scenie, aby albo na nich projektować (tak jak robi to Vuforia z docelowymi obrazami), albo użyć go do wywołania zdarzenia w mojej aplikacji.Rozpoznawanie obrazu Apple Vision

W moich badaniach, jak to osiągnąć, natknąłem się na ramy Vision i CoreML firmy Apple. Wydaje się to obiecujące, chociaż nie byłem jeszcze w stanie tego objąć.

Jak rozumiem, powinienem być w stanie zrobić dokładnie to, czego chcę, znajdując prostokąty wykorzystujące framework Vision i zasilając je modelem CoreML, który po prostu porównuje go z docelowymi obrazami, które wstępnie zdefiniowałem w modelu. Powinien wtedy być w stanie wypluć, który obraz docelowy znalazł.

Chociaż brzmi to dobrze w mojej głowie, jeszcze nie znalazłem sposobu, aby to zrobić. Jak mógłbym stworzyć taki model i czy jest on w ogóle możliwy?

Źródło

2017-09-11 Marc Van Deuren

Zabawne, zastanawiałem się, jak to działa właśnie wczoraj. Dzięki, że pytasz! – LinusGeffarth

Od ARKit 1,5 (pochodzących z IOS 11.3 wiosną 2018), wydaje się, że funkcja została zaimplementowana bezpośrednio na ARKit, która rozwiązuje ten problem.

ARKit w pełni obsługuje rozpoznawanie obrazu. Po rozpoznaniu obrazu, trójwymiarowe współrzędne można uzyskać jako kotwicę, w związku z czym można na nich umieścić zawartość.

Źródło

2018-02-06 11:15:40

znalazłem ten projekt na Github kilka tygodni temu: AR Kit Rectangle Detection

myślę, że jest dokładnie to, czego szukasz ...

Źródło

2017-09-11 15:10:32

Tak, to bardzo miłe, dziękuję. Jest to jednak podstawa tego, czego szukałem, ponieważ ta aplikacja jest w stanie wykryć prostokąt, ale nie rozróżnia różnych obrazów w tym prostokącie. Myślę, że powinno to być możliwe przy użyciu CoreML, jednak nie jestem pewien, w jaki sposób chciałbym to zrobić. –

Szukam dokładnie tego samego. Czy już znalazłeś rozwiązanie? Myślałem o szkoleniu modelu. Po ARKit z CoreML rozpoznaje obraz znaleźć prostokąt i masz to, co chcesz. Ale szkolenie modelu CoreML dla tylko jednego obrazu to zbyt dużo, jak sądzę ... – KNV

Niestety dla ciebie, myślałem tylko to samo i nie znalazłem jeszcze odpowiedzi. W przypadku projektu, nad którym właśnie pracuję, próbowałem połączyć ARToolkit i ARKit (pierwszy z nich to rozpoznawanie obrazu). Jest to z pewnością możliwe dzięki Jedności, chociaż jeszcze nie zakończyłem tego procesu. Jeśli jednak chcesz to zrobić natywnie, nie jestem pewien, czy możesz. Wiem, że Vuforia planuje wydanie Vuforii Fusion na początku przyszłego roku, która połączy możliwości rozpoznawania obrazów z ARKit i/lub nawet z ARCore. –

Odpowiedz

Powiązane problemy