Jak wykryć ograniczenia strony z paszportem za pomocą OpenCV?

Question

Próbuję opracować skaner, który skanuje stronę paszportu za pomocą aparatu.

Tak od strony paszportu tak:

Chciałabym przyciąć z zaznaczoną część.

Mam napisany kod do wykrywania krawędzi za pomocą OpenCV, który znajduje kontury, a następnie przybliża największy czworobok. W końcu robi 4-punktową transformację perspektywy, aby uzyskać widok z góry obrazu. Kod wykrywania krawędzi wygląda następująco:

public static List<MatOfPoint> findContours(Mat src){ 
    Mat img = src.clone(); 
    src.release(); 
    //find contours 
    double ratio = getScaleRatio(img.size()); 
    int width = (int) (img.size().width/ratio); 
    int height = (int) (img.size().height/ratio); 
    Size newSize = new Size(width, height); 
    Mat resizedImg = new Mat(newSize, CvType.CV_8UC4); 
    Imgproc.resize(img, resizedImg, newSize); 

    Imgproc.medianBlur(resizedImg, resizedImg, 5); 

    Mat cannedImg = new Mat(newSize, CvType.CV_8UC1); 
    Imgproc.Canny(resizedImg, cannedImg, 70, 200, 3, true); 
    resizedImg.release(); 

    Imgproc.threshold(cannedImg, cannedImg, 200, 255, Imgproc.THRESH_OTSU); 

    Mat dilatedImg = new Mat(newSize, CvType.CV_8UC1); 
    Mat morph = Imgproc.getStructuringElement(Imgproc.MORPH_RECT, new Size(3, 3)); 
    Imgproc.dilate(cannedImg, dilatedImg, morph, new Point(-1, -1), 2, 1, new Scalar(1)); 
    cannedImg.release(); 
    morph.release(); 

    ArrayList<MatOfPoint> contours = new ArrayList<>(); 
    Mat hierarchy = new Mat(); 
    Imgproc.findContours(dilatedImg, contours, hierarchy, Imgproc.RETR_EXTERNAL, Imgproc.CHAIN_APPROX_SIMPLE); 
    hierarchy.release(); 

    Log.d(TAG, "contours found: " + contours.size()); 

    Collections.sort(contours, new Comparator<MatOfPoint>() { 
     @Override 
     public int compare(MatOfPoint o1, MatOfPoint o2) { 
      return Double.valueOf(Imgproc.contourArea(o2)).compareTo(Imgproc.contourArea(o1)); 
     } 
    }); 

    return contours; 
} 

for(MatOfPoint contour:contours){ 
     MatOfPoint2f mat = new MatOfPoint2f(contour.toArray()); 
     double peri = Imgproc.arcLength(mat, true); 
     MatOfPoint2f approx = new MatOfPoint2f(); 
     Imgproc.approxPolyDP(mat, approx, 0.02 * peri, true); 

     Point[] points = approx.toArray(); 
     Log.d("SCANNER", "approx size " + points.length); 

     if (points.length == 4) { 
       Point[] spoints = CVProcessor.sortPoints(points); 

       if (CVProcessor.insideArea(spoints, newSize)) { 
         rectContour = contour; 
         foundPoints = spoints; 
         break; 
       } 
     } 
    } 

ten kod działa dla dokumentów jednostronicowych, tj. Kart identyfikacyjnych, kart kredytowych. Gdzie są 4 rozróżnialne krawędzie.

Ale nie działa w przypadku paszportów, ponieważ górna krawędź nie jest tak charakterystyczna.

Dane wejściowe zostaną pobrane z aparatu w systemie Android. Masz pomysł, jak wykryć stronę paszportową? Używam OpenCV 3.1.

Oto kilka wejść próbki (uzyskane z wyszukiwarki grafiki Google):

Answer 1

Byłoby to możliwe, aby wyodrębnić strony, czy można zlokalizować Machine Readable Zone (MRZ) paszportu (region przedstawione w kolorze czerwonym w zdjęcie poniżej). Zwykle istnieje bardzo dobry kontrast pomiędzy MRZ i jego tłem, więc można go wykryć za pomocą metody opartej na gradiencie lub MSER s.

Zakładając, że istnieje standardowy szablon (tj. Współczynniki proporcji dla strony, MRZ, przesunięcia dla pól itp.), Według których przygotowywany jest paszport, po zlokalizowaniu MRZ łatwo jest zlokalizować stronę granice i inne pola, takie jak zdjęcie osoby, jak pokazano na poniższym obrazie szablonu, gdzie MRZ jest zaznaczone na czerwono, a krawędź strony jest zaznaczona na zielono. Zakłada to brak zniekształceń perspektywy. Jeśli występuje takie zniekształcenie, najpierw należy je poprawić, a następnie zastosować szablon. Możesz użyć samego MRZ do korekcji zniekształceń, tak jak znasz współczynnik kształtu obszaru MRZ.

Szablon przygotowany z image.

Sprawdź here z bardzo prostego wdrożenia tego modelu szablon wydobycia z pola na podstawie paszportu. To nie zadziała dla twoich obrazów i będzie wymagało wielu ustawień parametrów, więc nie polecam używania go od razu. Mówię o tym tylko po to, aby przekazać ideę ekstrakcji opartej na szablonach i innych metodach przetwarzania wstępnego.

Jeśli jednak paszport jest zakrzywiony jak na poniższym obrazku (można zauważyć, że granica MRZ nie może być śledzona za pomocą linii prostych), trudno jest skorygować zniekształcenie.

Wreszcie, jeśli używasz obrazów o wysokiej rozdzielczości, dobrym pomysłem byłoby poddanie ich próbom i przetworzeniu, tak jak byłoby to szybsze w systemie wbudowanym. Po zlokalizowaniu MRZ ze zmniejszonego obrazu możesz użyć obrazu o wysokiej rozdzielczości, aby zawęzić rogi.