Równoległe przetwarzanie GPU przy użyciu OpenCV

Question

Mam aplikację, która wymaga przetwarzania wielu obrazów równolegle w celu utrzymania prędkości w czasie rzeczywistym.

Rozumiem, że nie mogę wywoływać funkcji GPU OpenCV w trybie wielowątkowym na pojedynczym urządzeniu CUDA. Próbowałem się kod konstruktu OpenMP takie jak:

#pragma omp parallel for 
for(int i=0; i<numImages; i++){ 
    for(int j=0; j<numChannels; j++){ 
     for(int k=0; k<pyramidDepth; k++){ 
      cv::gpu::multiply(pyramid[i][j][k], weightmap[i][k], pyramid[i][j][k]); 
     } 
    } 
} 

To wydaje się skompilować i wykonać poprawnie, ale niestety wydaje się, aby wykonać numImages wątki kolejno na tym samym urządzeniu CUDA.

Powinienem być w stanie wykonywać wiele wątków równolegle, jeśli mam wiele urządzeń CUDA, prawda? Czy w celu uzyskania wielu urządzeń CUDA potrzebuję wielu kart wideo?

Czy ktoś wie, czy karta dual-chipowa nVidia GTX 690 działa jako dwa niezależne urządzenia CUDA z OpenCV 2.4 lub nowszym? Znalazłem potwierdzenie, że może działać jako takie z OpenCL, ale nie ma potwierdzenia w odniesieniu do OpenCV.

Answer 1

Po prostu wykonaj wielokrotne przekazywanie całych zdjęć do funkcji cv::gpu::multiply().

OpenCV i CUDA będą obsługiwać dzielenie i dzielenie zadania w najlepszy sposób. Zasadniczo każda jednostka komputerowa (to jest rdzeń) w GPU może uruchamiać wiele wątków (zwykle> = 16 w CUDA). Jest to dodatek do posiadania kart, które mogą występować jako wiele układów GPU lub umieszczać wiele połączonych kart na jednym komputerze.

Cały punkt cv::gpu polega na tym, że nie musisz wiedzieć, jak działają elementy wewnętrzne.

Answer 2

Nie wiem nic o funkcjach GPU OpenCV, ale jeśli są całkowicie autonomiczne (tj. Tworzą kontekst GPU, przesyłają dane do GPU, obliczają wyniki, przesyłają wyniki z powrotem do CPU), to nic dziwnego, funkcje te pojawiają się w postaci szeregowej podczas korzystania z pojedynczego procesora graficznego.

Jeśli masz wiele procesorów graficznych, to powinieneś w jakiś sposób poinformować funkcję OpenCV, aby skierować konkretny procesor GPU. Jeśli masz wiele procesorów graficznych i możesz skutecznie nimi kierować, nie widzę powodu, dla którego wywołania funkcji GPU nie byłyby zrównoleglone. Według Wiki OpenCV, funkcje GPU są kierowane tylko na jeden GPU, ale możesz samodzielnie podzielić pracę: http://opencv.willowgarage.com/wiki/OpenCV%20GPU%20FAQ#Can_I_use_two_or_more_GPUs.3F

Dwa GPU, takie jak GTX 690, będą widoczne jako dwa różne urządzenia z własną pamięcią, jeśli chodzi o twój GPU program jest zaniepokojony. Zobacz tutaj: http://forums.nvidia.com/index.php?showtopic=231726

Ponadto, jeśli masz zamiar podwójną trasę GPU do zastosowań obliczeniowych, polecam przeciwko GTX 690, ponieważ jej wydajność obliczeniowa jest nieco okaleczony porównaniu do GTX 590.

Answer 3

GTX 290 zachowuje jako 2 oddzielne urządzenia CUDA, niezależnie od używanej wersji OpenCV. Nie potrzebujesz wielu kart GPU, aby uzyskać wiele GPU, które masz 2 na jednej karcie, tak jak w GTX 290. Ale z perspektywy programowania CUDA nie ma dużej różnicy między używaniem dwóch procesorów graficznych na 290 i używaniem 2 procesory graficzne na osobno podłączonych kartach GPU. Wielu użytkowników OpenCV korzysta z biblioteki CUDA ArrayFire w celu uzupełnienia dodatkowych funkcji przetwarzania obrazu i łatwego skalowania wielu GPU. Oczywiście, moje zastrzeżenie jest takie, że pracuję nad ArrayFire, ale naprawdę myślę, że to ci pomoże w tym przypadku.

Answer 4

Odpowiedź od Martina zadziałała dla mnie. Kluczem jest użycie klasy gpu :: Stream, jeśli twoje urządzenie CUDA jest wymienione jako zdolność obliczeniowa 2 lub wyższa. Powtórzę to tutaj, ponieważ nie mogę poprawnie umieścić kodu w edytorze mini komentarzy.

cv::gpu::Stream stream[3]; 

for(int i=0; i<numImages; i++){ 
    for(int j=0; j<numChannels; j++){ 
     for(int k=0; k<pyramidDepth; k++){ 
      cv::gpu::multiply(pyramid[i][j][k], weightmap[i][k], pyramid[i][j][k], stream[i]); 
     } 
    } 
} 

Powyższy kod wydaje się wykonywać mnożenie równolegle (numImages = 3 dla mojej aplikacji). Istnieją również metody Stream, które ułatwiają przesyłanie/pobieranie obrazów do iz pamięci GPU, a także metody sprawdzania stanu strumienia w celu ułatwienia synchronizacji z innym kodem.

Więc ... najwyraźniej nie wymaga wielu urządzeń CUDA (tj. Kart GPU) w celu równoległego wykonywania kodu GPU OpenCV!