Wykorzystanie wektorów w MPI (C++)

Question

Jestem nowicjuszem w programowaniu MPI, uczeniu się przez stiil, odniosłem sukces do tworzenia pochodnych typów danych poprzez definiowanie struktur. Teraz chcę włączyć wektor w mojej strukturze i chcę wysłać dane w całym procesie. na przykład:

struct Structure{ 

//Constructor 
Structure(): X(nodes),mass(nodes),ac(nodes) { 

//code to calculate the mass and accelerations 
} 
//Destructor 
Structure() {} 

//Variables 
double radius; 
double volume; 
vector<double> mass; 
vector<double> area; 

//and some other variables 

//Methods to calculate some physical properties 

Teraz za pomocą MPI chcę wysłać dane w strukturze przez procesy. Czy możliwe jest tworzenie wektorów MPI_type_struct i przesyłanie danych?

Próbowałem czytać na forach, ale nie jestem w stanie uzyskać klarownego obrazu z podanych tam odpowiedzi. Mam nadzieję, że będę w stanie uzyskać jasny pomysł lub podejście do wysyłania danych. PS: mogę wysyłać dane indywidualnie, ale jest to obciążenie związane z wysyłaniem danych za pomocą może MPI_Send/Recieve, jeśli uznamy domenę za bardzo dużą (powiedzmy 10000 * 10000)

Answer 1

Definiowanie struktur w MPI to ból. Myślę, że łatwiejszym rozwiązaniem byłoby wykorzystanie faktu, że wektory STL mają zagwarantowaną ciągłą alokację pamięci. Oznacza to, że możesz traktować je jak tablice C, pobierając wskaźnik do pierwszego elementu.

std::vector<float> data; 
// ... add elements to your vector ... 
MPI_Send(&data.front(), data.size(), MPI_FLOAT, 0, 1, MPI_COMM_WORLD); 

Answer 2

Z pewnością nie jestem ekspertem od struktury danych MPI, ale nie sądzę, aby to można było zrobić. Powodem jest to, że masz strukturę ze wskaźnikami danych, które chcesz wysłać. Wszystkie funkcje typu danych MPI zakładają, że dane, które chcesz wysłać, znajdują się w ciągłym obszarze pamięci. Jeżeli wektory mają ustalonej maksymalnej wielkości, i można zrobić

double radius; 
double volume; 
int mass_size; 
int area_size; 
double mass[MASS_MAXLEN]; 
double area[AREA_MAXLEN]; 

a następnie wysłać tylko te elementy, które są wypełnione.

Alternatywnie, można pakować dane samodzielnie na jednej tablicy przed kontrolą wyślij i wyślij tablicę. Trzeba będzie zrobić profilowanie, aby sprawdzić, czy jest to szybsze niż wykonywanie oddzielnych wysyłek.

Answer 3

opiszę moje rozwiązanie z podobnym problemem:

Message Passing Arbitrary Object Graphs?

Pamiętaj, że możesz tworzyć niestandardowe typy danych MPI z prevoiusly określonych typów danych zwyczaj MPI. Na przykład można zdefiniować strukturę, która opisuje układ i zawartość pojedynczego wystąpienia struktury, a następnie wektor z tych struktur danych dla całego wektora obiektów. Heck, jeśli masz kilka takich wektorów, możesz utworzyć trzecią warstwę abstrakcji, tworząc HIndexed datatype z Vectors of Structs, a następnie wysłać je wszystkie za pomocą jednej wiadomości.

W powyższym wpisie znajdują się linki do opisów różnych niestandardowych typów danych MPI, które powinny pomóc w podjęciu decyzji o właściwym podejściu.

Answer 4

Robię rzeczy, które robisz, i wiem, że moja architektura procesorów jest jednolita. Unikam wielu zamiany bajtów i mnóstwa pakowania i rozpakowywania MPI przy użyciu Boost serialization.

Wysyłanie:

ostringstream oss; 
    { 
    binary_oarchive oa(oss); 
    oa << BOOST_SERIALIZATION_NVP(myStruct); 
    } 

    MPI::COMM_WORLD.Send(oss.str().c_str(), 
         oss.str().size(), 
         MPI::Datatype(MPI_BYTE), 
         MpiLibWrapper::DEST_PROC_RANK, 
         MpiLibWrapper::MY_STRUCT_TAG); 

przyjmującej:

vector<char> incomingBuffer(MAX_BUFFER_SIZE); 

    MPI::COMM_WORLD.Recv(&incomingBuffer[0], incomingBuffer.size(), 
         MPI::Datatype(MPI_BYTE), 
         MpiLibWrapper::SRC_PROC_RANK, 
         MpiLibWrapper::MY_STRUCT_TAG, 
         msgStatus); 
    if (MpiLibWrapper::ErrorOccurred(msgStatus.Get_error(), 
            info.logging)) { 
     break; 
    } 
    incomingBuffer.resize(msgStatus.Get_count(MPI::Datatype(MPI_BYTE))); 

    if (incomingBuffer.size() > 0) { 
     // Shockingly, this does not result in a memory allocation. 
     istringstream iss(string(&incomingBuffer[0], incomingBuffer.size())); 

     binary_iarchive ia(iss); 

     ia >> BOOST_SERIALIZATION_NVP(myStruct); 
    } 

Answer 5

Hmm ...Przesyłanie struktury C/C++ jako strumienia danych działa tylko wtedy, gdy masz gwarancję, że układ danych na wszystkich komputerach uczestniczących jest dokładnie taki sam. Zasadniczo to nie zadziała. Poza tym są ludzie, którzy twierdzą, że wysłanie struktury spakowanej jako typ danych pochodnych MPI to +1 dla jasności kodu i pokazanie intencji.