.NET Zautomatyzowane testowanie długich procesów

Question

Chcielibyśmy przeprowadzić pewne zautomatyzowane testowanie integracyjne procesu, który wymaga przesłania danych do zewnętrznego źródła, a następnie sprawdzenia, czy dane zostały poprawnie wyświetlone na ich stronie internetowej.

Jednak dane mogą pojawić się na stronie internetowej dopiero po kilku godzinach.

Problem z tradycyjnym NUnit lub MSTest polega na tym, że test będzie wstrzymywany przez wiele godzin, czekając na wynik.

Widziałem, PNUnit, które mogą być używane - aby uruchomić wszystkie testy równolegle, ale nie wydaje mi się to rozwiązaniem eleganckim. A co jeśli jest 1000 testów? Czy nie stworzy to mnóstwa procesów/wątków na serwerze? I jak śledzić wszystkie z nich.

Czy ktoś rozwiązał ten problem? Czy w domu rozwinęło się rozwiązanie, czy jest na to rozwiązanie open source?

Answer 1

Ten problem można łatwo rozwiązać, oddzielając wstawianie i weryfikację danych testowych. Wystarczy załadować wszystkie dostępne dane testowe do systemu, odczekać kilka godzin, aż przetwarzanie zostanie wykonane, a następnie wykonać testy weryfikacyjne.

Answer 2

Wygląda na to, że PNUnit byłby dobrym rozwiązaniem. Jeśli martwisz się "zbyt wieloma procesami/wątkami" na serwerze, po prostu zmniejsz liczbę testów PNUnit na raz (powiedzmy, Max N); po zakończeniu testu zaplanuj następny test. Nie twierdzę, że PNUnit wie, jak to zrobić; być może będziesz musiał zaimplementować ten zwyczaj.

Answer 3

Jest dyskusja o dokładnie ten problem na NUnit-Omów Grupa Google teraz: http://groups.google.com/group/nunit-discuss/browse_thread/thread/645ecaefb4f978fa?hl=en

Mam nadzieję, że to pomoże :)

Answer 4

Martin, zanim dotrę do mojego rozwiązania dla jednostki testowania go Wydaje mi się, że chciałbyś przetestować tylko to, co możesz kontrolować. Powyższe jest bardziej podobne do tego, co nazywam testowaniem regresji. Zakładam, że "ich" strona internetowa jest cudzą stroną. Czy mogę zapytać, co się stanie, jeśli zastosujesz się do zasad interfejsu/integracji, ale nic nie pojawi się na ich ekranie, podczas gdy może to być problem, co byś zrobił lub mógłbyś z tym zrobić? Co się dzieje, gdy zmieniają stronę lub algorytmy? Konieczne będzie napisanie kodu na podstawie tego, co robią, co jest do bani.

To powiedziawszy, jak wspomniano powyżej, można oddzielić testy ładowania i testy danych weryfikacyjnych. Przyznaję, że nic nie wiem o PNunit, ale zwyczajne rzucanie w nie nic nie rozwiąże 3-godzinnego opóźnienia w każdym teście w obie strony.

Jeśli chcesz uruchomić synchronicznie, możesz załadować wszystkie dane w ClassInitialize(), a następnie uśpić, aż nadejdzie czas na sprawdzenie i uruchomienie rzeczywistych testów.

Jeśli to ja, potrzebowałbym jednego projektu testowego do testów ładowania, a następnie jednego projektu do weryfikacji wyników kilka godzin później. Synchronizacja nie wygląda na to, że przyniosłoby ci wiele korzyści, poza zapewnieniem, że warunek wstępny minie przed testowaniem wyników, co można obsłużyć również w inny sposób.