Pisanie modułowego agregatora i normalizatora w Perl

Question

Właśnie wszedłem w środowisko, w którym mam dużo więcej możliwości wyboru, jakie podejście chcę dla projektu (czyli pełny dostęp do CPAN i brak zatwierdzenia modułu po komitecie), ale jestem trochę w kontakcie z nowymi gorętami, więc pomyślałem, że będę zabiegał o pomysły tutaj.

Mój projekt polega na zeskanowaniu wielu źródeł w różnych formatach (html, spakowany tekst, csv itp.), Normalizujących, a następnie przetwarzających je w pewien rodzaj magazynu danych. Ciągnięcie musi się odbywać w programowalnych odstępach czasu i chciałbym utworzyć moduły zaplecza, aby podobne źródła mogły korzystać z tej samej bazy kodowej. Musi także być w stanie odpowiadać za pośrednictwem sieci na prosty status uruchomionych procesów (nic nadzwyczajnego). Myślałem, że POE może być dobrym pomysłem z kilkoma procesami kolektora raportującymi do jednego mastera, ale czy są jakieś specjalne moduły w POE (lub gdzie indziej), na które każdy powinien uważać?

Answer 1

WWW :: Mechanize to świetny moduł do uzyskiwania informacji z stron internetowych.
Pozwala na zalogowanie się na stronach internetowych poprzez podanie loginu i hasła, pozwala przesłać formularze i tak dalej.

można znaleźć więcej informacji na stronie: http://metacpan.org/pod/WWW::Mechanize