Usuwanie śmieci w wątkach Perla

Question

To pytanie jest ciekawostką, ponieważ jeden z dwóch programów poniżej działa.

Używam Image :: Magick do zmiany rozmiaru kilku zdjęć. Aby zaoszczędzić trochę czasu, pracuję nad każdym zdjęciem we własnym wątku i używam semafora, aby ograniczyć liczbę działających jednocześnie wątków. Początkowo zezwalałem na uruchamianie wszystkich wątków naraz, ale skrypt szybko przydzieliłby 3,5 GB dla wszystkich zdjęć (mam tylko 2 GB dostępne), a skrypt byłby 5 razy wolniejszy niż zwykle z powodu zamiany na dysk.

Działanie, semafor kod wersja wygląda tak:

use threads; 
use Thread::Semaphore; 
use Image::Magick; 

my $s = Thread::Semaphore->new(4); 
foreach (@photos) { 
    threads->create(\&launch_thread, $s); 
} 
foreach my $thr (reverse threads->list()) { 
    $thr->join(); 
} 

sub launch_thread { 
    my $s = shift; 
    $s->down(); 
    my $image = Image::Magick->new(); 

    # do memory-heavy work here 

    $s->up(); 
} 

Ten szybko przydziela 500MB i działa całkiem dobrze, nigdy nie wymagając więcej. (Nitki są połączone w kolejności odwrotnej do punktu).

Zastanawiałam się, czy może istnieć napowietrznych z uruchomieniem 80 wątków jednocześnie blokując większość z nich, więc zmienił mój skrypt do blokowania główny wątek:

my $s = Thread::Semaphore->new(4); 
foreach (@photos) { 
    $s->down(); 
    threads->create(\&launch_thread, $s); 
} 
foreach my $thr (threads->list()) { 
    $thr->join(); 
} 

sub launch_thread { 
    my $s = shift; 
    my $image = Image::Magick->new(); 

    # do memory-heavy work here 

    $s->up(); 
} 

Ta wersja zaczyna się dobrze, ale stopniowo gromadzi 3,5 GB miejsca w oryginalnej wersji. Jest szybszy niż uruchamianie wszystkich wątków naraz, ale wciąż jest nieco wolniejszy od blokowania wątków.

Moim pierwszym przypuszczeniem było to, że pamięć używana przez wątek nie jest zwalniana, dopóki nie zostanie wywołana funkcja join(), a ponieważ jest ona głównym wątkiem blokującym, żadne wątki nie są zwalniane, dopóki wszystkie nie zostaną przydzielone. Jednak w pierwszej, działającej wersji wątki przekazują strażnikowi w bardziej przypadkowej kolejności, ale dołączają w odwrotnej kolejności. Jeśli moje przypuszczenie jest poprawne, wówczas wiele więcej niż cztery uruchomione wątki powinny w każdej chwili czekać na join() ed, a także ta wersja powinna być wolniejsza.

Dlaczego te dwie wersje są tak różne?

Answer 1

Nie trzeba tworzyć więcej niż 4 wątków. Jedną z głównych korzyści jest to, że oznacza to 76 mniej kopii interpretera Perla. Ponadto sprawia, że ​​kolejność zbioru jest raczej dyskusyjna, ponieważ wszystkie wątki kończą się mniej więcej w tym samym czasie.

use threads; 
use Thread::Queue qw(); 
use Image::Magick qw(); 

use constant NUM_WORKERS => 4; 

sub process { 
    my ($photo) = @_; 
    ... 
} 

{ 
    my $request_q = Thread::Queue->new(); 

    my @threads; 
    for (1..NUM_WORKERS) { 
     push @threads, async { 
      while (my $photo = $request_q->dequeue()) { 
      process($photo); 
      } 
     }; 
    } 

    $request_q->enqueue($_) for @photos; 
    $request_q->enqueue(undef) for 1..NUM_THREADS; 
    $_->join() for @threads; 
}