Najlepsza technika buforowania wyników z zapytań, które zmieniają się rzadko

Question

Mam aplikację webową php, w której pewne dane zmieniają się co tydzień, ale są często czytane.

Kwerendy SQL, które pobierają dane i kod php dla danych wyjściowych html, są dość złożone. Istnieje wiele powiązań tabel i liczne obliczenia - ale skutkują one dość prostą tabelą html. Użytkownicy są zgrupowani, a tabela jest taka sama dla każdej grupy w każdym tygodniu, ale inna dla różnych grup. Mogłabym mieć setki tabel dla tysięcy użytkowników.

Ze względów wydajnościowych chciałbym buforować te dane. Zamiast uruchamiać te zapytania i obliczenia za każdym razem, gdy ktoś trafi na stronę, chcę uruchomić cotygodniowy proces generowania tabeli dla każdej grupy, dając mi prostą lekturę, gdy jest to wymagane.

Chciałbym wiedzieć, jakich technik użyłeś z powodzeniem lub bezskutecznie, aby osiągnąć coś takiego?

Opcje widzę to:

• Przechowywanie wynik HTML obliczeń w tabeli MySQL, zidentyfikowane przez grupy użytkowników
• przechowywania danych wynikowych w tabeli MySQL, zidentyfikowane przez grupy użytkowników (trudne jak nie ma ustalonej liczby elementów danych)
• Buforowanie wyjścia strona w plikach statycznych

Wszelkie inne propozycje są mile widziane!

Answer 1

Są rzeczywiście kilka opcji:

• Wstępne renderowanie stron na tydzień, a potem im służyć „statycznie”.
• Użyj pamięci podręcznej (np. Squid), aby buforować takie odpowiedzi na zasadzie pierwszej szansy przez tydzień. Na przykład można skonfigurować zasady buforowania, aby żądania przechodzące do określonej strony (np. Bardzo_long.php? ...) były buforowane oddzielnie od reszty witryny.
• Upewnij się, że włączasz buforowanie bazy danych. MySQL posiada własne buforowanie i możesz je dostroić, aby powtarzające się długie zapytania nie były ponownie obliczane.

Answer 2

przede wszystkim profil. sprawdź, czy te zapytania naprawdę pochłaniają znaczną ilość czasu. może pamięci podręczne wyników MySQL już wykonały pracę za Ciebie.

jeśli naprawdę zużywają zasoby, to powinienem stworzyć tabelę z wyliczonymi wynikami, a także procedurę wymagającą zarządzania, która zostanie wywołana podczas zmiany danych. te częste odczyty powinny dotyczyć tylko danych z wcześniejszych obliczeń, bez konieczności sprawdzania, czy są nadal aktualne.

po prostu dodać kilka haczyków do procedur, które modyfikują podstawowe dane lub wyzwalacze bazy danych, jeśli możesz, byłyby wykonywane niezbyt często (co tydzień?) I mogą zająć dużo czasu, aby wygenerować jakiekolwiek wyniki.

Answer 3

W funkcji wygenerować tabelę, należy to zapisać wynik do pliku na dysku:

/cache/groups/1.txt 
/cache/groups/2.txt 

nie muszą koniecznie prowadzić cotygodniowe zadania wsadowego do niego, gdy wywołanie funkcji do uzyskać dane, sprawdzić, czy pamięć podręczna jest nieaktualna (lub nieistniejąca).Jeśli tak, generuj i buforuj wyniki. Jeśli nie, po prostu zwróć buforowany plik.

function getGroupTable($groupId) { 
    if (cacheIsStale($groupId)) { 
     generateCache($groupId); 
    } 
    return file_get_contents($cacheFile); 
} 

Funkcja cacheIsStale() mógł tylko patrzeć na file's timestamps do testowania świeżości.

Answer 4

Wygląda na to, że już większość obejmuje.

Inna opcja, zakładając, że dane w tabeli nie są duże, polega na użyciu memcache do buforowania wyników - prawdopodobnie byłoby to szybsze rozwiązanie, chociaż trzeba sprawdzić wymagania dotyczące pamięci, aby sprawdzić, czy jest to opłacalna opcja.