Co to jest VertiPaq i jak działa

Question

Uczę się indeksu Column Store (funkcja Denali CTP3) i dowiaduję się, że do kompresji danych wykorzystuje architekturę VertiPaq. Zainteresowałem się tym, co to jest, jak to działa, to jest architektura. Sprawdziłem w Google, ale nie ma zadowalającego wyniku. Mógłby ktoś proszę dać mi znać w szczegółach, co to jest, jak to zadziała, algo/architektura za ten itp

i jak to pomaga w kompresji danych

Answer 1

pisałem na blogu o tym, że z nadzieją odpowie na twoje pytania dotyczące indeksów w sklepach kolumnowych: http://www.jamesserra.com/archive/2011/08/sql-server-%e2%80%9cdenali%e2%80%9d-project-apollo/

Proszę dać mi znać, jeśli nadal masz pytania.

Answer 2

i jak to pomaga w kompresji danych

Część kompresja działa tak dobrze, ponieważ bardzo często dane w tej samej kolumnie nie różnią się znacznie. Wyobraźmy sobie na przykład (uproszczenie) kolumnę, która przechowuje wartości z wielu wejść (4) wyboru. W kolumnie przechowywania będą tylko 4 unikalne wartości, nawet jeśli w tabeli jest 8 milionów rekordów. To sprawia, że ​​wartości kolumn są łatwiejsze do skompresowania. To z kolei ułatwia dopasowanie indeksu do pamięci, a tym samym przyspieszenie wyszukiwania.

Gdy dane są przechowywane w Kolumnowa sposób, że dane mogą być często sprężonego skuteczniej niż w przypadku przechowywania w wierszami sposób. Zazwyczaj w kolumnie jest więcej redundancji niż w wierszu, , co zwykle oznacza, że ​​dane mogą być skompresowane w większym stopniu. Gdy dane są bardziej skompresowane, do wywołania danych potrzeba mniej iloczynu IO. Ponadto większa część danych może znajdować się w podanej wielkości pamięci. Zmniejszenie zamówienia może znacznie przyspieszyć czas odpowiedzi na zapytanie . Przechowywanie większej ilości roboczego zbioru danych w pamięci przyspieszy czas odpowiedzi dla kolejnych zapytań uzyskujących dostęp do tych samych danych w postaci .

Źródło: More details on columnstore technology