Wiele wierszy z jednym INSERT w SQLServer 2008

Question

Testuję szybkość wstawiania wielu wierszy za pomocą pojedynczej instrukcji INSERT.

Na przykład: WKŁADKA DO [MojaTabela] Wartości (5 ", psa), (6 'kot'), (3„rybiego)

to bardzo szybko, dopóki nie przekroczy 50 rzędach jedno zdanie, potem prędkość znacznie spada.

Wstawienie 10000 rzędów z partiami po 50 sekund zajmuje 0,9 sekundy. Wstawienie 10000 wierszy z partiami 51 zajmuje 5,7 sekundy.

Moje pytanie składa się z dwóch części:

1. dlaczego jest taki trudny spadek wydajności przy 50?
2. Czy mogę polegać na tym zachowaniu i zakodować moją aplikację, aby nigdy nie wysyłać partii większych niż 50?

Moje testy zostały wykonane w języku C++ i ADO.

Edycja: Wygląda na to, że punktem odsuwania nie jest 50 wierszy, ale 1000 kolumn. Otrzymuję podobne wyniki w przypadku 50 wierszy z 20 kolumn lub 100 wierszy z 10 kolumn.

Answer 1

Czy porównałeś również podejście pokazane tutaj "zjednoczenie wszystkich"? http://blog.sqlauthority.com/2007/06/08/sql-server-insert-multiple-records-using-one-insert-statement-use-of-union-all/

Podejrzewam, że istnieje wewnętrzna pamięć podręczna/indeks, który jest używany do 50 wierszy (jest to niezła okrągła liczba dziesiętna). Po 50 wierszach powraca do mniej wydajnego algorytmu wstawiania ogólnego, który może obsłużyć dowolne ilości danych wejściowych bez nadmiernej pamięci.

Answer 2

spowolnienie jest prawdopodobnie parsowaniem wartości ciągu znaków: VALUES (5, 'dog'), (6, 'cat'), (3, 'fish), a nie problemem WSTAW.

spróbować czegoś takiego, który będzie wstawić jeden wiersz dla każdego wiersza zwracanego przez zapytanie:

INSERT INTO YourTable1 
    (col1, col2) 
    SELECT 
     Value1, Value2 
     FROM YourTable2 
     WHERE ...--rows will be more than 50 

i zobaczyć, co się dzieje

Answer 3

Jeśli używasz SQL Server 2008, można użyć wartości stołowego parametry i po prostu wykonaj jedną instrukcję wstawiania.

Osobiście nigdy nie widziałem spowolnienia przy 50 wstawkach, nawet przy regularnych partiach. Niezależnie od tego, przenieśliśmy się do parametrów wartości tabeli, które miały dla nas znaczny wzrost prędkości.

Answer 4

losowe myśli:

• jest to całkowicie zgodne podczas uruchamiania wielokrotnie?
• Czy sprawdzasz duplikaty w 1. 10k wierszy dla drugiej wstawki 10k?
• czy najpierw wypróbowałeś partię o wielkości 51?
• czy opróżniłeś tabelę między testami?

Answer 5

Może to być również związane z rozmiarem rzędu. Tabela, której używasz jako przykładu, wydaje się mieć tylko 2 kolumny. Co jeśli ma 25 kolumn? Czy wydajność spada również w 50 rzędach?

Answer 6

W przypadku wkładek o dużej pojemności i wysokiej częstotliwości należy rozważyć użycie Bulk Inserts w celu załadowania danych. To nie jest najprostsza rzecz, którą może wdrożyć świat, a przynosi ze sobą nowe wyzwania, ale może być znacznie szybsze niż wykonanie INSERT.