Przetwarzanie dużych zestawów danych przy użyciu LINQ

Question

Za każdym razem, gdy piszę program w poniższym formularzu, używając LINQ do SQL, otrzymuję program, który po prostu pobiera coraz więcej pamięci podczas działania i przewraca się w stertach zużywających 2 GB po zaledwie 25 000 rekordów. Zawsze kończę przepisywanie go za pomocą ADO.NET. Co ja robię źle?

Wyjaśnienie: To pytanie nie dotyczy szybkości przetwarzania; odpowiedzi na temat tego, jak przyspieszyć działanie, nie mają żadnego znaczenia.

foreach (int i=0; i<some_big_number; i++) 
{ 
    using (myDC dc = new myDC()) // my DataContext 
    { 
     myRecord record = (from r in dc.myTable where r.Code == i select r).Single(); 

     // do some LINQ queries using various tables from the data context 
     // and the fields from this 'record'. i carefully avoid referencing 
     // any other data context than 'dc' in here because I want any cached 
     // records to get disposed of when 'dc' gets disposed at the end of 
     // each iteration. 

     record.someField = newValueJustCalculatedAbove; 
     dc.SubmitChanges(); 
    } 
} 

Answer 1

Naciskasz kontekst danych, aby generować zapytanie od początku za każdym razem.

Spróbuj użyć zamiast tego skompilowanego zapytania.

Answer 2

można spróbować umieścić utworzenie datacontext poza pętli for, nie wiem, ile pamięci, które można zaoszczędzić choć.

Może można wywołać GC.Collect() po każdej pętli, sprawdź, czy możesz ręcznie wywołać funkcję czyszczenia pamięci.

Answer 3

Przechodzisz do bazy danych dwukrotnie dla każdej iteracji pętli - raz, aby pobrać wiersz, a następnie ponownie, aby zaktualizować wiersz. To nie jest bardzo wydajne.

powinien działać w partiach:

• Uzyskaj zbiór wierszy w górę przed wybierając się na szeregu zamiast pojedynczej wartości, tj 0-100 dla pierwszej partii, 101-200 następna partia i tak dalej. Będzie to najszybsze, jeśli indeks klastrowany zostanie zdefiniowany w kolumnie Kod.

• Tworzenie kontekstu danych przed wejściem do pętli

• Wewnątrz pętli, wystarczy zaktualizować obiektów

• połączeń SubmitChanges() po pętli zakończył, to wysłać wszystkie aktualizacje do bazy w jednym połączenia/transakcji

• Powtórz dla kolejnej partii

Powinieneś skonfigurować rozmiar wsadu konfigurowalny, ponieważ nie możesz być pewny, jaki rozmiar wsadu zapewnia najlepszą wydajność - nie koduj go w aplikacji.

Również użyłbym SingleOrDefault() z zerowym sprawdzaniem zamiast Single(), chyba że można zagwarantować, że zawsze będzie wiersz dla dowolnej wartości i.

EDIT:

Pod względem zużycia pamięci, to znacznie trudniej kontrolować, ale to nie jest charakterystyczne dla LINQ to SQL, każdy algorytm przetwarzania wsadowego ma do czynienia z tym. Chociaż nie polecam używania GC.Collect() w praktyce, zwykle jest to wystarczające jako obejście po przetworzeniu dużej partii.

Można również rozważyć zmniejszenie ilości danych pobieranych z wiersza (w zależności od tego, jak dużo to się zaczyna). Możesz utworzyć nowy obiekt, który odwzorowuje na znacznie mniejszy zestaw kolumn z tej samej tabeli, potencjalnie tylko jeden lub dwa, tak aby po wybraniu tego obiektu tylko pobierać kolumny, z którymi zamierzasz pracować. Poprawiłoby to zarówno prędkość, jak i ilość pamięci, ponieważ mniej danych przesuwa się po drucie, a obiekty są znacznie mniejsze.

Answer 4

Nie udało mi się odtworzyć problemu. Wykorzystanie pamięci było płaskie. Mała wydajność, ale stała pamięć.

Czy na pewno nie wyciekłeś gdzie indziej? Czy możesz wytworzyć minimalną próbkę kodu, która odtwarza problem?

Edit:

użyłem praktycznie ten sam kod przykładowy:

for (int ii = 1; ii < 200000; ii++) 
{ 
    using (var dc = new PlayDataContext()) 
    { 
     var record = 
      (from r in dc.T1s where r.Id == ii select r).SingleOrDefault(); 
     if (record != null) 
     { 
      record.Name = "S"; 
      dc.SubmitChanges(); 
     } 
    } 
} 

bez problemu.

więc rzeczy, aby wykluczyć:

• wersję ramowego. Jestem ostatni.
• Złożoność DataContext/encji. Moja tabela testowa to tylko dwa pola, a Id (int) i nazwa (nvarchar (max)).

Czy można odtworzyć problem za pomocą najnowszej wersji FW z małą próbką DataContext?