Czy istnieje elegancki sposób przetwarzania strumienia w porcjach?

Question

Mój dokładny scenariusz polega na wstawianiu danych do bazy danych w partiach, więc chcę gromadzić obiekty DOM następnie co 1000, spłukiwać je.

Wdrożyłem go, umieszczając kod w akumulatorze, aby wykryć pełnię, a następnie przepłukać, ale to wydaje się błędne - kontrola spłukiwania powinna pochodzić od osoby dzwoniącej.

Mogę przekonwertować strumień na listę, a następnie użyć podelistycznie w sposób powtarzalny, ale to też wydaje się niezgrabne.

Czy jest to dobry sposób na podejmowanie działań co n elementów, a następnie kontynuowanie strumienia przy jednoczesnym przetwarzaniu strumienia?

Answer 1

Elegancja jest w oku patrzącego. Jeśli nie masz nic przeciwko użyciu funkcji stanowej w groupingBy, można to zrobić:

AtomicInteger counter = new AtomicInteger(); 

stream.collect(groupingBy(x->counter.getAndIncrement()/chunkSize)) 
    .values() 
    .forEach(database::flushChunk); 

nie wygra żadnych wydajności lub użycia pamięci punktów nad oryginalnym rozwiązaniem, ponieważ będzie jeszcze zmaterializować cały strumień przed wykonaniem byle co.

Jeśli chcesz uniknąć materializacji listy, strumień API nie pomoże. Będziesz musiał dostać iterator strumienia lub spliterator i zrobić coś takiego:

Spliterator<Integer> split = stream.spliterator(); 
int chunkSize = 1000; 

while(true) { 
    List<Integer> chunk = new ArrayList<>(size); 
    for (int i = 0; i < chunkSize && split.tryAdvance(chunk::add); i++){}; 
    if (chunk.isEmpty()) break; 
    database.flushChunk(chunk); 
} 

Answer 2

wykorzystaniem biblioteki StreamEx rozwiązaniem będzie wyglądać

Stream<Integer> stream = IntStream.iterate(0, i -> i + 1).boxed().limit(15); 
AtomicInteger counter = new AtomicInteger(0); 
int chunkSize = 4; 

StreamEx.of(stream) 
     .groupRuns((prev, next) -> counter.incrementAndGet() % chunkSize != 0) 
     .forEach(chunk -> System.out.println(chunk)); 

wyjściowa:

[0, 1, 2, 3] 
[4, 5, 6, 7] 
[8, 9, 10, 11] 
[12, 13, 14] 

groupRuns przyjmuje orzeczenie, że decyduje, czy 2 elementy powinny należeć do tej samej grupy.

Tworzy grupę, gdy tylko znajdzie pierwszy element, który do niej nie należy.