5
Muszę załadować około 15 milionów linii danych w bazie danych DB2 - przy użyciu java.Wstaw 15 milionów linii w bazie danych DB2
Aby zachować prostotę, nie będę mówić o formacie pliku ani liczbie tabel w bazie danych. Powiedzmy, że tylko jedna tabela z 5 kolumnami pobiera dane z ogromnego pojedynczego pliku csv.
W tym scenariuszu - Muszę coś
- Szybka
- Stabilny
nie jestem naprawdę martwi
- Kod ponowne
- Modułowość
- Testability
Wygląda mi na to, wkładka partia stosując proste java jest droga. Jestem świadomy Spring Batch, ale nie wiem, czy warto dodać tę warstwę.
Pytanie do grupy - co byś zasugerował. Wszystko w świecie Java/Java EE jest akceptowalnym rozwiązaniem (o ile nie wymaga oprogramowania, które musimy kupić).
DB2 ma doskonale dobry program ładujący ładunki masowe, dlaczego nie użyć tego? Jest szybszy niż wszystko, co możesz zrobić z Javą. –
Dlaczego musisz używać java? Programy RDBMS zwykle są wyposażone w narzędzie do importowania, które może z łatwością sobie z tym poradzić. Również większość frontendów DB (w tym darmowe) ma funkcję importu. – creinig
@NathanHughes - Dobra uwaga. Ale celowo nie mam dostępu do szczegółów formatu plików i tabel itp. W tym przypadku istnieją pewne niewielkie, ale ważne moduły oparte na Javie, które muszą wejść i masować dane, które muszą przejść do bazy danych. I stąd wanilia - pobierz źródło danych w ten sposób - i zrób zrzut danych jako ten stół - i wykonaj hit - coś w tym rodzaju, nie zadziała tutaj. – partha